卓球のルール、マナー？について質問なんだが、試合中に相手に話しかけるのってどうなん？

自分がオープン戦で審判してたとき50〜60くらいのおっちゃんと地元の高校生が試合してたんだけど、このおっちゃんが相手とよく喋るのよ
「いや〜サーブが切れてるねえ」とかドライブ打たれて「これは参った！」とか「ブロック硬いやろう？」とかそんな感じのことを…
遅延行為になるほどの感じじゃないから審判の自分は無視してたけどルール的にはマズイのかな？