内容証明郵便出しとけば税務署が受け取ればそう言うやり取りがあった事が書面として残るから、税務署はそれについて受け入れるしか無くなるよ。
書面で行政指導について拒否の意思を示せば、それ以上おなじ行政指導は出来なくなる。
口頭だと「そんな事ありましたっけ？」とか普通にやってくる連中だし内容証明郵便最強。
もし同じ事繰り返す=行政手続法違反したら税務署長以上の窓口、国税局に直接苦情をあげるしかないね。