まず録音は必須です。
それから脱税していなければ処罰はありません。
おそらく事業所得ではなく雑所得だから損益通算出来ないと言うようなやり取りになると思われます。
その場合は社会通念上事業と言えるだけの事実を提示して事業だと主張します。営利性・有償性、継続性・反復性…この辺は自分でググって調べて下さい。
税務署としては事業性の否認で還付した税金を取り戻すつもりで来ると思うので、そこで折り合いがつく事はまずないでしょう。
あなたの主張だけ伝え、後は「更正してください」と言う他ありません。
修正申告する場合は事業性が無いと受け入れる事になりますし、最悪それを知りながら損益通算した事にされて脱税認定される事もあり得ます。仮に受け入れるにしてもその部分は慎重に事を運んでください。
税務署があなたの主張を受け入れれば晴れて是認となります。
更正を受けたとしても、更正内容に不備があれば審査請求して同じ主張をします。最終的に何が駄目で事業性が認められなかったかがわかるので、その部分を直して、また事業所得として申告すればいいのです。
何が原因か分からないのが一番不味い結果です。

経費だけの問題であるなら税務署が否認しても経費である事を主張し税務署が否認しても折れない事です。
そうしていると最終的に税務署は経費でないことを自白したような書類（〜は家事費であるとか家事関連費であるとか）にサインを求めてくることがありますが、
それらはよく読み込んだ後、事実と違うところが一つでもあれば、「事実と違う所があります」と一言言ってサインを拒否しましょう。
そもそもそういった書面にサインを求める権限が税務署にはありません。あくまで任意で、協力する義務はありません。税務署の証拠作りに付き合わされているだけで時間の無駄です。
出てきた時点で「こう言った書類作りには協力しません。二度と持ってこないで下さい。」と断りましょう。
しつこい場合は行政手続法違反である事を指摘して統括官、税務署長、税務局とやめるまで苦情をあげて行きます。
それらもしっかり記録録音して、しつこく要求し強引に署名させようとしたと言う事実を作り上げる事が重要です。
ほとんどの税務調査の場合、売上や経費に間違いがあってもミスなのかわざとなのか、税務署には分かりません。本人がミスだと主張すれば、それを覆す証拠がない限り税務署は主張を受け入れるしかないのです。
逆を言えば証拠作りに協力し証拠を提供すればやっていなくてもやった事になります。
数字の打ち間違いなんかはありがちなミスなので間違ってたから脱税とかにはならないので安心して大丈夫です。