困っています。スレチでしたら申し訳ありません。

【何についての質問】
退職後のトラブル

【登場人物整理】
私、元上司

【いつ・何処で】
本日

【何をされた・何をした】
本日、昼頃元上司から電話があり、在職中にした不正について話があるため、3日以内に都合をつけて会社に来いと言われました。
現在、別の会社にてアルバイトとして勤務中であり、都合がつきませんのですぐには伺えませんと回答したところ、こちらは法的手段も辞さない。都合をつけて来いとのことでした。
前職は飲食店の店長をしており、不正飲食を行った覚えはあるのでその件かなと思いますが退職時は円満退職だったため、四、五ヶ月たった今、損害賠償を請求するなんてそんな手間のかかることするのかと正直、驚いています。


【何をしたい】
話し会いをする気はあるのですが、既に雇用関係のない会社に現在の仕事に穴をあけ、交通費をかけてまで行く必要があるのかと悩んでいます。今日中に日程を決めて連絡しろと言われていますが、相手の言う通りに対応する必要があるのでしょうか？
また9月半ばより、ワーキングホリデーVISAで海外に一年ほど行く予定がありますが、渡航できなくなるということがあるのでしょうか？その点もアドバイスいただきたく思います。
長文申し訳ありません。よろしくお願い致します。