現在は独身ですが、既婚者に関する話ですし既婚者の板に書き込んでもよろしいのでしょうか…板違いだったらスルーしてください

私はバツイチシングルマザーです
職場の既婚男性から好意を寄せられて、その方(Aさんとします)から不倫のお誘いがありましたがはっきりとお断りしました
そうしたら、Aさんが「失礼な誘いだったね。ごめん。嫁とは離婚して君と再婚前提での真面目なお付き合いをするよ」と言いました
私はAさんが仮に未婚のバツ無し独身だったとしてもお付き合いをする対象にはなり得ませんし、Aさんの奥様が不幸になるのも望んでいません

また、これは私の想像ですが、本来ならAさんは失礼ながら私とは到底釣り合わないルックスの男性で、Aさんの奥様もそれなりの方です
しかし私がシングルマザーのため、キズモノ大安売りで自分にも手が届くと勘違いしているようです
上から目線でガンガンアプローチされています
Aさんほどの不細工な男性にここまで見縊られるなんて悔しいくらいです

この状況で私に何かできることはあるでしょうか？
仕事上、全く関わりを持たないことは難しいのですが、出来る限り距離を置くだけにしておくのが無難でしょうか？
仕事と子育ての両立で忙しいので相談してあーだこーだする時間が惜しいのと、自意識過剰と思われたり評価が落とされたりしないか心配なので、できたら上司には相談したくありません