たしかに奥さんを「見捨てた」ように見られたら嫌だなと思う気持ちわかります
奥さんと話し合って奥さんが望むか(納得するか)どうかでしょうね