そんなに嫌なら「浮気するかもだから心配」って直接言えばいいんじゃないか?