既婚男性に質問です。

私は、29歳の独身男性なのですが、職場の33歳の既婚女性を好きになりました。
その人に話かけられたり、書類を受け取ったりするときに手と手が触れ合ったりするととても幸せな気分になります。
そんな時、常にこういう気分で過ごせるご主人が羨ましい限りだったり、また、人様の奥さんに対しこのような感情を抱いてることを申し訳なくも思います。
そこで既婚男性としては、妻の職場での異性関係などとても心配だとは思うのですが、やっぱり私みたいな男はぶん殴りたくなるものなのでしょうか？