とりあえず愚痴を聞いて下さい

37歳でデイサービス送迎の仕事をしているのですが、仕事中に一目惚れしま調理師女性がいました。
私は、一流大学卒業し大手百貨店に勤めますたが、人間関係や仕事のプレッシャーから体調を崩し退職しました。
現在は介護員兼運転手としてぼそぼそとですが、生活も安定してきて落ち着いた日々を過ごしてます。
先日、職場の旅行で21歳女性(小柄細身美人、Fカップ、コミュ障)と仲良くなり連絡先を交換しました。
何度かデートを重ねるうちに良い雰囲気となり交際。勿論、三度目のデートで彼女の初を頂きました。
お互いに結婚の話もして幸せな日々を過ごしていますが、とうやら職場の相談員ら(所長の次)が狙っていた女性のようで風当たり酷くなってきました。

今回、所長からは配置替えの提示が特養の相談員をお願いしたいとの事。
彼女的には特養の方が給料が上がるから是非受けてと懇願されました。
カップルは別々にするという事なんですが納得いきません。
さらに、先輩調理師らから私の年齢的な事、解消の無さから将来苦労するから別れなよと言われてるとのこと。

今のところ、別れる雰囲気はまったくありません。ただ、私も心配になり最近は嫌がる彼女に懇願して中だししてでき婚を狙うようにしています。

そうしているうちに別の施設26歳看護師と仲良くなり最近、交際を初めました。その看護師がすごい床上手で私も虜になり彼女とは着拒にして別れました。

そしたら、彼女や彼女姉が所長に相談したようで…。私に自主退職するように強い口調で所長が迫ってきました。どこか男の嫉妬的な気がします。

過失がどうとか、判例がどうとかはいいです。 私の心情的には100%自分が正しいと言いいませんが。お互いある程度大人ですよね？

おそらく彼女とは現実問題として結婚できないと思いますし。
やはり卑しい人間なのでしょうか？

※長文と、酔いのために乱文ですいません。

よろしくお願いします。