お願いします。

今いる会社に嫌いな同僚がおり
転職を考えています。
転職先もほぼ決まり内定したのですが
いざ辞めると決めたら
嫌いな同僚以外の人たちに
負担をかけてしまうことになるので
申し訳なく思うようになりました。
嫌いな同僚とイライラしながら仕事を続けるか
やはり思い切って辞めるか
どちらが良い方向にすすみますか？