引き留められようが辞めたほうが良いのでは？部の雰囲気がどうなろうと知った事じゃないと思う。
あなたが嫌な思いしてるのは周りの人も気付いてそうだし