近隣との距離が解らないからなんとも言えないけど
恐らく面と向かって言われて無いだけだよ
何年かしたら区(市)役所から迷惑だって連絡くるんじゃね
ウチの近所では近隣の家はそれが原因引っ越した家もある