聞くスレが違ったらすみません

マンションに住んでおります
マンション敷地内の木の枝が柵から飛び出ており剪定しないといけなくなりました

その柵から反対側は近所の爺さんの土地で、マンション敷地外に落ちた枝の掃除の為に爺さんの敷地内に入った場合
「不法侵入で2万円払ってもらう」
と言われております

納得がいかないのですがこれは払わないといけないものなのでしょうか