道祖神は、昔その地域になにか悪い事があって
その悪いものから守るために作られてるパターンが多いから
それを壊すとちょっとどうなの、という事はある

稲荷の祠や神社というのは
「身近な場所でご利益を祈願したい」という理由で建てられてるケースが多いので
問題になる事はそんなに無い