[クローラー]ロボット対策スレ[robots.txt]

[0001 DNS未登録さん 03/03/11 21:40 ID:PN8pCDZB]

検索エンジンに登録されたくない、ロボット、巡回ソフトうざいという方まで
クローラー、スパイダー対策について語りましょう。

参考
http://c-moon.jp/robots.shtml
有名らしい
ttp://www.daj.co.jp/filter/index.htm

[0136 DNS未登録さん 2023/02/09(木) 13:11:35.96 ID:???]

…－y( ￣д￣).｡o○