[クローラー]ロボット対策スレ[robots.txt]

**DNS未登録さん** · 03/03/11 21:40

検索エンジンに登録されたくない、ロボット、巡回ソフトうざいという方まで
クローラー、スパイダー対策について語りましょう。

参考
http://c-moon.jp/robots.shtml
有名らしい
ttp://www.daj.co.jp/filter/index.htm

**DNS未登録さん** · 2009/08/24(月) 14:55:42

>>114
GJ

**DNS未登録さん** · 2009/08/24(月) 18:11:05

とんだ先にアフィ貼るとかそういう落ちに期待したい(^◇^;

**DNS未登録さん** · 2010/09/27(月) 10:57:04

robots.txtって、クローラはどこかのページにアクセスする際、
必ず見に来るものなのかな？

**DNS未登録さん** · 2010/09/28(火) 02:34:40

お行儀が良いクローラならね。
見る義務は無いし、見ても記述内容に従う義務は無い。

**DNS未登録さん** · 2010/11/01(月) 13:26:41

アクセスログを見ると、グーグルさんはちゃんとrobots.txtを見てくれてる

**DNS未登録さん** · 2011/01/24(月) 23:43:10

66.249.69.91　googlebotのIPらしいけど、
sshの辞書攻撃を毎日してくる。

**DNS未登録さん** · 2011/01/27(木) 00:36:41

なにそれ怖い

**DNS未登録さん** · 2011/01/29(土) 23:13:36

クレーム入れてみてくれ。

**DNS未登録さん** · 2011/01/30(日) 11:49:53

IP偽装してるだけだろ

**DNS未登録さん** · 2011/02/01(火) 20:30:40

どうやって偽装するんだ？

**DNS未登録さん** · 2011/03/13(日) 08:04:32.30

>>124
IPヘッダ書き換えりゃ偽装自体は出来る。
でもIPパケット送りつける事しか出来ない。

**DNS未登録さん** · 2011/10/16(日) 02:11:24.30

Ajaxばりばりのサイトでも突破できるクローラーってありますか？

**126** · 2011/10/16(日) 13:33:18.84

かんたんなDHTMLはいけても、
さすがに、GoogleMapも自動でリンクたどるとか無理ですよね？

**DNS未登録さん** · 2011/12/20(火) 14:10:31.57

yahooの検索結果に表示されては困る、でもgoogleやその他にはむしろガンガン表示して欲しいんだが、
そんな指定metaタグでできる？
無理ならブラウザ拡張のアドオンでもいいんだが。
教えてください。

**DNS未登録さん** · 2011/12/20(火) 15:14:30.76

今yahooの検索エンジンってgoogleのやつを使ってるんじゃなかった？

**DNS未登録さん** · 2011/12/20(火) 17:10:58.19

そこが問題なんだよなー。
なんかいい方法ないかな。
アドオン探してもgoogleのは見つかるが、yahooで検索結果から除外できるようなアドオンは無いみたいだし。

**DNS未登録さん** · 2012/02/20(月) 20:02:21.28

八巻正治さんについて思うこと。
いつもは宗教心あふれる教師面して"福祉とはかくあるべき"と講釈たれてるのに、
自分の気に食わないことを言われると個人的な感情全開にして、己の懐の狭さが露見するよね。

八巻正治さんは、他人には潔さを求めるのに、自身の発言には一切の責任を取らない。
これ程まで薄っぺらい人間を、他には知らない。
ニューポート大学大学院博士だけのことはあるね。

?PLT(12080) · 2013/08/31(土) NY:AN:NY.AN

　　∧＿∧
　（　・∀・）　　　　　　　　　　　　人　ｶﾞｯ
　（　　　　つ―-‐-‐-‐-‐-‐○ < 　>__Λ∩
　人　Y ノ.　　　　　　　　　　　　Ｖ｀Д´）/
　し（＿）　　　　　　　　　　　　　　　　　/ 　←>>59

**クリスチャノ水戸** · 2016/04/20(水) 23:57:26.06

！！押川の悪事警報！！
※常識的に事実でなければこの様な内容は書けません！
毎度お馴染みの極悪人、押川定和の被害にご注意下さい。
押川定和の悪事は犯罪の領域に達している。

大企業(株)クボタ筑波工場からも情報を盗み取ったのは決定的で対応に注目が集まる。
http://www.kubota.co.jp/siryou/jigyos.html

創価学会押川定和の
勤め先・株式会社ＷＥＩＣ(ウェイク)104-0053
東京都中央区3-1
http://www.ntt.com/bizhosting-basic/data/case2_1.html

**DNS未登録さん** · 2017/02/03(金) 12:44:05.83

yandexに本気で殺意を覚えた
どこから来やがった氏ね

**DNS未登録さん** · 2017/08/24(木) 08:24:43.19

最近，Baiduクローラーからのアクセスが来るよになったのでIPが変わったのかと思って，
確認したら変わっていない。
Apacheでアクセス拒否にしているのに…
で，しょうがないので上流のファイヤーウォールでアクセス拒否にしても何故かやってくる…
これは一体どういうことだw

送信元を詐称して，詐称先にパケットを返しているのかな？
謎挙動なんだがw

**DNS未登録さん** · 2023/02/09(木) 13:11:35.96

…－y( ￣д￣).｡o○