[クローラー]ロボット対策スレ[robots.txt]

**DNS未登録さん** · 04/10/25 23:37:13

Yahoo! Slurp ってのがよく来るがﾍ（ﾟдﾟ)ﾉﾅﾆｺﾚ?

**DNS未登録さん** · 04/10/27 20:22:38

>>90
その名の通りYahooのクローラ

**DNS未登録さん** · 04/10/27 20:26:49

2ch型掲示板のcgiがあるディレクトリ（/test/）を禁止にしたら凄く減った。

92 · 04/10/29 00:15:47

大失敗

**DNS未登録さん** · 04/11/04 18:53:48

そうか

**DNS未登録さん** · 04/11/09 21:14:32

てす

**DNS未登録さん** · 04/11/12 01:30:00

ロボットは来ているのだが、Googleで検索して飛んでくる人が
最近とんと減ってしまった。なんでだろう？
YahooやMSNからの検索はそこそこ定常的にあるのに。
Googleからのもゼロって訳じゃないんだけどね。

うちのように小さなサイトは検索エンジンからのアクセスが
大切なアクセス源なのに。

原因がわかる人いる？

**DNS未登録さん** · 04/11/13 01:06:47

スパム認定かも。
あんまり同じ単語繰り返しても無視される傾向にある様な気がする。

96 · 04/11/13 16:16:27

>>97
うーん、普通にいろんな日々の話題を扱ったブログを公開している程度で、
目を付けられるような動きじゃないはずなんですが…。
もしかしたら、IPアドレスの逆引きがISPのドメイン名になっている事が
まずいのかも知れないと思い、逆引き設定してくれるISPに引越し予定です。

**DNS未登録さん** · 04/11/16 02:38:13

うち、逆引きはプロバのドメイン名だけど、普通に登録されてるよ。

自分で検索してみて出てくる？

96 · 04/11/17 00:58:01

自分で検索しても出てこんのです。(T_T)

そっか、逆引き不一致でも問題ないのかなぁ。とすると、原因は別のところか。
原因を探ってみます。
情報感謝です。

**DNS未登録さん** · 05/01/21 00:59:57

http://www.juraihelm.com/NNR/
漏れはこれを参考にした

**DNS未登録さん** · 05/01/21 12:19:23

>>101
基本的なことしか書いてない。

**DNS未登録さん** · 05/01/29 01:01:41

>>89
レスさんくす。亀レスｽﾏｿ。
ずっと、/~ore/を403かえすようにしてたら、
2,3ヶ月経った今、検索結果も更新されてた。

しかし、本当に最近はmsnとyahooのbotがすごい勢いでくる。
そのせいか、更新頻度はyahooとかのほうが高い気がする。

**定期age** · 05/02/03 12:39:25

[Google,Yahoo!等]■ロボット型検索エンジン21■
http://pc5.2ch.net/test/read.cgi/hp/1106491459/
【Google】ページランクいくつよ6【PageRank】
http://pc5.2ch.net/test/read.cgi/hp/1092914063/
Ｇｏｏｇｌｅから削除されました
http://pc5.2ch.net/test/read.cgi/hp/1081663521/
[Google,Yahoo!等]■ロボット型検索エンジン20■
http://pc5.2ch.net/test/read.cgi/hp/1106491335/
【Robots】Googleアーカイブが嫌い【NoArchive】
http://pc5.2ch.net/test/read.cgi/hp/1026114886/

**DNS未登録さん** · 2005/10/24(月) 12:48:08

保守

**DNS未登録さん** · 2005/11/09(水) 07:26:23

アニマル横町第11話第12話「どき☆どき占いパラダイス／どき☆どき大げんか」 (WMV9 VGA 120f).avi rTS5D56UkW 225,006,346 ebae1fe40bdee39518a56c7109901839
ttp://www.imgup.org/file/iup115747.jpg

(=ﾟωﾟ)ﾉ

**DNS未登録さん** · 2006/06/02(金) 00:20:19

あ

**DNS未登録さん** · 2008/09/23(火) 10:11:39

ほ

**DNS未登録さん** · 2008/10/02(木) 01:57:54

dissalowされたサイトだけ検索するエンジン作ったらヒットしそうだね！
誰か作って！

**DNS未登録さん** · 2008/10/04(土) 08:03:45

百度ひつこい

**DNS未登録さん** · 2008/10/05(日) 00:15:29

大体RFC化もされていない「紳士協定」に対して
目くじら立てるやつっておかしいと思わないか？

フリーオを問題視してる団体と完全に構図が一緒だ

**DNS未登録さん** · 2008/11/08(土) 08:10:01

naver の Yeti というのは、naver しか使ってないのか ?
それなら、USER_AGENT で Yeti を丸ごと弾いてしまおうと思うが。

**DNS未登録さん** · 2008/12/20(土) 20:11:22

htaccessでBaiduspiderはrobots.txtだけにアクセス出来るように設定したなら、
他のファイルに１秒２０回アクセスするという暴挙に至っている。
それだけでエラーログが巨大化しているw
こうなるとルータで弾くしかないのか。

**DNS未登録さん** · 2008/12/23(火) 15:11:38

javascript使って、ブラウザアクセスでしか開けないようにしておけば良いんでない？
趣旨が違う？
俺、掲示板に広告書き込むスクリプトがウザくて使ったら、一切来なくなったよ。

こんな感じ↓
http://www.google.co.jp/ ←隠したいアドレス

-top.html-
<html><head>
<script type="text/javascript"></script></head>
<body onLoad="code();">
<span id="add"><a href="noscript.html">隠したいアドレスへのジャンプページ</a></span>
</body></html>

-noscript.html-
<html><head></head><body>
以下のアドレスをコピーして移動してください。<br>
http://www<;span>.google</span>.co.jp/<br>
</body></html>

アドレスをブツ切りにして記載してやれば、単純にテキストを検索して来た時は見えないし。
トップページは隠すの無理だけど。

**DNS未登録さん** · 2009/08/24(月) 14:55:42

>>114
GJ

**DNS未登録さん** · 2009/08/24(月) 18:11:05

とんだ先にアフィ貼るとかそういう落ちに期待したい(^◇^;

**DNS未登録さん** · 2010/09/27(月) 10:57:04

robots.txtって、クローラはどこかのページにアクセスする際、
必ず見に来るものなのかな？

**DNS未登録さん** · 2010/09/28(火) 02:34:40

お行儀が良いクローラならね。
見る義務は無いし、見ても記述内容に従う義務は無い。

**DNS未登録さん** · 2010/11/01(月) 13:26:41

アクセスログを見ると、グーグルさんはちゃんとrobots.txtを見てくれてる

**DNS未登録さん** · 2011/01/24(月) 23:43:10

66.249.69.91　googlebotのIPらしいけど、
sshの辞書攻撃を毎日してくる。

**DNS未登録さん** · 2011/01/27(木) 00:36:41

なにそれ怖い

**DNS未登録さん** · 2011/01/29(土) 23:13:36

クレーム入れてみてくれ。

**DNS未登録さん** · 2011/01/30(日) 11:49:53

IP偽装してるだけだろ

**DNS未登録さん** · 2011/02/01(火) 20:30:40

どうやって偽装するんだ？

**DNS未登録さん** · 2011/03/13(日) 08:04:32.30

>>124
IPヘッダ書き換えりゃ偽装自体は出来る。
でもIPパケット送りつける事しか出来ない。

**DNS未登録さん** · 2011/10/16(日) 02:11:24.30

Ajaxばりばりのサイトでも突破できるクローラーってありますか？

**126** · 2011/10/16(日) 13:33:18.84

かんたんなDHTMLはいけても、
さすがに、GoogleMapも自動でリンクたどるとか無理ですよね？

**DNS未登録さん** · 2011/12/20(火) 14:10:31.57

yahooの検索結果に表示されては困る、でもgoogleやその他にはむしろガンガン表示して欲しいんだが、
そんな指定metaタグでできる？
無理ならブラウザ拡張のアドオンでもいいんだが。
教えてください。

**DNS未登録さん** · 2011/12/20(火) 15:14:30.76

今yahooの検索エンジンってgoogleのやつを使ってるんじゃなかった？

**DNS未登録さん** · 2011/12/20(火) 17:10:58.19

そこが問題なんだよなー。
なんかいい方法ないかな。
アドオン探してもgoogleのは見つかるが、yahooで検索結果から除外できるようなアドオンは無いみたいだし。

**DNS未登録さん** · 2012/02/20(月) 20:02:21.28

八巻正治さんについて思うこと。
いつもは宗教心あふれる教師面して"福祉とはかくあるべき"と講釈たれてるのに、
自分の気に食わないことを言われると個人的な感情全開にして、己の懐の狭さが露見するよね。

八巻正治さんは、他人には潔さを求めるのに、自身の発言には一切の責任を取らない。
これ程まで薄っぺらい人間を、他には知らない。
ニューポート大学大学院博士だけのことはあるね。

?PLT(12080) · 2013/08/31(土) NY:AN:NY.AN

　　∧＿∧
　（　・∀・）　　　　　　　　　　　　人　ｶﾞｯ
　（　　　　つ―-‐-‐-‐-‐-‐○ < 　>__Λ∩
　人　Y ノ.　　　　　　　　　　　　Ｖ｀Д´）/
　し（＿）　　　　　　　　　　　　　　　　　/ 　←>>59

**クリスチャノ水戸** · 2016/04/20(水) 23:57:26.06

！！押川の悪事警報！！
※常識的に事実でなければこの様な内容は書けません！
毎度お馴染みの極悪人、押川定和の被害にご注意下さい。
押川定和の悪事は犯罪の領域に達している。

大企業(株)クボタ筑波工場からも情報を盗み取ったのは決定的で対応に注目が集まる。
http://www.kubota.co.jp/siryou/jigyos.html

創価学会押川定和の
勤め先・株式会社ＷＥＩＣ(ウェイク)104-0053
東京都中央区3-1
http://www.ntt.com/bizhosting-basic/data/case2_1.html

**DNS未登録さん** · 2017/02/03(金) 12:44:05.83

yandexに本気で殺意を覚えた
どこから来やがった氏ね

**DNS未登録さん** · 2017/08/24(木) 08:24:43.19

最近，Baiduクローラーからのアクセスが来るよになったのでIPが変わったのかと思って，
確認したら変わっていない。
Apacheでアクセス拒否にしているのに…
で，しょうがないので上流のファイヤーウォールでアクセス拒否にしても何故かやってくる…
これは一体どういうことだw

送信元を詐称して，詐称先にパケットを返しているのかな？
謎挙動なんだがw

**DNS未登録さん** · 2023/02/09(木) 13:11:35.96

…－y( ￣д￣).｡o○