[クローラー]ロボット対策スレ[robots.txt]
検索エンジンに登録されたくない、ロボット、巡回ソフトうざいという方まで
クローラー、スパイダー対策について語りましょう。
参考
http://c-moon.jp/robots.shtml
有名らしい
ttp://www.daj.co.jp/filter/index.htm msnbotはp2みたいなの動かしていると凄い勢いでスレ
を舐めていくし…
アクセスログの半分以上がmsnbotなのは勘弁してくれよ。
ひとまずrobots.txtを置く、UAを見て無効なデータを返す、
ルータでフィルタする等の対策をとってみるかな? SetEnvIf User-Agent "msnbot.*" nolog
CustomLog access_log.txt combined env=!nolog
わたしは、これで無視することにしました DDNSで今まで http://hoge.ddns.net/~ore/ としてたのを
バーチャルホスト http://hoge.ddns.net/ で見られるようにしたんだが、
相変わらずbotは /~ore でアクセスして来るんだけど、
これを拒否する方法ってある?
単純に
User-agent: *
Disallow: /~ore
でいいの? >>88
/~ore/でアクセスしてきた時に404を返してやれば、そのうち来なくなるんじゃないの? Yahoo! Slurp ってのがよく来るがヘ(゚д゚)ノ ナニコレ? 2ch型掲示板のcgiがあるディレクトリ(/test/)を禁止にしたら凄く減った。 ロボットは来ているのだが、Googleで検索して飛んでくる人が
最近とんと減ってしまった。なんでだろう?
YahooやMSNからの検索はそこそこ定常的にあるのに。
Googleからのもゼロって訳じゃないんだけどね。
うちのように小さなサイトは検索エンジンからのアクセスが
大切なアクセス源なのに。
原因がわかる人いる? スパム認定かも。
あんまり同じ単語繰り返しても無視される傾向にある様な気がする。 >>97
うーん、普通にいろんな日々の話題を扱ったブログを公開している程度で、
目を付けられるような動きじゃないはずなんですが…。
もしかしたら、IPアドレスの逆引きがISPのドメイン名になっている事が
まずいのかも知れないと思い、逆引き設定してくれるISPに引越し予定です。
うち、逆引きはプロバのドメイン名だけど、普通に登録されてるよ。
自分で検索してみて出てくる? 自分で検索しても出てこんのです。(T_T)
そっか、逆引き不一致でも問題ないのかなぁ。とすると、原因は別のところか。
原因を探ってみます。
情報感謝です。 >>89
レスさんくす。亀レススマソ。
ずっと、/~ore/を403かえすようにしてたら、
2,3ヶ月経った今、検索結果も更新されてた。
しかし、本当に最近はmsnとyahooのbotがすごい勢いでくる。
そのせいか、更新頻度はyahooとかのほうが高い気がする。 アニマル横町 第11話 第12話 「どき☆どき 占いパラダイス/どき☆どき 大げんか」 (WMV9 VGA 120f).avi rTS5D56UkW 225,006,346 ebae1fe40bdee39518a56c7109901839
ttp://www.imgup.org/file/iup115747.jpg
(=゚ω゚)ノ
dissalowされたサイトだけ検索するエンジン作ったらヒットしそうだね!
誰か作って! 大体RFC化もされていない「紳士協定」に対して
目くじら立てるやつっておかしいと思わないか?
フリーオを問題視してる団体と完全に構図が一緒だ naver の Yeti というのは、naver しか使ってないのか ?
それなら、USER_AGENT で Yeti を丸ごと弾いてしまおうと思うが。 htaccessでBaiduspiderはrobots.txtだけにアクセス出来るように設定したなら、
他のファイルに1秒20回アクセスするという暴挙に至っている。
それだけでエラーログが巨大化しているw
こうなるとルータで弾くしかないのか。 javascript使って、ブラウザアクセスでしか開けないようにしておけば良いんでない?
趣旨が違う?
俺、掲示板に広告書き込むスクリプトがウザくて使ったら、一切来なくなったよ。
こんな感じ↓
http://www.google.co.jp/ ←隠したいアドレス
-top.html-
<html><head>
<script type="text/javascript"><!--
function code(){add.innerHTML='<a href="http://www.goog'+'le.co.jp/">隠したいアドレス</a>';}
//--></script></head>
<body onLoad="code();">
<span id="add"><a href="noscript.html">隠したいアドレスへのジャンプページ</a></span>
</body></html>
-noscript.html-
<html><head></head><body>
以下のアドレスをコピーして移動してください。<br>
http://www<span>.google</span>.co.jp/<br>
</body></html>
アドレスをブツ切りにして記載してやれば、単純にテキストを検索して来た時は見えないし。
トップページは隠すの無理だけど。
とんだ先にアフィ貼るとかそういう落ちに期待したい(^◇^; robots.txtって、クローラはどこかのページにアクセスする際、
必ず見に来るものなのかな? お行儀が良いクローラならね。
見る義務は無いし、見ても記述内容に従う義務は無い。 アクセスログを見ると、グーグルさんはちゃんとrobots.txtを見てくれてる 66.249.69.91 googlebotのIPらしいけど、
sshの辞書攻撃を毎日してくる。 >>124
IPヘッダ書き換えりゃ偽装自体は出来る。
でもIPパケット送りつける事しか出来ない。 Ajaxばりばりのサイトでも突破できるクローラーってありますか? かんたんなDHTMLはいけても、
さすがに、GoogleMapも自動でリンクたどるとか無理ですよね?
yahooの検索結果に表示されては困る、でもgoogleやその他にはむしろガンガン表示して欲しいんだが、
そんな指定metaタグでできる?
無理ならブラウザ拡張のアドオンでもいいんだが。
教えてください。 今yahooの検索エンジンってgoogleのやつを使ってるんじゃなかった? そこが問題なんだよなー。
なんかいい方法ないかな。
アドオン探してもgoogleのは見つかるが、yahooで検索結果から除外できるようなアドオンは無いみたいだし。 八巻正治さんについて思うこと。
いつもは宗教心あふれる教師面して"福祉とはかくあるべき"と講釈たれてるのに、
自分の気に食わないことを言われると個人的な感情全開にして、己の懐の狭さが露見するよね。
八巻正治さんは、他人には潔さを求めるのに、自身の発言には一切の責任を取らない。
これ程まで薄っぺらい人間を、他には知らない。
ニューポート大学大学院博士だけのことはあるね。 ∧_∧
( ・∀・) 人 ガッ
( つ―-‐-‐-‐-‐-‐○ < >__Λ∩
人 Y ノ. V`Д´)/
し(_) / ←>>59 !!押川の悪事警報!!
※常識的に事実でなければこの様な内容は書けません!
毎度お馴染みの極悪人、押川定和の被害にご注意下さい。
押川定和の悪事は犯罪の領域に達している。
大企業(株)クボタ筑波工場からも情報を盗み取ったのは決定的で対応に注目が集まる。
http://www.kubota.co.jp/siryou/jigyos.html
創価学会押川定和の
勤め先・株式会社WEIC(ウェイク)104-0053
東京都中央区3-1
http://www.ntt.com/bizhosting-basic/data/case2_1.html yandexに本気で殺意を覚えた
どこから来やがった氏ね 最近,Baiduクローラーからのアクセスが来るよになったのでIPが変わったのかと思って,
確認したら変わっていない。
Apacheでアクセス拒否にしているのに…
で,しょうがないので上流のファイヤーウォールでアクセス拒否にしても何故かやってくる…
これは一体どういうことだw
送信元を詐称して,詐称先にパケットを返しているのかな?
謎挙動なんだがw