[クローラー]ロボット対策スレ[robots.txt]

1DNS未登録さん03/03/11 21:40ID:PN8pCDZB
検索エンジンに登録されたくない、ロボット、巡回ソフトうざいという方まで
クローラー、スパイダー対策について語りましょう。

参考
http://c-moon.jp/robots.shtml
有名らしい
ttp://www.daj.co.jp/filter/index.htm

858304/07/11 21:24ID:???
>>84
おおっ、この記事は読み落としていました。

二回読んで更新がなかったページの取得頻度は下げて欲しいなぁ
あんなに激しく取りに来るわりには、技術プレビューの検索結果にも出てこないし (;´Д`)

86DNS未登録さん04/09/04 01:14ID:???
msnbotはp2みたいなの動かしていると凄い勢いでスレ
を舐めていくし…

アクセスログの半分以上がmsnbotなのは勘弁してくれよ。

ひとまずrobots.txtを置く、UAを見て無効なデータを返す、
ルータでフィルタする等の対策をとってみるかな?

878304/09/16 01:19:07ID:???
SetEnvIf User-Agent "msnbot.*" nolog
CustomLog access_log.txt combined env=!nolog

わたしは、これで無視することにしました

88DNS未登録さん04/10/09 12:47:01ID:???
DDNSで今まで http://hoge.ddns.net/~ore/ としてたのを
バーチャルホスト http://hoge.ddns.net/ で見られるようにしたんだが、
相変わらずbotは /~ore でアクセスして来るんだけど、
これを拒否する方法ってある?

単純に
User-agent: *
Disallow: /~ore
でいいの?

89DNS未登録さん04/10/10 21:35:30ID:???
>>88
/~ore/でアクセスしてきた時に404を返してやれば、そのうち来なくなるんじゃないの?

90DNS未登録さん04/10/25 23:37:13ID:???
Yahoo! Slurp ってのがよく来るがヘ(゚д゚)ノ ナニコレ?

91DNS未登録さん04/10/27 20:22:38ID:???
>>90
その名の通りYahooのクローラ

92DNS未登録さん04/10/27 20:26:49ID:???
2ch型掲示板のcgiがあるディレクトリ(/test/)を禁止にしたら凄く減った。

939204/10/29 00:15:47ID:???
大失敗

94DNS未登録さん04/11/04 18:53:48ID:KyJO56Ns
そうか

95DNS未登録さん04/11/09 21:14:32ID:???
てす

96DNS未登録さん04/11/12 01:30:00ID:Nh8fSwvV
ロボットは来ているのだが、Googleで検索して飛んでくる人が
最近とんと減ってしまった。なんでだろう?
YahooやMSNからの検索はそこそこ定常的にあるのに。
Googleからのもゼロって訳じゃないんだけどね。

うちのように小さなサイトは検索エンジンからのアクセスが
大切なアクセス源なのに。

原因がわかる人いる?

97DNS未登録さん04/11/13 01:06:47ID:???
スパム認定かも。
あんまり同じ単語繰り返しても無視される傾向にある様な気がする。

989604/11/13 16:16:27ID:???
>>97
うーん、普通にいろんな日々の話題を扱ったブログを公開している程度で、
目を付けられるような動きじゃないはずなんですが…。
もしかしたら、IPアドレスの逆引きがISPのドメイン名になっている事が
まずいのかも知れないと思い、逆引き設定してくれるISPに引越し予定です。

99DNS未登録さん04/11/16 02:38:13ID:???
うち、逆引きはプロバのドメイン名だけど、普通に登録されてるよ。

自分で検索してみて出てくる?

1009604/11/17 00:58:01ID:???
自分で検索しても出てこんのです。(T_T)

そっか、逆引き不一致でも問題ないのかなぁ。とすると、原因は別のところか。
原因を探ってみます。
情報感謝です。

101DNS未登録さん05/01/21 00:59:57ID:???
http://www.juraihelm.com/NNR/
漏れはこれを参考にした

102DNS未登録さん05/01/21 12:19:23ID:???
>>101
基本的なことしか書いてない。

103DNS未登録さん05/01/29 01:01:41ID:???
>>89
レスさんくす。亀レススマソ。
ずっと、/~ore/を403かえすようにしてたら、
2,3ヶ月経った今、検索結果も更新されてた。

しかし、本当に最近はmsnとyahooのbotがすごい勢いでくる。
そのせいか、更新頻度はyahooとかのほうが高い気がする。

104定期age05/02/03 12:39:25ID:???
[Google,Yahoo!等]■ロボット型検索エンジン21■
http://pc5.2ch.net/test/read.cgi/hp/1106491459/
【Google】ページランクいくつよ6【PageRank】
http://pc5.2ch.net/test/read.cgi/hp/1092914063/
Googleから削除されました
http://pc5.2ch.net/test/read.cgi/hp/1081663521/
[Google,Yahoo!等]■ロボット型検索エンジン20■
http://pc5.2ch.net/test/read.cgi/hp/1106491335/
【Robots】Googleアーカイブが嫌い【NoArchive】
http://pc5.2ch.net/test/read.cgi/hp/1026114886/

105DNS未登録さん2005/10/24(月) 12:48:08ID:???
保守

106DNS未登録さん2005/11/09(水) 07:26:23ID:???
アニマル横町 第11話 第12話 「どき☆どき 占いパラダイス/どき☆どき 大げんか」 (WMV9 VGA 120f).avi rTS5D56UkW 225,006,346 ebae1fe40bdee39518a56c7109901839
ttp://www.imgup.org/file/iup115747.jpg

(=゚ω゚)ノ


107DNS未登録さん2006/06/02(金) 00:20:19ID:/2RXfUmf

108DNS未登録さん2008/09/23(火) 10:11:39ID:???

109DNS未登録さん2008/10/02(木) 01:57:54ID:nEirrkI6
dissalowされたサイトだけ検索するエンジン作ったらヒットしそうだね!
誰か作って!

110DNS未登録さん2008/10/04(土) 08:03:45ID:???
百度ひつこい

111DNS未登録さん2008/10/05(日) 00:15:29ID:???
大体RFC化もされていない「紳士協定」に対して
目くじら立てるやつっておかしいと思わないか?

フリーオを問題視してる団体と完全に構図が一緒だ

112DNS未登録さん2008/11/08(土) 08:10:01ID:oHYIhwg4
naver の Yeti というのは、naver しか使ってないのか ?
それなら、USER_AGENT で Yeti を丸ごと弾いてしまおうと思うが。

113DNS未登録さん2008/12/20(土) 20:11:22ID:91fDHPXk
htaccessでBaiduspiderはrobots.txtだけにアクセス出来るように設定したなら、
他のファイルに1秒20回アクセスするという暴挙に至っている。
それだけでエラーログが巨大化しているw
こうなるとルータで弾くしかないのか。

114DNS未登録さん2008/12/23(火) 15:11:38ID:aGiF1pXb
javascript使って、ブラウザアクセスでしか開けないようにしておけば良いんでない?
趣旨が違う?
俺、掲示板に広告書き込むスクリプトがウザくて使ったら、一切来なくなったよ。

こんな感じ↓
http://www.google.co.jp/ ←隠したいアドレス

-top.html-
<html><head>
<script type="text/javascript"><!--
function code(){add.innerHTML='<a href="http://www.goog'+'le.co.jp/">隠したいアドレス</a>';}
//--></script></head>
<body onLoad="code();">
<span id="add"><a href="noscript.html">隠したいアドレスへのジャンプページ</a></span>
</body></html>

-noscript.html-
<html><head></head><body>
以下のアドレスをコピーして移動してください。<br>
http://www<span>.google</span>.co.jp/<br>
</body></html>

アドレスをブツ切りにして記載してやれば、単純にテキストを検索して来た時は見えないし。
トップページは隠すの無理だけど。

115DNS未登録さん2009/08/24(月) 14:55:42ID:???
>>114
GJ

116DNS未登録さん2009/08/24(月) 18:11:05ID:???
とんだ先にアフィ貼るとかそういう落ちに期待したい(^◇^;

117DNS未登録さん2010/09/27(月) 10:57:04ID:9hieuaLl
robots.txtって、クローラはどこかのページにアクセスする際、
必ず見に来るものなのかな?

118DNS未登録さん2010/09/28(火) 02:34:40ID:???
お行儀が良いクローラならね。
見る義務は無いし、見ても記述内容に従う義務は無い。

119DNS未登録さん2010/11/01(月) 13:26:41ID:???
アクセスログを見ると、グーグルさんはちゃんとrobots.txtを見てくれてる

120DNS未登録さん2011/01/24(月) 23:43:10ID:???
66.249.69.91 googlebotのIPらしいけど、
sshの辞書攻撃を毎日してくる。

121DNS未登録さん2011/01/27(木) 00:36:41ID:???
なにそれ怖い

122DNS未登録さん2011/01/29(土) 23:13:36ID:???
クレーム入れてみてくれ。

123DNS未登録さん2011/01/30(日) 11:49:53ID:???
IP偽装してるだけだろ

124DNS未登録さん2011/02/01(火) 20:30:40ID:???
どうやって偽装するんだ?

125DNS未登録さん2011/03/13(日) 08:04:32.30ID:???
>>124
IPヘッダ書き換えりゃ偽装自体は出来る。
でもIPパケット送りつける事しか出来ない。

126DNS未登録さん2011/10/16(日) 02:11:24.30ID:???
Ajaxばりばりのサイトでも突破できるクローラーってありますか?

1271262011/10/16(日) 13:33:18.84ID:???
かんたんなDHTMLはいけても、
さすがに、GoogleMapも自動でリンクたどるとか無理ですよね?

128DNS未登録さん2011/12/20(火) 14:10:31.57ID:???
yahooの検索結果に表示されては困る、でもgoogleやその他にはむしろガンガン表示して欲しいんだが、
そんな指定metaタグでできる?
無理ならブラウザ拡張のアドオンでもいいんだが。
教えてください。

129DNS未登録さん2011/12/20(火) 15:14:30.76ID:???
今yahooの検索エンジンってgoogleのやつを使ってるんじゃなかった?

130DNS未登録さん2011/12/20(火) 17:10:58.19ID:???
そこが問題なんだよなー。
なんかいい方法ないかな。
アドオン探してもgoogleのは見つかるが、yahooで検索結果から除外できるようなアドオンは無いみたいだし。

131DNS未登録さん2012/02/20(月) 20:02:21.28ID:???
八巻正治さんについて思うこと。
いつもは宗教心あふれる教師面して"福祉とはかくあるべき"と講釈たれてるのに、
自分の気に食わないことを言われると個人的な感情全開にして、己の懐の狭さが露見するよね。

八巻正治さんは、他人には潔さを求めるのに、自身の発言には一切の責任を取らない。
これ程まで薄っぺらい人間を、他には知らない。
ニューポート大学大学院博士だけのことはあるね。

  ∧_∧
  ( ・∀・)            人 ガッ
  (    つ―-‐-‐-‐-‐-‐○ <  >__Λ∩
  人 Y ノ.             V`Д´)/
  し(_)                  /  ←>>59

133クリスチャノ水戸2016/04/20(水) 23:57:26.06ID:0U08Vzb+
!!押川の悪事警報!!
※常識的に事実でなければこの様な内容は書けません!
毎度お馴染みの極悪人、押川定和の被害にご注意下さい。
押川定和の悪事は犯罪の領域に達している。

大企業(株)クボタ筑波工場からも情報を盗み取ったのは決定的で対応に注目が集まる。
http://www.kubota.co.jp/siryou/jigyos.html


創価学会押川定和の
勤め先・株式会社WEIC(ウェイク)104-0053
東京都中央区3-1
http://www.ntt.com/bizhosting-basic/data/case2_1.html

134DNS未登録さん2017/02/03(金) 12:44:05.83ID:UpAhIUM+
yandexに本気で殺意を覚えた
どこから来やがった氏ね

135DNS未登録さん2017/08/24(木) 08:24:43.19ID:CVAFOrrA
最近,Baiduクローラーからのアクセスが来るよになったのでIPが変わったのかと思って,
確認したら変わっていない。
Apacheでアクセス拒否にしているのに…
で,しょうがないので上流のファイヤーウォールでアクセス拒否にしても何故かやってくる…
これは一体どういうことだw

送信元を詐称して,詐称先にパケットを返しているのかな?
謎挙動なんだがw

新着レスの表示
レスを投稿する