[クローラー]ロボット対策スレ[robots.txt]
javascript使って、ブラウザアクセスでしか開けないようにしておけば良いんでない？
趣旨が違う？
俺、掲示板に広告書き込むスクリプトがウザくて使ったら、一切来なくなったよ。
こんな感じ↓
http://www.google.co.jp/ ←隠したいアドレス
-top.html-
<html><head>
<script type="text/javascript"><!--
function code(){add.innerHTML='<a href="http://www.goog'+'le.co.jp/">隠したいアドレス</a>';}
//--></script></head>
<body onLoad="code();">
<span id="add"><a href="noscript.html">隠したいアドレスへのジャンプページ</a></span>
</body></html>
-noscript.html-
<html><head></head><body>
以下のアドレスをコピーして移動してください。<br>
http://www<;span>.google</span>.co.jp/<br>
</body></html>
アドレスをブツ切りにして記載してやれば、単純にテキストを検索して来た時は見えないし。
トップページは隠すの無理だけど。
とんだ先にアフィ貼るとかそういう落ちに期待したい(^◇^; robots.txtって、クローラはどこかのページにアクセスする際、
必ず見に来るものなのかな？ お行儀が良いクローラならね。
見る義務は無いし、見ても記述内容に従う義務は無い。 アクセスログを見ると、グーグルさんはちゃんとrobots.txtを見てくれてる 66.249.69.91 googlebotのIPらしいけど、
sshの辞書攻撃を毎日してくる。 >>124
IPヘッダ書き換えりゃ偽装自体は出来る。
でもIPパケット送りつける事しか出来ない。 Ajaxばりばりのサイトでも突破できるクローラーってありますか？ かんたんなDHTMLはいけても、
さすがに、GoogleMapも自動でリンクたどるとか無理ですよね？
yahooの検索結果に表示されては困る、でもgoogleやその他にはむしろガンガン表示して欲しいんだが、
そんな指定metaタグでできる？
無理ならブラウザ拡張のアドオンでもいいんだが。
教えてください。 今yahooの検索エンジンってgoogleのやつを使ってるんじゃなかった？ そこが問題なんだよなー。
なんかいい方法ないかな。
アドオン探してもgoogleのは見つかるが、yahooで検索結果から除外できるようなアドオンは無いみたいだし。 八巻正治さんについて思うこと。
いつもは宗教心あふれる教師面して"福祉とはかくあるべき"と講釈たれてるのに、
自分の気に食わないことを言われると個人的な感情全開にして、己の懐の狭さが露見するよね。
八巻正治さんは、他人には潔さを求めるのに、自身の発言には一切の責任を取らない。
これ程まで薄っぺらい人間を、他には知らない。
ニューポート大学大学院博士だけのことはあるね。 ∧＿∧
（ ・∀・） 人 ｶﾞｯ
（ つ―-‐-‐-‐-‐-‐○ < >__Λ∩
人 Y ノ. Ｖ｀Д´）/
し（＿） / ←>>59 ！！押川の悪事警報！！
※常識的に事実でなければこの様な内容は書けません！
毎度お馴染みの極悪人、押川定和の被害にご注意下さい。
押川定和の悪事は犯罪の領域に達している。
大企業(株)クボタ筑波工場からも情報を盗み取ったのは決定的で対応に注目が集まる。
http://www.kubota.co.jp/siryou/jigyos.html
創価学会押川定和の
勤め先・株式会社ＷＥＩＣ(ウェイク)104-0053
東京都中央区3-1
http://www.ntt.com/bizhosting-basic/data/case2_1.html yandexに本気で殺意を覚えた
どこから来やがった氏ね 最近，Baiduクローラーからのアクセスが来るよになったのでIPが変わったのかと思って，
確認したら変わっていない。
Apacheでアクセス拒否にしているのに…
で，しょうがないので上流のファイヤーウォールでアクセス拒否にしても何故かやってくる…
これは一体どういうことだw
送信元を詐称して，詐称先にパケットを返しているのかな？
謎挙動なんだがw 
