紳士的なクローラーは1日に1度の割合でアクセスすると謳っていますが、phpBB2 はセッションIDを使用しているため、
セッションIDが変わる毎にクローラーが同じページに何度もアクセスしてくるので、アクセス数が増大してしまいます。

このサイトに来訪しているクローラー＆スパイダー（ボット）を一覧にしておきます。

■RED　五月蝿い＆危険

コード:

Baiduspider+(+http://www.baidu.com/search/spider.htm) BBSWriter Mozilla/5.0 (compatible; NaverBot/1.0; nhnbot@naver.com)

以上、拒否推奨。
Baiduspider+ は、中国のです。INDEXされても意味なし。
BBSWriter は、BBS に無差別で投稿を試みる悪質なスクリプトで、高価なソフトらしいです。
Naver は、昔も今も変わらず、行儀の悪いボットです。


■YELLOW　やや多量

コード:

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) Mozilla/5.0 (compatible; Yahoo! DE Slurp; http://help.yahoo.com/help/us/ysearch/slurp) Gigabot/2.0 (http://www.gigablast.com/spider.html) Steeler/3.2 (http://www.tkl.iis.u-tokyo.ac.jp/~crawler/) e-SocietyRobot(http://www.yama.info.waseda.ac.jp/~yamana/es/)

最近、Steeler にアクセスしまくられてます。セッションID 使用サイトでは、かなりの数が通過します。リファラ付きで。


■GREEN　比較的大人しい

コード:

msnbot/1.0 (+http://search.msn.com/msnbot.htm) msnbot-Products/1.0 (+http://search.msn.com/msnbot.htm) msnbot-media/1.0 (+http://search.msn.com/msnbot.htm) Exabot/3.0 Shim-Crawler(Mozilla-compatible; http://www.logos.ic.i.u-tokyo.ac.jp/crawler/; crawl@logos.ic.i.u-tokyo.ac.jp) ichiro/2.0 (http://help.goo.ne.jp/door/crawler.html) Feedfetcher-Google; (+http://www.google.com/feedfetcher.html) Mediapartners-Google/2.1 Speedy Spider (Entireweb; Beta/1.0; http://www.entireweb.com/about/search_tech/speedyspider/) findlinks/1.1.3-beta9 (+http://wortschatz.uni-leipzig.de/findlinks/) MJ12bot/v1.0.8 (http://majestic12.co.uk/bot.php?+)

msnbot は大人しい割にはINDEXするのが速いです。
ichiro はめったに来ません。
MJ12bot ・・・ドメイン名はアレですが・・・。


■???　不明

コード:

Infoseek SideWinder/2.0B (Linux 2.4 i686) sogou spider OutfoxBot/0.5 (for internet experiments; http://; outfoxbot@gmail.com)

コレらは、なんやろね？

対策方法

以下の MOD を導入。
[Tutorial] Google & phpBB
http://www.phpbb.com/phpBB/viewtopic.php?p=252424
http://www.phpbb.com/kb/article.php?article_id=29

日本向け改悪

コード:

｛作成中｝

Google & phpBB　感謝です。早々いれました。

hiikun の記述を引用:

■RED　五月蝿い＆危険 コード: Baiduspider+(+http://www.baidu.com/search/spider.htm) BBSWriter Baiduspider+ は、中国のです。INDEXされても意味がないので拒否を推奨。 BBSWriter は、BBS に無差別で投稿を試みる悪質なスクリプトです。拒否推奨。

私は　．ｈｔａｃｃｅｓｓに

コード:

SetEnvIf User-Agent "Baiduspider" deny_user-agent order allow,deny allow from all deny from env=deny_user-agent

　を追加しました。
これでいいのかちょっと不安ですが、取りあえず良さそう..

ちょこっと修正＆追加。

UTA さん、Naver も拒否った方が良いですよ。 robots.txt を読まないボットですから。