.htaccess - 検索ロボット対策

インターネットに於けるウェブサイトの目的は「コンテンツを世界中に公開する」ことにあります。
そういう意味では、基本的にいかなるアクセスも拒否すべきではありません。

しかしながら、検索ロボット（クローラ）の中には "robots.txt" を遵守しなかったり、短時間にアクセスを集中してサーバーに多大の負担を掛けるものが存在します。

此処では、"robots.txt" と ".htaccess" を併用して、悪質クローラの効率的な撃退方法を記述してみます。

[2015.09.10] MJ12bot と AhrefsBot を追加しました。
[2015.04.28] 百度の日本検索サイト"Baidu Japan"は、2013年で更新が止まっていましたが、2015年3月で閉鎖したようです。検索サイトが閉鎖しても検索ロボットが動かない保障はありませんので、引き続き動向を監視する必要があります。携帯向けの"BaiduMobaider"は、DoCoMo・KDDI・SoftBankの検索ロボットとしても引き続き作動すると思われます。

問題のあるクローラ一覧

robots.txt について

クローラは、一番最初に "robots.txt" を見に行くルールになっています。
従って、拒否したいクローラがあれば、先ずこのファイルに記述します。

robots.txt の書き方と設置

拒否したい "User-agent" を、"Disallow: /"（全てのアクセスを拒否）にします。
大文字小文字は区別しませんが、"User-agent:" と "Disallow:" の項目名については、最初の文字だけを大文字にしておいたほうが良いようです。
一組ずつ必ず空白行を挟んで記述します。
* "#" は、コメント行を意味します。

# AhrefsBot: France Ahrefs(ahrefs.com)
User-agent: AhrefsBot/5.2
Disallow: /

# Baiduspider: China Baidu(www.baidu.com, www.baidu.jp)
User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider+
Disallow: /

User-agent: BaiduImagespider
Disallow: /

# ia_archiver: USA Alexa(alexa.com)
User-agent: ia_archiver
Disallow: /

# https://megaindex.com/crawler
User-agent: MegaIndex.ru
Disallow: /

# MJ12bot: England Majestic12(www.majestic12.co.uk)
User-agent: MJ12bot
Disallow: /

# Yeti: Korea Naver(www.naver.com)
User-agent: Yeti
Disallow: /

# yodaobot: China Yodao(www.yodao.com)
User-agent: yodaobot
Disallow: /

*注 どのクローラを拒否するかは、サイトのアクセス情報を良く分析して、ご自分の判断で行ってください。

必ず、"robots.txt" の名称でドキュメントルートの 直下に置きます。 ディレクトリを意識して書けば、 "/robots.txt" となります。

.htaccess によるアクセス制限

"robots.txt" を無視する、もしくは無視する可能性のあるロボットにアクセス制限をかけます。
"robots.txt" を順守するのがはっきりしているロボットについては、記述する必要が有りません。

削除済みとして処理する

[G] = "410 : Gone"を返して、ファイルが永久に削除されたように装います。
二度と来なくなるでしょう。

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider+ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} BaiduMobaider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} BaiduImagespider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [NC]
RewriteRule !^robots.txt$ - [G]

親サイトに URL 変更する

上記の処理で飽き足りない場合は、
"R=301" を返して、ファイルが永久に親サイトに移転したように書き換えて飛ばします。
次回から、ロボットは、直接親サイトにアクセスするようになります。

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC]
RewriteRule !^robots.txt$ http://ahrefs.com/ [R=301,L]

RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider+ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} BaiduMobaider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} BaiduImagespider [NC]
RewriteRule !^robots.txt$ http://www.baidu.jp/ [R=301,L]

RewriteCond %{HTTP_USER_AGENT} Yeti [NC]
RewriteRule !^robots.txt$ http://www.naver.com/ [R=301,L]

".htaccess" によるアクセス制限の詳細は、.htaccess - URL の書き換え を参考にしてください。