【サーバーダウン】msnbot, bingbotのクロールを遅延させるべき理由

突然の原因不明なサーバーダウン。
SSHでサーバー自体には接続出来るだけど、
Apacheがフリーズしてサイトにアクセスできない・・・。

VPSや専用サーバーを運用していると、こういったトラブルが時々あるのですが、その一つの原因となっているのが、クローラーの存在です。

access logを確認してみると、1秒あたりに何件も、同じIPアドレスからアクセスされていて、しかも、アクセス先のURLがなんとなく不自然、って事は無いですか？

んで、該当するIPアドレスをネットで調べてみると、Googlebotやmsnbot、bingbotなどのアクセスだった事が分かったりします。

Googlebotはともかくとして、Bingからの検索流入なんて大して無いのに、Botだけ大量アクセスされても、はっきり言って、困りますよね。

って事で、ゲイツに来てもらうタイミングを、もう少し遅めにしてもらいましょう。

やり方は簡単。

robots.txtを開いて、下記コードを追記すればおk。

User-agent: bingbot
Crawl-Delay: 10

User-agent: msnbot
Crawl-Delay: 10

これで、1秒ごとよりはちょっと緩やかになったはずです。
（完全に10秒おきにはならないようですが。）

もっと遅くて良いなら、30くらいでも良いでしょう。

この記事の最終更新日：2017/10/15

最初に記事を書いた日：2017/10/15