Windowsソフト、iPhoneアプリ、ゲーム音楽素材の「Meteoric Stream」 -> 資料室 -> サーバー関連 -> 【サーバーダウン】msnbot, bingbotのクロールを遅延させるべき理由

【サーバーダウン】msnbot, bingbotのクロールを遅延させるべき理由

突然の原因不明なサーバーダウン。
SSHでサーバー自体には接続出来るだけど、
Apacheがフリーズしてサイトにアクセスできない・・・。

VPSや専用サーバーを運用していると、こういったトラブルが時々あるのですが、その一つの原因となっているのが、クローラーの存在です。

access logを確認してみると、1秒あたりに何件も、同じIPアドレスからアクセスされていて、しかも、アクセス先のURLがなんとなく不自然、って事は無いですか?

んで、該当するIPアドレスをネットで調べてみると、Googlebotやmsnbot、bingbotなどのアクセスだった事が分かったりします。

Googlebotはともかくとして、Bingからの検索流入なんて大して無いのに、Botだけ大量アクセスされても、はっきり言って、困りますよね。

って事で、ゲイツに来てもらうタイミングを、もう少し遅めにしてもらいましょう。

やり方は簡単。

robots.txtを開いて、下記コードを追記すればおk。

User-agent: bingbot
Crawl-Delay: 10
 
User-agent: msnbot
Crawl-Delay: 10

これで、1秒ごとよりはちょっと緩やかになったはずです。
(完全に10秒おきにはならないようですが。)

もっと遅くて良いなら、30くらいでも良いでしょう。

この記事の最終更新日:2017/10/15
最初に記事を書いた日:2017/10/15

この記事をシェアする

このエントリーをはてなブックマークに追加

関連記事

資料室のトップに戻る
Windowsソフト、iPhoneアプリ、ゲーム音楽素材の「Meteoric Stream」 -> 資料室 -> サーバー関連 -> 【サーバーダウン】msnbot, bingbotのクロールを遅延させるべき理由
▲Top English