【サーバーダウン】msnbot, bingbotのクロールを遅延させるべき理由
突然の原因不明なサーバーダウン。
SSHでサーバー自体には接続出来るだけど、
Apacheがフリーズしてサイトにアクセスできない・・・。
VPSや専用サーバーを運用していると、こういったトラブルが時々あるのですが、その一つの原因となっているのが、クローラーの存在です。
access logを確認してみると、1秒あたりに何件も、同じIPアドレスからアクセスされていて、しかも、アクセス先のURLがなんとなく不自然、って事は無いですか?
んで、該当するIPアドレスをネットで調べてみると、Googlebotやmsnbot、bingbotなどのアクセスだった事が分かったりします。
Googlebotはともかくとして、Bingからの検索流入なんて大して無いのに、Botだけ大量アクセスされても、はっきり言って、困りますよね。
って事で、ゲイツに来てもらうタイミングを、もう少し遅めにしてもらいましょう。
やり方は簡単。
robots.txtを開いて、下記コードを追記すればおk。
User-agent: bingbot
Crawl-Delay: 10
User-agent: msnbot
Crawl-Delay: 10
これで、1秒ごとよりはちょっと緩やかになったはずです。
(完全に10秒おきにはならないようですが。)
もっと遅くて良いなら、30くらいでも良いでしょう。
この記事の最終更新日:2017/10/15
最初に記事を書いた日:2017/10/15
この記事をシェアする
関連記事
- ・hosts.denyを使わずに、サーバーへの全てのアクセスをIPアドレス拒否する方法
- ・「.well-known」以下をwwwにリダイレクトさせない方法
- ・【格安VPN】NordVPNは本当に安全なのか?【閲覧履歴ダダ漏れw】
- ・「root@notty」って何者?
- ・アクセス解析ツール「awstats」をCentOSにyumでインストールする
- ・Kali LinuxをVagrantにインストールする
- ・【Tomcat】Apache+Tomcat連携で、特定のディレクトリのみTomcatにする方法
- ・【PHP】HTTPDの溜まりきったログを一気に削除する方法
- ・Macでトンネル接続してFTP/SFTP接続する簡単な方法
- ・【.htaccess】httpアクセスをhttpsに強制リダイレクトで、特定のファイルやディレクトリを除外する方法