こんにちは。
弊社がリモートサポート契約しているWebサーバにおいての出来事なんですが、昨日、お客様から、
最近、ブログの更新をするときにサーバが応答してくれないことがある。
自分のホームページを閲覧しようとしたときにページが表示されないことがある。
といった感じの問合せが来ました。
その方のWebサーバは、立ち上げ当初から、これといって、プラグインを増やしたりといったカスタマイズはしていなかったんです。
それなのに、サーバの応答がおかしいという問合せ・・・！？
なんだろうと思い、おもむろにターミナル（私Mac使いなので）を開き、お客様のサーバへ接続して、まずは、httpdのログを確認。
すると、今まで、見たことの無かったレコードが、約２秒に１回の割合で、アクセスしているのです。
はっ(゜Д゜)
でした。
とりあえず、該当のIP情報をdigにかけて、情報を引き出してみると、IPは違えど、アクセスしてきているモノは、皆同じ。
こりゃなんだ！？
とネットを含めて調べてみたところ、
BOT
であることが判明。
ある意味、BOTが巡回しに来ると言うことは、悪いことではないのですが、ここまで、頻繁に来訪して貰っては、通常の営業に支障を来すと言うことで、とりあえず、該当のBOT、今回は、
BingBOT
でしたので、このBOTの機能について、Bingで確認。
すると、ビックリ(゜Д゜)です。
デフォルトのままだと、
数秒間に１回
の割合で来訪してくるモノなのだそうです。
そんなに頻繁に来られても意味が無いから、もっと来訪間隔を大きく出来ないか調べたところ、ありました。
ただ、他のBOTとは違って、秒単位では無く、指数のような数字で管理がされているようです。
それが、これ！
Crawl-delay setting ： No crawl delay set
Index refresh speed ： Normal
Crawl-delay setting ： 1
Index refresh speed ： Slow
Crawl-delay setting ： 5
Index refresh speed ：Very slow
Crawl-delay setting ： 10
Index refresh speed ： Extremely slow
この４パターンでの設定のようです。
そこで、お客様がどの程度我慢できるかにも寄るのですが、とりあえず、robot.rxtを生成し、中に
User-agent: bingbot
Crawl-delay: 5
として、書き込み、お客様のサイトにアップしてみました。
それから、数日、お客様から、
まだちょっと鈍い感じがするので、もう少し遅くする設定の「10」を設定して、試して貰いました。
そうしたところ、今のところ、大丈夫そうな感じなので、この設定で使って頂くことに致しました。
でも、この設定、この数値が最大値なので、これ以上遅く出来ないんですね。
これ以上を望まれた場合、BingBOTからのアクセスを全てシャットアウトするしか無いんです。
ちなみに、全てシャットアウトするときには、
robot.txt
ではなく、今度は、
.htaccess
での対応となります。
どのような記述をするのかというと、下記のようになります。
SetEnvIf User-Agent “Googlebot” shutout
SetEnvIf User-Agent “Slurp” shutout
SetEnvIf User-Agent “bingbot” shutout
SetEnvIf User-Agent “Yeti” shutout
SetEnvIf User-Agent “Baiduspider” shutout
order Allow,Deny
Allow from all
Deny from env=shutout
このように記述して、Webサーバのルートディレクトリに置くと、BOTが来ないようになります。
ちなみに、上記の記述の場合、主要なBOTを全て蹴るようになります。
— PR —
※たった１ヶ月（３１日）で６０万円を稼ぐ方法(^o^)
最短で稼ぐための方法があるとしたら・・・
たった４つの“無料”授業を受けるだけで、稼げる側の人になれます(^_-)
→ http://bit.ly/1NtIeg2
今日は、煎茶？珈琲？紅茶？、どれにしましたか？
お茶をしながら、ご覧ください。
コメント