6月8日をはじめ何度かご迷惑をおかけしておりましたnog.jp鯖全域障害ですが、Yahoo!ブログ検索のロボットが原因と判明しました。Yahoo!ブログ検索のユーザサポートの方といろいろやりとりをしておりましたが、結局Yahoo的には「通常」のアクセスであるという主張を崩さず物別れに終わりました。Yahoo!ブログ検索利用者の方にはご不便をおかけすることになりますが、現在は124.83.190.1/23からのアクセスを拒絶することで、暫定的に同様の事象が発生することのないようにしております。
発生したこととして、ユーザサポートへ私から送ったメールを掲載します。
Yahoo!ブログ検索カスタマーサービス御中 意味のある回答がいただけないようですので これまでのやりとりを纏めさせて頂き、 一連のやりとりを終わらさせていただきます。 ●発生した事象 ・2010年6月8日 午前2時16分前後（日本時間） ・過負荷のため正確なログが取得できなかったが、 2分程度の時間内で発生している事象 ・124.83.190.1/23 のアドレスブロックの多数(30以上)のIPアドレスから b.nog.jp の Webサーバへ対する、/?p=7230 という単一リソースへの GETリクエストを、100以上送信。 （同時間帯に /?p=7230 以外のリソースに対してもリクエストは発行している) ・該当アクセスに伴い、b.nog.jp および同サーバーに同居している 複数のwebシステムがアクセス不能となった ●Yahoo!ブログ検索カスタマーサービスの見解 ・該当アクセスは「Yahoo!ブログ検索のクローラーによる「通常」のものである」 ・「通常」と判断した根拠は示せない ・巡回を希望しない場合は robots.txt での制御をお願いしたい ・クローラのIPアドレスは変更される可能性があること、 IPアドレスは詐称される可能性があることから、 負荷対策はIPアドレスではなく、ユーザエージェント名で 実施することが望ましく、クロールに用いているIPアドレスは 公開できない。 ●感想（回答不要です） ・同じリソース（半年以上前から内容に更新のないURL）に対するここまでの 過剰なデータ要求は、サーバ資源・ネットワーク資源の無駄遣いです。 即時性の追求等でアクセス頻度を高めるという考え方はあるかと思いますが、 その場合は特定の時間帯のみのアクセス頻度を高めても意味がありません。 全く理解できない挙動であります。 本当にこれを「通常」と考えているのであれば、 インターネットの世界から退場いただきたいというのが正直な想いです。 ・詐称される可能性を言及した上で、 IPアドレスではなくユーザエージェント名での制御をという回答は、 理論として破綻していると思います。 （ひょっとしたらご存知ではないのかもしれませんが、 ユーザエージェント名の詐称は非常に簡単に出来ます） 長い間お付き合い頂有り難うございました。
なお、同一IPからの多重アクセスの場合は既に対処しており、過負荷で酷いことになりはしませんので、適宜ロボット等で巡回頂いても問題ありません。よろしくお願いします。
