お使いのブラウザは最新版ではありません。最新のブラウザでご覧ください。

CNET Japan ブログ

百度 日本法人、「Baiduspider問題」への対応を表明

2007/02/18 06:21
  • このエントリーをはてなブックマークに追加

プロフィール

渡辺隆広

日本でSEOを始めた第一人者として知られるアイレップサーチエンジンマーケティング総合研究所 所長の渡辺隆広氏が、競争の激化する検索市場をビジネス、マーケティング、テクノロジーの各方面から掘り下げます。
ブログ管理

最近のエントリー

GoogleやYahoo!で「Baiduspider」と検索してみよう。検索結果にざっと目を通すと「出入り禁止」「〜がやってきた」「行儀が悪い」などと否定的な言葉が並ぶ。。Baiduspiderとは中国の検索エンジン「百度(baidu)」のWebページ収集ロボット(クローラ)の名称だが、総じてウェブマスターからの評判は悪い。実際、私自身も運営するサイトでは Baiduspider を弾いている。要は、クロール頻度が高くサーバに多大な負荷をかけてしまうことが問題なのだ。

そんな百度は日本市場への進出を既に表明しているわけだが、この度、日本のサイト運営者に対してのメッセージを発表した。百度の日本語公式サイトから引用してみよう。

さて、弊社はまもなく日本語版検索サービスを開始致しますが、それにあたり現在日本語サイトの情報収集Spiderのリサーチを実施しております。

それにより御社のサイトに過剰なアクセスが発生したため、管理者の方には多大なるご心配をおかけ致しました。

私たちは百度作業管理担当者としてこの度百度Spiderが御社のサイトにご迷惑をおかけしましたことに関して誠に申し訳なく思っております。

ようやくこの問題に目を向けて、クロールのコントロールを強化するようだ。全体的なクローラ負荷を下げる、具体的には「最大クローラ頻度を9回/秒から1回/秒にする」「中小サイトに対してクローラ頻度を20秒/回以内にコントロール」「毎日のクローラ総量をコントロールする」などとしている。

Baiduspiderのアクセスをブロックするサイト運営者が増えれば増えるほど、日本語ページの収集に支障が生じ、結果として検索サービスそのものの提供が困難になる。検索サービスを成立させるためには検索利用者だけでなく、情報収集対象となるサイト運営者に対してもメリットを与える存在である必要があり、百度が熱心に日本市場の開拓に取り組んでいきますという姿勢の表れだろう。

※このエントリは CNET Japan ブロガーにより投稿されたものです。朝日インタラクティブ および CNET Japan 編集部の見解・意向を示すものではありません。
運営事務局に問題を報告

最新ブログエントリー