検索エンジン3社がインデックス効率化のための共通フォーマットを採用（Sitemaps 0.90）

Google、Yahoo!、Microsoftの3社が11月16日、共通のSitemapsプロトコルをサポートするとの発表を行いました。

Sitemapsは日本であまり利用されていない印象を受けますので簡単に仕組みを説明しますと、これはウェブマスターがコンテンツの在処（URL）やその最終更新日、更新頻度などを記したXMLフォーマットのファイルを用意しておき、それを検索エンジンに送信することでインデックスに登録することを促すものです。

通常、ロボット型検索エンジンは自動的にリンクを巡回してページを収集していくのですが、それには限界があります。また、頻繁に更新されるコンテンツとそうでないコンテンツに対する巡回頻度をコントロールすることができれば理想でしょう。Webサイト運営者としても、公開しているコンテンツは迅速に、効率よく登録をしたいと考えます。Sitemapsプロトコルを利用することで両者ともにメリットを受けられるわけです。

この仕組み自体は新しいものではなく、古くは2000年頃から、InktomiやAlltheWeb（いずれも現在はYahoo!に吸収）がPaid Inclusionサービスの大規模サイト向けに提供していたXMLフィードがあります。これは商品点数の多い大規模Eコマースサイトなどを対象とした有料サービスでしたが、昨年Googleが「Google Sitemaps」というサービスで（現在はGoogleウェブマスターツール）無料で提供をしました。その後、Yahoo!も「Yahoo! Site Explorer」という同様のサービスを開始しています。また、ショッピング検索エンジンも同様にEコマースサイトの商品情報を受け取るために似たようなサービスを提供していました。

しかし検索エンジン各社はそれぞれ独自仕様のXMLフィードによる登録の受付を行っていたため、例えばGoogle SitemapsとYahoo! Site Explorerを利用しようとすると、個別にファイルを用意する必要がありました。これはサイト運営者にとって面倒な作業です。

今回の3社の共通フォーマットのサポートは、こうした負担をなくすものであり、評価できるものでしょう。同時に検索各社も、効率的にコンテンツを収集するための手段を得たわけで、各社のクロール技術に依存するとはいえ、理論上は同様のインデックスを構築することも可能になったのです。

振り返ってみれば、ブログのトラックバックスパム対策としての nofollow（Google、Yahoo!、MSNがサポート）、そしてDMOZ (Open Directory）の見出し・説明文を表示させないための NOODP（最初にMSNが採用、続いてGoogle、Yahoo!が追随）と最近は3社が歩調をあわせるケースが出てきています。今後は、インデックスに登録させたくないと考えるWebサイト運営者向けの、robots.txt の文法ルールの統一、インデックスからの削除方法などのプロセス統一化が図られるかも知れません。

最後に、今回の Sitemaps 0.90サポートのニュース記事、それに対するユーザの反応を見ておりますと「指定のファイルを用意すれば検索エンジンに登録できる」と思っていらっしゃるようですが、実務上、「検索エンジンに登録する」という観点では全く役に立ちません。つまり、XMLファイルを検索エンジンにフィードしても、その行為によってページが登録される、ということはまずありません。ただの気休め、あるいはGoogleウェブマスターツールの各機能を利用するためにSitemapsを利用するのは結構ですが、あまり期待しないことです。