Yahooが検索エンジンを自社開発した理由

Yahooの検索を支える技術インフラ

梅田：　分かりました。ところでここで興味をひかれるのがインフラの話です。Googleは10万台のコンピューターを組み合わせて検索用のスーパーコンピューターを作ったと言われています。彼らの強みはバックエンドのオペレーション能力ではないかと。Yahooの検索におけるバックエンドのオペレーション戦略について教えてください。

Vish：　Yahooは自社で開発したスケーラブルで拡張性が高く低コストなプラットフォームの上でサーチを運用しています。このバックエンドに携わる人員の規模というのは、私の推測ですが、おそらくどこにも負けないと思います。

　重要なのはシステムを低コストで運用できる能力があるかどうかです。サーチというのは受け取ったクエリーを返せばいいという話ではありません。検索を実現するための技術はずいぶん前から存在しているのに、検索サービスを効率的に運用できる企業はほんのわずかです。大規模なシステムを低コストで運用できる能力というのはそれだけで競争力になります。そして、それを実現できているのは2社だけ。その1社がYahooです。

梅田：　もう1社はGoogleですか。

Vish：　そうですね。

梅田：　Yahooもシステムの運用能力をもっとアピールした方が良いと思いますよ。それで、YahooのバックエンドのアーキテクチャーはGoogleと似ているのでしょうか。

Vish：　Yahooはとても高度に並列化されたIntelベースの環境を持っています。クラスター技術によって少ない待ち時間と高いパフォーマンス（この2つは同じことですが）を高度な信頼性をもって実現しています。この環境ではサーバーをいつでもプラグ＆プレイできます。このためウェブの成長に合わせてインフラ側も常に成長できるのです。

　検索のアーキテクチャーを簡単に説明すると、まずクエリーがサーチエンジンに投げられます。クエリーは1つのコンピューターに対して投げられますが、そのコンピューターが他のコンピューターの1団に向かってさらにクエリーを投げます。これらのコンピューターは自分たちの中にある「小インターネット」を検索し、最初のコンピューターに向かって結果を返します。これらの検索結果の数はものすごい量になります。最初のコンピューターは戻ってきた結果に順位を付けてユーザーに返します。

　これら全ての処理が1秒以内に行われます。そしてYahooでは1秒間に数千回もこのような処理を行っているのです。このレベルのサーチを信頼性と素早い反応速度を維持しながら世界的な規模で提供するために、Yahooはいくつものデータセンターと、超並列なコンピューター環境、そして高速なネットワークを運用しています。

買収した技術の統合

梅田：　このインフラはInktomiやOvertureの技術を流用して開発されたものですか。

Vish：　はい。買収の成果によるものだと言えます。我々はAltaVistaやFASTの技術も使っています。FASTチームは言語学の分野で信じられない能力を持っています。AltaVistaにはサーチエンジンビジネスの黎明期から続く知的財産がありますし、優秀な博士が何人かいます。そしてInktomiチームがこの低コストでスケーラブルな環境を開発しました。

梅田：　買収した企業はどれもサーチエンジンという点では同じでも別のものですよね。

Vish：　驚くかもしれませんが、例えばドキュメントを解析し順位付けするために、我々は100以上の異なるエレメントを使っています。

梅田：　つまり、買収した企業のそれぞれの技術を1つのスイートに統合したということですか。

Vish：　それがYSTです。異なるテクノロジーからいくつかの基本となる要素を集めて作っています。Inktomiの技術を統合するのに1年、FASTとAltaVistaは8カ月くらいかかりました。つまり我々がやったことはまずたくさんの技術をかき集め、「さあ、どれが一番いい技術なんだ」と言いながら、よい部分だけを抽出してYSTというプラットフォームを作ったということです。

梅田：　先にあなたが説明した検索の「ソリューション」と、検索の技術とはどういう関係になりますか。

Vish：　検索のアルゴリズムとソリューションとに分けて考えましょう。アルゴリズムはドキュメントの内容を解析し、ページの関係を分析し、結果の順位付けのために使われます。

　アルゴリズムはソリューションを提供するためにも使われますが、ソリューションで一番大事なのはユーザーのニーズに合わせて情報を提供できるように設計するということです。正しい検索結果が出るということと、得られた情報に満足するというのは別の話ですよね。

　ユーザーが満足する情報を提供するのはそんなに簡単ではありません。我々はアルゴリズムの精度を強化し続けながら、その上でソリューションの顧客満足度上げていきます。