完璧を追求できるか、エンタープライズサーチ

サーチは体操やフィギュアスケートの一流選手の芸域に到達しなくてはいけない。完璧な演技を、いともたやすくやったように見せなくちゃ。そんな書き出しで始まるのが、「Refining enterprise search」というInfoWorldの記事だ。

「Enter a query, and the right results appear in simple, elegant fashion -- even if it took countless hours of preparation to make the magic possible.」

エンタープライズサーチ特集の一環で書かれたもの。色々な省略文字が次々に現れては消えていくが、ESPとは「enterprise search platforms」のことらしい。果たしてこの言葉は定着していくのだろうか。

「The goal of ESPs is deceptively simple: to take fairly simple queries and return the most relevant results possible, all in one place. But under the hood, ESPs aggregate a host of emerging technologies such as autocategorization, entity extraction, and NLP (natural language processing). With an ESP as a foundation, businesses can build customized search applications while automating the process of preparing documents for archiving and indexing. 」

という部分が、エンタープライズサーチの今後を概観するものである。

コンシューマー向けとは顔ぶれが違うESP

じゃあ誰がESPのプレイヤーか。当然、エンタープライズとなればIBMは? と思うわけだが、IBMの場合は、Masalaというコードネームのプロジェクトでやっている。半年前のCNET Japanの記事「IBM、Masalaで分散型検索への取り組みを拡大」もあわせてご参照。この記事では、

「同社の巨大な研究部門では、WebFountainなどのプロジェクトで情報検索の分野にさらに深く踏み込んでおり、また社内シンクタンクのInstitute for Search and Text Analyticsなどでは、データウェアハウス、クエリ構造、データベース技術と検索とが重複する部分などについて研究を進めている。」

と書かれているが、WebFountainについては本欄でも以前に詳しくご紹介したことがある。

「With Masala, IBM joins the ranks of Autonomy, Convera, EasyAsk, Endeca, Fast Search & Transfer (FAST), iPhrase, and Verity, each of which offers search-application platforms with a different mix of features.」

とあるように、エンタープライズサーチのプレイヤーは、Google、Yahooがリードするコンシューマーサーチの世界とは、顔ぶれが全く違っている。しかし今のところ、コンシューマーサーチ世界でここ数年に起きたようなブレークスルーは、まだ起こっていない。

冒頭で述べた「Enter a query, and the right results appear in simple, elegant fashion」というゴールへどう到達すべきかがまだ見えていない状況にあると、この記事は総括する。

Googleはエンタープライズサーチに本気か？

ところでGoogleは有名でも、Google Applianceというエンタープライズ向け製品はあまり有名でない。有名ではないが、歴史はけっこう古くて、製品ローンチは2002年初めころだったと思う。GoogleなりのESPへのアプローチだが、どのくらい本気で今もやっているのかは不明である。

特集の中の別の記事「Google and Thunderstone deliver plug and search to the enterprise」では、Google Applianceと、Google Applianceに競争を仕掛けるベンチャー・Thunderstoneの製品があわせて紹介されている。価格は、Googleが「$32,000 for searching as many as 150,000 documents」、Thunderstoneが「$10,000 for searching 250,000 documents; $20,000 for searching 1 million documents」。

「The Google appliance may save the day for enterprises with broken search technology: Just open up the repositories and rev up the Google engine. But Delphi Group’s Reynolds thinks that “IT should stop investing in generic search tools and start concentrating on their professional domains. At the same time, the business side should be more involved, to ensure that IT commits the resources to develop business-oriented applications of search.” 」

Googleは、Googleらしいホリゾンタルなアプローチでうまくいくと考えているが、やっぱりドメインをきっちり決めてバーティカルにやらないと、ビジネスじゃあ使い物にならんよという感覚も、ESPの専門家の間にはある。

ESPならではの技術的課題

特集の中のもう1つの記事「Search takes smarts」は、ESPの難しさをこう総括する。

「For one thing, ESPs (enterprise search platforms) like those described in " Refining enterprise search" must deal with a bewildering array of nonstandardized sources, from unstructured documents to legacy databases. They also need to address questions of access, identity, and security, because not all members of the organization should have equal entrée to information. And all this has to take place inside the firewall, adding yet another layer of complexity.」

ESPは、構造化されていない文書からレガシーのDBまで、標準化されていない膨大な文書に対処しなければならない上、組織内の情報アクセス権限が平等ではないことに起因する諸問題が生起され、セキュリティの問題も大きい。

「Indeed, under the hood, enterprise-level search technology brings together some of today’s most advanced, cross-disciplinary computer science.」

そういう問題の解決のためには、現代の最も進んだ学際的なコンピュータサイエンスの成果を持ち寄らなければならないと、この記事は言う。

コンシューマー向けとビジネス向けの市場の違い

「B-log Cabin TP」の南さんの「「カンブリア爆発」後のサーチエンジンのホールプロダクトは？」で

「The New York Times に掲載された、John Markoff 記者（ハッカー小説、テイクダウン、の著者としても有名ですね。）がサーチ・エンジン戦争の現状と未来を語る記事、"Google Envy Is Fomenting Search Wars" を読んでいたら、Searchblog の John Battelleの言葉として "We're entering the period of the Cambrian explosion" という一文が出て来た。インターネット上のフリー百科事典、Wiki Pedia 日本語版によると、「カンブリア爆発」とは、現在見られる多細胞生物の「門」が出揃った5億数千万年前の時期を指すとの事。多様なサーチ・エンジン種の生物が一挙に地表に現れ、激しい戦いが始まっている。

この戦いで重要なのは、John Markoff 記者も触れている通り、サーチ・エンジンそのものが高機能である事も勿論必要だが、更にどの様な付加価値の高い要素を結びつけるか、である。」

こう書かれているが、なるほど、サーチ世界の今を「カンブリア爆発後」と表現するのは言い得て妙である。

ただそれは、コンシューマーサーチの世界において、サーチ技術の周辺に「儲かるビジネスモデル」が発見されたからであって(発見者はGoogleではなくてOvertureだと考える人が多い)、エンタープライズサーチの世界には、それはまだあてはまらないのである。Google ApplianceとThunderstoneが、顧客1社あたり数万ドルの下の方の売り上げを求めて競合している話を引いたが、ビジネスモデルは旧態依然としたもので、わくわくするような新規性はない。

よって同じサーチでも、エンタープライズサーチは、技術的にも難しい上にビジネスモデルが新しくないから、サーチに関する最高のリソースが大量にここに投入されそうな感じがまだしない。その上、エンタープライズ市場における広義のKnowledge Managementという領域は、シンプルな機能の製品以外、どうも昔から一度も立ち上がったことのない「魔の領域」という気もするし。

エンタープライズサーチが、「体操やフィギュアスケートの一流選手の芸域に到達しなくてはいけない」という基準に到達するには、まだまだ時間がかかりそうである。