新検索エンジン「Wolfram|Alpha」、スパコン環境で高度な処理に対応

　2009年5月中に一般公開される「Wolfram|Alpha」に関して筆者が懸念することの1つは、インターネットが引き起こし得る破壊的な負荷に耐えられるかということだ。だがWolfram Researchは米国時間5月12日、世界で66番目に高速なスーパーコンピュータ上にサービスを構築する計画を明らかにした。

　このマシンは、R Systemsという企業がDell製ハードウェアで構築したもので、TOP500 Supercomputing Sitesにおける2008年11月のランキングによると、1秒当たり39兆6000億件の演算を継続的に実行できるという。筆者が思うに、Wolfram|Alphaはグラフ計算機、検索エンジン、参照ライブラリの組み合わせであり、事実に基づくデータ集約型の質問に対して何らかの回答を提供するだけでなく、処理過程で計算も行うものだろうが、それにはスパコンのこうした強力な性能が貢献できるだろう。

　Wolfram Researchは5月12日、同社の公式ブログWolfram|Alpha Blogの中で次のように述べた。「トラフィックの量を正確に予測するすべはないし、公開してから間もない初期のうちは特に予想がつかないが、当社は妥当なキャパシティを確保すべく懸命に努力している。われわれは、すべてのビジターに対して計算可能な知識を提供するのに十分な計算能力を持てるだろうか？　そうなるよう願っている」

　「R Smarr」と呼ばれるシステムは、TOP500 Supercomputing SitesのページとDellのケーススタディ（PDF）によれば、4608のプロセッサコアを備え、576のクアッドコアを搭載した「Xeon」マシン「Harpertown」、6万5536Gバイトのメモリ、および高速なデータ転送接続規格「InfiniBand」を使用するという。R Smarrはまた、「Red Hat Enterprise Linux」および「Microsoft Windows HPC Server」の両OSを使用する、とDellの資料に記載されている。

　Wolfram Researchによれば、Wolfram|Alphaのリクエストには、5カ所のコロケーション設備から対応するという。このプロジェクトでは実際、スーパーコンピュータを2台用意し、合わせて1万近くのプロセッサコアと数百テラバイトのハードディスクが確保される。

　R Smarrは、通常のDell製サーバを使用しない。代わりに、DellのData Center Solutions部門を通じてカスタムメイドのマシンが発注された。R Systemsの事業開発部門バイスプレジデントのBrian Kucic氏は、Dellの資料の中で次のように述べている。「当社は標準の『Dell PowerEdge』サーバの評価を行ったが、当時これらのシステムは、当社の顧客に必要な高メモリ帯域幅を提供できるサーバボードを用意していなかった」

　Wolfram|Alphaによるクエリ処理の裏側で行われることの一部には、Wolfram Researchの「Mathematica」ソフトウェアが使用される。Mathematicaは各種の数式処理やグラフ処理を実行できる。膨大な数値演算を実行するユーティリティをウェブで無料で利用可能にすることは、大惨事の原因になりそうな気もする。だが、筆者がWolfram|Alphaのプレビュー版を一通り使ってみた際、ヒトゲノムにおける特定の配列についてすべての出現パターンを検索したところ、約5秒間のタイムアウト制限に遭遇した。このことから、どうやらWolfram|Alphaは使用を制限する能力を備えているようだ。