いま明かされる、グーグル・データセンターの秘密 - (page 2)

　Googleが運用する数千台のPCサーバでは、Red Hatディストリビューションをベースに、機能を必要最低限に絞り込んだLinuxが動いている。ただし、その実体はGoogle向けにカスタマイズされたカーネル部分だけのものだと同氏は付け加えた。

　同社はさらに、大量のデータを処理し、クエリに対して素早く応答するシステムも考案している。このシステムでは、ロボットがウェブをまわって集めたデータを数百万個の小片--Google用語でいえば「破片」--に分割して保存しており、また各々のデータは障害時に備えて複製が用意されている。

　当然ながら、同社はウェブ上に現れた言葉のインデックスをつくり、それを多数の巨大ファイルとして保存している。しかし、Googleはドキュメントサーバも用意しており、ここには同社のロボットがネットを歩きまわって集めたウェブページの複製が保存されている。

　このほか、数千台のサーバで動くプログラムの開発を大幅に簡略化したことも、グーグルのエンジニアがあげた重要な手柄だと、Hoelzleは述べた。「並列」サーバで動くアプリケーションの開発には、ふつうは特殊なツールやスキルが必要となる。

　MapReduceと呼ばれるGoogleのプログラミングツールは、障害発生時のプログラムの復旧を自動化し、同社のコスト削減に重要な役割を果たしている。

　Hoelzleは、「実際のところ、コストは作業に必要な機器のコストと、便利なものを開発するためのプログラミングに要する時間の合計で決まる」とし、Googleでは昨年からMapReduceの利用を拡大し始めていると付け加えた。

　さらに、Googleは数百万の処理を管理する「バッチ処理」のスケジューリング用ソフトも開発した。Global Work Queueと呼ばれるこのソフトウェアは、工事監督のような役割を担っており、計算処理を多数の小さなタスクに分割した上で、それを複数のマシンに割り当てるというものだ。

　Hoelzleは、障害に備えてこれだけの冗長機能が用意されていても、同社のシステムでは対応できない問題があると打ち明けた。同氏はプレゼンテーションのなかで、6台の消防車がGoogleのデータセンターに駆けつけたときの写真を披露した。ただし「動かなくなったマシンは1台どころではなかった」と同氏は述べただけで、この事故の具体的な詳細は明らかにしなかった。