Martin LaMonica (CNET News.com)
2005/03/04 18:55
Googleが運用する数千台のPCサーバでは、Red Hatディストリビューションをベースに、機能を必要最低限に絞り込んだLinuxが動いている。ただし、その実体はGoogle向けにカスタマイズされたカーネル部分だけのものだと同氏は付け加えた。
同社はさらに、大量のデータを処理し、クエリに対して素早く応答するシステムも考案している。このシステムでは、ロボットがウェブをまわって集めたデータを数百万個の小片--Google用語でいえば「破片」--に分割して保存しており、また各々のデータは障害時に備えて複製が用意されている。
当然ながら、同社はウェブ上に現れた言葉のインデックスをつくり、それを多数の巨大ファイルとして保存している。しかし、Googleはドキュメントサーバも用意しており、ここには同社のロボットがネットを歩きまわって集めたウェブページの複製が保存されている。
このほか、数千台のサーバで動くプログラムの開発を大幅に簡略化したことも、グーグルのエンジニアがあげた重要な手柄だと、Hoelzleは述べた。「並列」サーバで動くアプリケーションの開発には、ふつうは特殊なツールやスキルが必要となる。
MapReduceと呼ばれるGoogleのプログラミングツールは、障害発生時のプログラムの復旧を自動化し、同社のコスト削減に重要な役割を果たしている。
Hoelzleは、「実際のところ、コストは作業に必要な機器のコストと、便利なものを開発するためのプログラミングに要する時間の合計で決まる」とし、Googleでは昨年からMapReduceの利用を拡大し始めていると付け加えた。
さらに、Googleは数百万の処理を管理する「バッチ処理」のスケジューリング用ソフトも開発した。Global Work Queueと呼ばれるこのソフトウェアは、工事監督のような役割を担っており、計算処理を多数の小さなタスクに分割した上で、それを複数のマシンに割り当てるというものだ。
Hoelzleは、障害に備えてこれだけの冗長機能が用意されていても、同社のシステムでは対応できない問題があると打ち明けた。同氏はプレゼンテーションのなかで、6台の消防車がGoogleのデータセンターに駆けつけたときの写真を披露した。ただし「動かなくなったマシンは1台どころではなかった」と同氏は述べただけで、この事故の具体的な詳細は明らかにしなかった。
この記事は海外CNET Networks発のニュースをCNET Japanが日本向けに編集したものです。
オンラインストレージをめぐる競争--デルが狙う利用意識の高まり
ネコ画像サイト「I Can Has Cheezburger」の歴史--誕生から人気サイトになるまで
「mixi エコー? 快くは思ってないよ」--Twitter創業者
ウィル・ライト氏、「SPORE」「The Sims」、科学を語る
モバイルSEOに有用なデータの収集方法
中国ケータイは理屈ぬきにオモシロイ!
サイト上のユーザー行動情報をデータマイニングに活用する
コンテンツ市場14兆円の中身と行方
原宿で野宿を含む15時間 - iPhone行列完全ドキュメント
WEB2.0 じゃなくって PC0.5
taspoの必要性とタバコ屋でのコミュニケーション
できるだけ検索せずに情報を集める(試してみます)
@Tovas for AppExchangeのセットアップを30分で完了
夢幻∞大のエントリーアクセスランキング(8/29編)
MacBook touchは、登場するのか?
【再放送】最も弱いのは,購買力
フォトレポート:飛行機の祭典--米国最大、オシュコッシュ航空ショー
L・トーバルズ氏:「主要Linuxプログラマーになるのは楽じゃない」
ブログの未来はどうなる--新しいコミュニケーション手段「ライフストリーミング」
「iPhone 3G」のネットワーク問題は全米規模--読者情報から明らかに
PRADA Phone開封の儀--iPhoneと比べてみました
iPhoneとPRADA Phone、入力インターフェースはどう違うか
キン肉マンの牛丼、「なか卯」だった--生誕29周年迎え「キン肉マン祭り」
ついに登場! 待望のライフストリーミングツール「Sweetcron」
コスプレーヤー、コミックの祭典に集合--Comic-Con 2008
[レビュー]高い信頼性を普通に使う地球に優しい電源ユニット--Antec EarthWattsシリーズ EA-650
今週の新製品総チェック:ノート、デスクトップ、UMPCまでPC秋モデルが続々
今週の新製品総チェック:薄さ13.9mmのサイバーショット登場!NEC「LaVie」はデザインモデルがメンバー限定サービスをご利用いただく場合、このページの上部からログイン、またはCNET_ID登録(無料)をしてください。