Googleのカネをかけない斬新なシステム構築

4月3日「IT産業に迫る「価格破壊の10年」」のComments欄に、Takaさんより貴重な書き込みをいただいた。僕のこの連載サイトはMT(Movable Type)で実装されていて、CommentsだけでなくTrackbackも簡単にできるようになっているところが面白い。

「Jim Reese, Chief Operations Engineer of Google, gave us a lecture on "A Linux Cluster for Fun and Profit" at Silicon Valley Linux User Group yesterday. The presentation was really awesome. The slides might be posted on SVLUG home page.」

最近、Linux User Groupの集まりまでチェックしていなかったが、これは知っていれば、出かけて聴きたいセミナーであった。Takaさんはたぶんシリコンバレー在住の方で、「The presentation was really awesome」と書かれているので出席されたのであろうと想像する。

この集まりは、毎月第1水曜日の夜に開かれる。

シスコがビルの一部を解放して、Linux Users Groupに使わせてくれるのである。

テーマは、

「How to build an internet search engine that indexes several terabytes of data, over 3 billion web documents, and serves it up at a rate of thousands of requests per second. (Hint: Start with a farm of 10,000+ Linux servers). The technology behind Google: company overview, search parameters and results, hardware and query load balancing, Linux cluster topology, scalability, fault tolerance, and more.」

「IT産業に迫る「価格破壊の10年」」の中でも触れた、Googleのカネをあまりかけない斬新なシステム構築の考え方についての技術的詳細を、Chief Operations EngineerのJim Reeseが聴衆に説明し、かなり突っ込んだ質疑応答が行なわれたのだと思う。

僕が探した限りでは、まだ「The slides might be posted on SVLUG home page.」となっていないようなので、もし読者の方で見つけた方がいらっしゃったらComments欄に書き込んでください。

GoogleのChief Operations Engineerは医学部出身のギタリスト

スピーカーのJim Reeseは、ハーバード大学のBiology(生物学)を卒業し、エール大学の医学部を出た(ちなみに米国は4年制の大学を出てから大学院で医学部に進むもの)。歌手でギタリストでもありCDも出しており、本職は神経外科医であった。

僕はJimを直接は知らないが、同じようなタイプのマルチタレントのアメリカ人の友人を何人か知っている。まぁ、とにかく知的好奇心が旺盛で、頭の回転が抜群に速くて、何を勉強させてもすぐに皆を追い抜き、本質的なところを瞬時につかむ、こいつにはかなわんなぁと思わせる連中が多かった。たぶんJimもそんな感じの人なのだろう。

「Jim Reese joined Google in 1999 as employee No. 18. Since that time, Jim has played a key role in managing the hardware and network infrastructure development to support Google's growth. Specifically, Jim directed the expansion of Google's server farm and network from 300 machines to the current number of more than 10,000. To manage all of these machines, Jim implemented a highly automated system for remotely administering and monitoring the entire cluster. Jim also contributed to optimizing Google's network to transfer the terabytes of data involved in the search engine index.」

そういう人が、1999年のまだ海のものとも山のものともわからない時代のGoogleに18人目の社員として入り、専門の脳神経外科とは全く関係のないシステム構築の仕事を任され、その4年後には、IT産業全体に大きな影響を及ぼし始めるというダイナミズムが、シリコンバレーの面白いところだ。こればっかりは間近で見ていないとよくわからない。

余談になるが、1998年から1999年にかけて、僕は「Googleは面白い」という話を、日本企業の研究所の人たちによくしていた。ところが、日本の研究所の人たちの多くが、アルゴリズム自身はうちでもちゃんと研究をしているとか、Googleの発想には特別飛んだところはないとか、多くの検索技術の1つだとか、そんな反応が多かった。1999年というのはGoogleにとってのそんな時期だったのだ。

Taka氏が紹介してくれたもう1つのリンク「Jim Reeseのインタビュー」の中には、Jim Reeseが実際に脳の手術をスタンフォード大学でしたことがあるという話が書いてある。

「Yes, as a neurosurgery resident at Stanford, I repaired brain aneurysms, removed tumors and blood clots, performed surgery for Parkinson's disease, and repaired cranial defects in infants, as well as doing many spinal operations.」

さて、4月13日のNew York Timesでは、「In Searching the Web, Google Finds Riches（無料の登録が必要）」という長文のGoogle紹介記事が掲載された。

Googleのことを何も知らない人にもわかるようにという意図で書かれた記事なので、本欄の読者には当たり前のことが多いかもしれないが、システムについてはこんな記述があった。

5万4000台以上のサーバーがGoogleを支える

「But several people with knowledge of the system said it consists of more than 54,000 servers designed by Google engineers from basic components. It contains about 100,000 processors and 261,000 disks, these people said, making it what many consider the largest computing system in the world.」

「THE immense size of the system helps explain why taking on Google will not be easy. "Managing search at our scale is a very serious barrier to entry," Mr. Schmidt said.」

すでにJim Reeseのシステムは、5万4000台のサーバーにまで膨れ上がっているらしい。

このNew York Timesの記事を受けて、Google専門BLOGサイトのMicrodoc Newsが、4月14日のBLOGで、こんな計算をしている。

「Growth of servers between 2000 and now calculates out to 379 new servers being added each week.」

2000年以来、Googleは、毎週、平均379台の新しいサーバーを追加しているわけだ。

Takaさん、Linux Users Groupで「really awesome」だったのはどんなポイントでしたか?

差し支えなければぜひ、Commentsにまた書き込んでください。よろしく。