Yahoo!とGoogleの研究開発体制

Yahoo!が研究所を作った。Yahoo! Research Labsである。組織の長には、買収したOvertureのチーフ・サイエンス・オフィサーだったDr. Gary William Flakeが就任する。新研究所は、もともとはOvertureが持っていたOverture Research(2002年設立)を改組したものである。

「Yahoo! Establishes Yahoo! Research Labs to Advance & Enhance Technology Innovation」などを手がかりに、今日はネット企業のR&Dについて考えよう。

「"As we move to the next phase of the Internet, we are excited to establish Yahoo! Research Labs, dedicated to inventive computer science solutions that will help make the Internet experience more efficient, productive, individualized, and even more entertaining. Whether developing new algorithms or employing existing technologies in new ways, Yahoo! Research Labs will partner with Yahoo!'s global technology resources to accelerate our ability to both improve the quality of our existing network and introduce entirely new online products."」

は、Yahoo! CTO・Farzad Nazemの発言だが、研究所設立のビジョン・ステートメントと言っていいだろう。

「"By partnering with technology resources both inside and outside of Yahoo!, we aim to cultivate knowledge and expertise, solve fundamental technology problems and translate theory into practice to help maximize the social and economic potential of the Internet for consumers and businesses."」

は、研究所長のDr. Frakeの発言である。「オープン・イノベーションの考え方に基づいたインターネット時代のコンピュータ・サイエンス研究所」が目指すところ。では研究対象となる「inventive computer science solutions」とは何か。このプレスリリースには、

「Core research areas include machine learning, statistical data mining and efficient algorithms.」

としか書かれていないので、研究所のサイトを眺めてみよう。スタッフは、約50名程度で、主だったメンバーについては履歴が紹介されている。研究所長のDr. Frakeは、Overtureの前は、NECの北米研究所でウェブ・データ・マイニングの研究リーダーだった人で、彼自身の研究領域としては、「machine learning, data mining, self-organization, Web measurements, efficient algorithms, models of adaptation inspired by nature, and time series forecasting.」といったところが挙げられている。

詳しく興味のある方は、「Research Projects」のページを読んでみたらいいと思う。たとえば「オープンソース・サーチ」というプロジェクトがあり、本欄でも以前にご紹介したオープンソースの検索エンジンNutchプロジェクトの実装が行なわれていたりする。

研究の時間を短期、中期、長期に分ける

研究者の時間はきっちり三等分され、短期、中期、長期のプロジェクトに割り当てられる。

「Our staff allocates its time in equal parts to three agendas. First, we're focused on largely independent long-term efforts, strategic projects, fundamental research, publication, academic collaboration and large-scale skunk works projects. Second, we are advising the business in medium-term strategy, technology evaluation or technology transfer, as well as working on the implementations that fall out of the long-term research. And finally, we pursue short-term projects that reuse technology pieces to add immediate value to our business.」

短期は、今のビジネスに即座に価値が出るべくテクノロジー・ピースを再利用すること。中期は、テクノロジー評価とテクノロジー・トランスファーと長期プロジェクトから生まれた種の実装。長期は、独立性の高い独自テーマである。

「To best keep our R&D efforts grounded in both theory and practice, Yahoo! Research Labs members form an approximate 50/50 mix of engineers and scientists.」

R&Dにおける理論と実践を両立させるため、研究所のメンバーはエンジニアとサイエンティストを半々にスタッフィングしている。

エンジニアは、短距離走「sprints (rapid prototyping)」、リレー「relay races (technology transfer)」、マラソン「marathons (long-term engineering efforts)」のすべてをやる。サイエンティストは、次の領域に精通した人から採用し、研究所全体として領域の広さと深さを追及する。

(1) Machine Learning (neural networks, support vector machines, genetic algorithms, collaborative, filtering, clustering, semi-supervised learning, etc.)

(2) Statistical Data Mining (information retrieval, data compression, feature extraction, novelty detection, etc.)

(3) Efficient Algorithms (algorithmic complexity, graph and network theory, randomized and probabilistic algorithms, sparse data structures, etc.)

(4) Market Theory (auction efficiency, robustness, and theory; artificial marketplaces; market mechanisms for prediction; market prediction, etc.)

このあたりが、ネット企業におけるR&Dの中心領域であると言ってよいだろう。

Googleの場合

さて、Yahoo!といえばGoogle。

Googleは、会社の中核部分がこのYahoo! Research Labsみたいな雰囲気であるが、ついでなので、Googleが標榜する研究領域も合わせて眺めてみることにしよう。

それには、Googleのサイトの中で、「Why You Should Work at Google」を見るのがいいだろう。Googleは自分たちはサーチしかやらないという表現をしているから、おのずからYahoo! Research Labsとは打ち出し方が違うけれど、研究対象領域はかなりオーバーラップしていると言っていい。

「Google is an engineering company. The Google web site is powered by some amazing technology, most of it developed in-house. Yet people often ask us what we do here at Google Engineering. "What are you working on? Isn't search a solved problem?"

Glad you asked.

We're working on lots of interesting stuff and one of the main reasons is that search is far from a solved problem.」

サーチは解決した問題じゃないの?　よくぞ聞いてくださいました。サーチは解決した問題から程遠いのですよ、ほら、という具合に始まる。

たとえば、その中の「The Story So Far」では、これまでに解決できた課題が列挙されているが、その中には、Googleのオペレーションを支える巨大システムのことが、「We built a very large scale, distributed, fault-tolerant file system, called GFS, to help manage and process huge data sets.」と記載されていたりする。

Yahooは研究者の時間配分について三等分方式を標榜していたが、Googleは、

「Some love thinking long and hard about difficult problems; others just enjoy getting their hands dirty building and deploying massive, real-world systems. What they all share, though, is an enthusiasm for the challenge of making the world a better place through the intelligent application of information technology. It's a blast」

難問に向かって長時間考え続けるのが好きな人もいるし、手を汚してでも巨大な現実世界のシステムを作って動かすのが楽しい人もいる、と表現している。あとは原文をどうぞ。スタッフのバックグラウンドが列挙されている部分と、Yahoo!の領域を比べてみると、いろいろと発見もあるかと思う。

プログラミングコンテスト1位はスウェーデンから

そうそう、書くのを忘れていたが、「日本人プログラマーよGoogleを攻略せよ」でご紹介したGoogle Code Jamというプログラミングコンテストの結果は、第1位が「Jimmy Mardell, 25, of Stockholm, Sweden」(スウェーデン)だったそうです。第2位は、「Canada's Christopher Hendrie, 27」(カナダ)。第3位は、「Eugene Vasilchenko, who earned his master's degree in computer science from the Moscow Institute of Physics and Technology」(ロシア)。第4位は、「Tomasz Czajka, from Warsaw, Poland」(ポーランド)。第5位にやっとシリコンバレーの人が入った。「Steve Newman, 36, of Portola Valley」。

Googleは、こうして世界の才能を発掘しているのである。

さて最後に、Googleは、「Google Computer Science Summer Internship Program」をオープンしたのでご紹介しておこう。

「We are seeking talented people to bring the latest and greatest technology to the web. Internship opportunities are available in our Mountain View, CA, New York, NY, Santa Monica, CA and Bangalore, India offices:」

シリコンバレーとニューヨークとサンタモニカとバンガローで夏休みにインターンを受け入れる。

「Internships are full-time positions for the duration of the summer.」

だそうです。「deadline for applications is February 20, 2004」とのことですので、興味のある学生の方はお早めに。