logo

テクニカルコラム「第3回 “Doug Cutting氏 来日”」

伊藤忠テクノソリューションズ株式会社(略称:CTC)のグループ会社で、ITシステムの保守サポート、運用サービス及び教育サービスを提供するシーティーシー・テクノロジー株式会社(代表取締役社長:藁谷二郎、本社:東京都千代田区、以下:CTCテクノロジー)は表記コラムのバックナンバーを公開しました。原文は以下の通りです。

今回の話題は「Doug Cutting(ダグ・カッティング)氏の来日講演」です。
Doug Cutting 氏とは、あの "Apache Hadoop" の創造主です。

"Hadoop" は、Twitter や Facebook など著名なサービスで大量データ処理の仕組みとして採用されていますのでその名前を耳にしたこともあるかと思います。今回、Doug Cutting 氏本人が来訪され各所で開かれるカンファレンスで講演されると聞き、是非とも創造主である彼の話を聴きたくて(逢いたくて)とあるカンファレンス会場に向かいました。
そこで幸運にも拝聴できた顛末の一部を書き記します。

"Apache Hadoop: A New Paradigm for Data Processing"
Doug Cutting, Architect, Cloudera, Inc.
まずは講演されたスライドタイトルの一覧です。
◇ Who am I ?
◆ Apache Hadoop : a new paradigm
◇ New foundations
◆ Commodity Hardware
◇ Sequential Access
◆ Open Source
◇ Nutch (2002)
◆ Nutch (2004)
◇ Hadoop (2006)
◆ HDFS
◇ MapReduce
◆ Hadoop: the ecosystem
◇ Cloudera's Distribution including Apache Hadoop
◆ Pig & Hive
◇ Avro
◆ Mahout
◇ HBase
◆ Flume
◇ pattern of adoption
◆ advantages of paradigm
◇ the future is data
「シリコンバレーで25年のベテランです。」から始まった彼の講演ですが、前半部分は、どのような経緯でHadoopが誕生したのか?というお話でした。

当時 Yahoo!に所属していたエンジニアが、Googleが発表した論文に触発されて開発したソフトウェアがいきなり登場したのであろう、と理解(誤解)されている方が多いかもしれませんが、どうやらそれだけでは無いらしいのです。Doug氏自身のキャリアは1980年代にXEROXから出発しAppleでMac OSのテキスト検索エンジン開発、90年代にはExciteの検索エンジンを担当、そして全文検索のLucene、それをベースとしたウェブ検索エンジン Nutch など、幾つかのオープンソースプロジェクトに関わっていました。そこではいつも、「大量データをどうやって効率良く扱うか?」の問題と対峙することになり、その都度、試行錯誤を繰り返していたそうです。

勿論、当時同じ問題に直面していたGoogle論文発表のタイミングやこのソフトウェアをプラットフォームとして採択して応援してくれるYahoo!への参画など、ターニングポイントは幾つもあった事でしょうが、何よりも長年の地道な積み重ねがあってこその現在のHadoopだと言えましょう。それ故、オープンソース Hadoop の存在意義を改めて認識した次第です。

「脚踏実地」。紆余曲折ありながらも、ひとつの課題を長年に渡り突き詰めていくことで成功した彼の実直さ、講演で一番感慨深かったのはこの事でした。

ところで肝心の Hadoop についてですが、Doug Cutting 氏曰く、『Apache Hadoop が一つの新しいパラダイムであり、 これこそがデータ解析における回答となるでしょう。』という主旨の事を仰っていました。この講演を拝聴し、これからHadoop を勉強してみたいという気持ちが膨らんだのは事実です。「千里の道も一歩から」の言葉を再び噛み締める必要があるのでしょう。

Doug Cutting 氏は現在、Hadoop を生業とする Clouderaの社員なのだそう
ですが、加えてASFの委員長(チェアマン)でもあるそうです。

Current officers of The Apache Software Foundation:
リンク

講演内容の続きについては、また次回ということにさせて頂きます。

関連コースの詳細情報はこちら:

「Java」関連コース
リンク

「クラウド・仮想化」関連コース
リンク

本プレスリリースは発表元企業よりご投稿いただいた情報を掲載しております。
お問い合わせにつきましては発表元企業までお願いいたします。