料理写真の自動整理や、音声によるレシピ提案--「クックパッド」研究開発部の挑戦

　料理レシピで知られるクックパッドが近年、技術開発に力を入れている。2016年にはスマートフォンで撮影した写真の中から機械学習によって料理画像だけを抽出して食事の履歴として記録する「料理きろく」をクックパッドの新機能として実装したほか、2017年にはスマートスピーカに使いたい食材を伝えるとレシピを調べてレコメンドする、Amazon Echo向けAlexaスキルを発表するなど、テキストレシピ以外の分野でさまざまなサービスを拡充している。

　これらの新機能が生まれた背景には、2016年7月に設立された研究開発部による先端技術の研究があるのだという。クックパッドのテクノロジをリードするR&D部門は、どのような体制や方針で日々の研究開発を行っているのだろうか。クックパッド研究開発部の部長で情報学博士である原島純氏に話を聞いた。

クックパッド研究開発部の部長で情報学博士である原島純氏

“非公式”な活動から生まれた研究開発部

――まずは、研究開発部が生まれた背景について教えてください。

　研究開発部が立ち上がったきっかけは、2014年ごろに社内で機械学習などに興味を持った社員が数名集まって研究開発チームを作り、業務外で自主的に技術の研究をはじめたところにさかのぼります。クックパッドはサービスの運営を通じて、さまざまなユニークなデータを保有していたので、それらと機械学習を組み合わせることで面白いサービスが作れないかと考えていたのです。

　当時、それは会社にとってはあくまで“非公式”な活動だったのですが、たとえばクックパッドのビッグデータを研究目的として大学の研究室に提供するといった活動を続ける中で、社内でも注目されるようになりました。すると、2015年ごろからは世の中で機械学習に大きな注目が集まるようになり、それにともなって社内のさまざまな部署から、私たちに機械学習を活用したサービスへの開発支援の声が掛かるようになったのです。

　そうなると、機械学習が得意なエンジニアが評価される組織が社内にないという課題が生まれてしまいます。当時、そういうエンジニアはさまざまな部署にヘルプにいって活動していたので。そうした組織的な課題と、世の中の機械学習に関するムーブメントなどを背景に、2016年4月に研究開発室として正式な社内チームができ、7月に部に昇格しました。

――これまで、どのような活動をしてきたのでしょうか。

　2016年4月に研究開発室が立ち上がった段階ではメンバーが3名しかいない状態だったので、まずは採用活動や体外的な広報活動からはじめました。実際のところ、立ち上げ当初は体制をつくることを優先して研究開発はできていなかったんですね。現在では社外からの採用が進んで非正規のスタッフを含め17名体制で活動していて、年7～8名のペースで増えています。メンバーの半数は機械学習に精通していて、もう半数はスマートキッチンやIoT分野を得意としています。

　もともと、研究開発部が機械学習を研究する目的で立ち上がったという背景もあり、当初は機械学習の研究に力を入れてきました。“機械学習でこういうことができれば”という構想は社内の各事業部にたくさんありましたので、それらにひとつずつ取り組んできました。現在では機械学習以外にも注力する領域はかなり広がっていますね。

――最近では産学連携にも力を入れていると伺いました。どのような共同研究をしているのでしょうか。

　たとえば、人工知能学会で発表されるような学術研究や国際的なワークショップのためにクックパッドのデータを提供するといった協力は、人工知能研究に貢献できればという考えから継続的に行い、その研究結果は研究開発にもフィードバックしています。当初は私たちからデータ提供を申し出る場合が多かったのですが、最近では私たちが研究協力に積極的だということが認知されてきて、研究者側から依頼を受けるケースが増えてきています。料理というテーマも研究対象として面白く、研究者の関心が高いことが背景にあるようです。

ユーザーの写真に“触れず”に進めた「料理きろく」の改善

――「料理きろく」は、こうした研究開発部の活動から生まれたものだと思いますが、開発背景について教えてください。

　料理きろくは研究開発部の活動がはじまった時点で、経営陣やクックパッドを運営する事業部から開発の要望があったサービスのひとつです。事業部では“自分が作った料理をカレンダー形式で振り返られれば料理がもっと楽しくなるのでは”というニーズがあったので、そうしたニーズに応えるサービスを開発したのです。

「料理きろく」

――開発で苦労した点はありますか。

　非常にシンプルなサービスですが、開発は難しい面もありましたね。クックパッドにとっては、画像解析の機械学習を開発してサービスとして実装するのは初の試みでしたので、“これは料理の写真か、そうではないのか”を判断するプログラムを開発するためには、画像解析に長けた開発者の採用はもちろん、料理写真、非料理写真双方の膨大なデータを人工知能に学習させる必要がありました。

　クックパッドには料理の写真は膨大にありますが、一方で料理以外の写真はあまりないわけです。自分たちでストックフォトなどから写真データを集めてきて学習させても、実際にユーザーのスマホに保存された写真を解析してみると、思ったように精度が出ない。しかも、規約によって私たちはユーザーのスマホに保存された写真に一切触れないことにしているため、精度が出ない原因を探ることができないわけです。

　ユーザーから「画像判定が間違っている」と指摘を受けても、ユーザーが保有する写真を見るわけにはいかないため、何がどう間違っているかを知ることができない。サービスの精度をどのように向上させるかという点で非常に苦労しました。それこそ、ユーザーから寄せられた「子どもの写真を料理と判定した」「ペットの写真を料理と判定した」といった指摘をヒントにして、精度をチューニングしていきましたね。

――画像認識精度98％という高いクオリティを達成できたのは、そうした地道なチューニングによるものなのでしょうか。

　そうですね。とても地道な作業でした。ユーザーの意見から間違えやすいパターンを抽出して“この写真は料理とは判定しない”という学習をさせたり、サラダのような野菜の料理と植物の写真を区別できるようにたくさんの植物の写真を学習させたり、細かい部分で最適化のための努力を積み重ねてきました。ローンチ以降、ユーザーからの意見をもとにプログラムの改善を重ね、半年程度のうちに数回のアップデートを行う中で、現在の精度まで高めることができました。

――ローンチ以降、ユーザーの利用傾向などからどのような気づきが得られたのでしょうか。

　当初の予想を上回り、利用者は20万人を超えて増え続けているのが現状です。サービスを利用するためには、画像解析のためにユーザーがスマホに保存している写真データをクックパッドのサーバにアップロードすることに同意してもらわなければならないのですが、当初はこの規約同意に対する心理的なハードルは高いのではと考えていました。しかし、実際には20万人以上のユーザーが使っている。それだけ、ユーザーからのニーズは高かったのだと、サービスの価値を実感しました。

――すでに、料理きろくには抽出された料理写真からレシピを探す機能が実装されていますが、このようなクックパッドの既存機能との連携は今後強化していくのでしょうか。

　サービス拡充は強化していきたいと考えています。ここまで料理の写真だけを膨大に扱えるサービスというのはクックパッドならではの強みだと思います。なので、サービスを通じて解析された写真とクックパッドが保有する写真以外のデータを連携して、新しい価値を生み出したいですね。また、料理きろくでは、Androidアプリのみ解析した写真を50種類のカテゴリに分類する機能を提供していますので、こうした新機能の精度向上にも取り組んでいきたいと思います。