Preferred Networksが挑む「アニメ制作」へのAI活用--クリエイターの役割は変化する？

　「常識を再定義するニュービジネスが前例なき時代を切り拓く」をテーマに、2月いっぱいかけて開催されたオンラインカンファレンス「CNET Japan Live 2021」。

　2月4日は「ディープラーニングを活用したデジタルアセット生成と新しい表現への挑戦」と題して、ディープラーニング・AIや、さまざまな先端技術を研究開発するPreferred Networksで、新規領域のエンターテインメント事業や教育事業を手がける、コンシューマープロダクト担当VPの福田昌昭氏が登壇した。

　Preferred Networksといえば、産業系ロボットや自動車などのイメージが強い。福田氏は冒頭、「現実世界を計算可能にする」という同社のビジョンを示したうえで、事業概要についてこう説明した。「いろんなデバイスやコンピューターを使って、現実世界そのものに新しい技術を導入し、インタラクティブなサービスやプロダクトを作っていくという取り組みを行っている。そして、われわれが持っている技術をさらに社会に広めていくために、新規領域としてエンタメや教育にも技術を展開しているところだ」（福田氏）

　福田氏は、ソニー・コンピュータエンタテインメント（現ソニー・インタラクティブエンタテインメント）やグリーを渡り歩き、事業責任者として事業戦略や計画の立案と実行を担当した経歴を持つ。現在はPreferred Networksで、ディープラーニング（深層学習）を中心としたAI関連技術を活用してアニメーション、ゲーム、アプリケーションなどの開発に必要なデジタルアセットの制作支援をリードしている。

　本講演では、ディープラーニング・AIを活用した同社の実績や新たな表現への挑戦など、AI活用を推進する最新動向とそれに対する考えを語った。

クリエイティブ制作で進む、ディープラーニング活用

　エンターテインメントやアート領域でディープラーニングを活用したPreferred Networksの実績は、多岐に渡る。線画への自動着色、ゼロベースからのイラスト制作、キャラクター編集機能、2Dアニメーション製作支援など、さまざまなサービスを手がけてきたという。講演ではデモを交えて、ディープラーニングの活用事例が示された。

　「Petalica Paint」は、線画への自動着色サービスだ。「ディープラーニングを活用して、どんなことができるかを示そう」と、初期の頃に手がけたものだというが、2017年にリリース後、200カ国近くからアクセスが殺到。2018年には第21回文化庁メディア芸術祭 最優秀賞を受賞し、現在はピクシブと共同運営している。

　画像をアップロードできるウェブアプリケーションサービスで、たとえば線画イラストの髪の毛の色を変えたい場合、ヒントを与えていくと自動でサクサク色が変わる。福田氏は、「この領域は、何が正解かを定義することが難しい。人のさじ加減が反映されて出力のテーストが変わるようにした」と説明した。

　次に紹介されたのは、2年前に発表した、イラストをゼロから作ることができる「Crypko」。コンピューターにいろいろなイラストを学習させておき、イラスト生成と判定を繰り返すことで、人が見ても違和感がないようなキャラクターをパッと生成できる。しかも、連続的にほぼ無限に作れる。続けて福田氏は、キャラクター編集機能も披露。目の向きを変える、おでこを広げる、前髪を作るなど、「イメージしているイラストにどんどん近づけていく」編集が瞬時にできるようになっていた。

　また、アニメーションエンジンと連携させ表情などのモーションを作れる「2Dアニメーション製作支援」も紹介した。映画「あした世界が終わるとしても」では、アニメーション制作委員に参画し、キャラクターデザイン案や群衆シーンのモーションの生成でディープラーニングの活用を試みたという。福田氏は、「ディープラーニングを社会実装に近づけていく取組をさらに加速している」と話し、新たに挑戦している領域についても説明を続けた。

コンテンツのサプライチェーンの生産性を上げる

　「私はゲーム業界が長く、そのなかで気づいたことがある。ゲームを作るうえで、“一番面白いのは現実だ”と、どんどん現実に寄せていくことを目指す方もいれば、アニメーションの効いたものを目指す方もいる。クリエイティブにはいろいろな選択肢があって、だからこそエンターテインメントになり得るのだと思う」と福田氏は話す。

　そのうえで、福田氏のチームでは、「現実と仮想空間の境界線を限りなく低くする。現実を超える体験を提供する」ことを目指して、ディープラーニングを活用した新たな表現にも挑戦しているという。掲げるのは、「コンテンツのサプライチェーンの生産性向上」だ。コンテンツグローバル需要創出促進・基盤整備事業費補助金（J-LOD）にも採択され、ディープラーニングを活用したデジタルアセット生成システムの開発に取り組んでいる。

　「アニメーションやゲームを作っていく上で、アセット制作にかかる費用は、いま増えている。また、コストの問題だけではなく、制作量が増えるなかでスキルを持つ人限られているために、本当にやりたいものを作れないという問題もある。このような課題に対して、ディープラーニングを活用した技術の力で、ソリューションを提供していきたい」（福田氏）

　Crypkoのキャラクター生成では、高解像度化を進め、顔だけではなく全身の生成にも対応した。生成結果の編集機能や、属性にいろいろな条件をつけた状態でキャラクター生成できる機能など、「より自然な形」「より簡単な操作」を目指して機能向上を図っている。

　さらに、現実世界の対象物を3Dスキャンしてデータ化する技術も紹介した。スキャナの上に物を置くと、3Dモデルがパッと出てくるシステムとなっている。福田氏は「われわれはメンバー構成として、ソフトウェアだけではなくハードウェアにも精通している者が多い」と話し、ハードウェア設定や開発からディープラーニング・AI技術の活用まで、幅広い最先端技術を用いたプロダクト開発に取り組んでいると説明。

　一例として、レンダリングした結果が目標の画像にどんどん一致していくように最適化をかけていく「微分可能レンダラー」を紹介。福田氏は、「世の中にあるものを、どんどん CG空間に持っていくことができる」と意気込みを見せた。

　身の回りにあるさまざまなものを3Dスキャンできるというが、工業製品の再現などにはまだ課題がある。たとえば、ギターをスキャンした際、きれいに見えても表面や曲線では頂点に凹凸がある。フーモアのクリエイターと協力して、アニメーション作品に使えるサイズ感に落としていくトライアルを実施したという。

　福田氏は、「最初からコンピューターの力で全部できればという話もあるのかもしれないが、やはりまだまだ足りない。人のディレクションを入れていくことでクオリティを高めていこうと考えている」と話した。

人でしかできない仕事はたくさんある

　福田氏が考える「常識の再定義」とは、「存在意義を再確認すること」だという。「経験則からだけ話すのではなく、技術やサービスの本質を改めて見直していかなければ」と語った。最後に、CNET Japan編集長の藤井が「こういう技術が出てくると、もうクリエイターはいらなくなっちゃうんじゃないかという話が出てくると思う」と聞くと、福田氏はこのように答えた。

　「そういうご意見は多くいただくが、われわれのチームほどクリエイターさんたちと密に連携をとっているチームはないと思う。作業の簡略化や効率をよくするところで、われわれの技術がクリエイターさんの助けになればという想いで開発している。また、実際に作業されているクリエイターの方、少なくとも現場でのアートディレクションのような仕事は、人工知能でどうこうできるとは私はまだ考えていない。人でしかできない仕事はいっぱいあると思っている」（福田氏）

　質疑応答では視聴者からも、「テクノロジーがここまで発展した世の中において、クリエイターに今後必要になるスキルは？」「簡単にイラストからキャラが作れるのであれば、作り手側の絵心は問われなくなる？」といった質問が寄せられた。これに対して福田氏は、「作品を作る上で、作り手の想いやキャラの背景を反映したイラストがパッとできるかというと、それは難しい。クリエイターさんの考えが反映されなければいけないし、自分がどうしたいかというクリエイターさんやプロデューサーさんの想いが問われなくなることは、絶対にない」と回答した。

　一方で、「技術的にデジタル領域での再現で苦手なのは、架空の街並みなど学習データが足りていないもの」「人物だけでなく、モノや動物、ロゴなどにも活用できると思う」「3Dアバター作成に応用する取り組みは、機会があれば検討したい」など、視聴者からの将来的な活用検討に関する質問に、福田氏が回答するシーンも多く見られた。3月には、AIによるキャラクター生成や3Dスキャンなど、同社の世界観を垣間見られるムービーも公開予定（※）だという。

※後日、キャラクター自動生成と高精細3Dモデル生成の2つの機能を活用し、キングレコードとポリゴン・ピクチュアズとともに企画制作を行った短編動画を3月10日付で公開。バーチャルシンガーHACHI（RK Music所属）の楽曲「20」をフィーチャーした内容となっている。

　あわせて、AI技術を活用したアニメ制作の効率化を目的として、PFNの深層学習による画像変換技術、セグメンテーション技術などを映像制作に活用する実験的な取り組みを、東映アニメーションと共同で実施したことを3月12日付けで公表。東映アニメーションが2月に公開した、佐世保市を舞台にした実験映像「URVAN」（ウルヴァン）の背景美術制作に、PFNが開発するアニメの背景美術制作支援ツール「Scenify」（シーニファイ）が活用されたという。