レタッチ前に“巻き戻せる”フェイク写真判定ツールも--Adobeが放つ11の新技術とは

　アドビシステムズは11月6日、同社が開催する年次の大規模クリエイティブカンファレンス「Adobe MAX 2019」において、同社のプロダクトに搭載されそうな新技術を披露する「Adobe Sneaks」セッションを公開。11の未来の技術が初めて公開された。

　Sneaksは、2日間のAdobe MAXのトリを飾るセッションということもあって毎年人気が高い。参加者はお酒を片手に披露される新技術の数々を楽しみ、興奮した様子だった。参加者はその後、打ち上げパーティー「Bear Bash」に流れ込む。

　ここ最近のSneaksは、「作ってみました」から脱却し、いつプロダクトに実装されてもおかしくないクオリティの物が多い。実際、2018年のSneaksで発表された、被写体を検知して横動画を縦動画にスムーズにトリミングする技術は、「オートリフレーム」機能として2019年のPremiere Proに導入されている。今回の発表はどれも、アドビのAIプラットフォーム「Adobe Sensei」を活用しており、Senseiの成熟に合わせてこうした研究開発のスピードが上がっていることを示していると言える。

一人だけの写真からツーショットを合成する「Project All In」

　トップバッターは、別々に撮影した人物写真をあたかも一緒に撮影したかのように違和感なく合成できる「All In」という技術。Adobe Senseiを活用し、写真で合成したい人物を選択。被写体を自動で切り抜きして、もう一つの写真にうまく合成することができる。言及されていなかったものの、色味なども自動で調整してくれるように見えた。また、複数人の写真でも対応可能で、デモでは、父親＋子どもの写真に母親をうまく合成させていた。

一人しか写ってない写真

ツーショットで撮影した風に

「あー」とか「えー」を取り除く「Project Sound Seek」

　次に登場したのが、インタビューやPodcast配信時にありがちな「あー」とか「えっと」などを取り除ける技術で、不要な音を指定し、それと同じと思われる音をAdobe Senseiが検出して削除。スムーズな音声に変換できる。これは、言語や言葉に関わらず利用でき、車のクラクションをだけを取り除くデモも披露していた。

1枚の画像と音声から数秒でアニメを生成「Project Sweet Talk」

　声に合わせたアニメーションを最も手軽に生み出せるのが「Project Sweet Talk」だ。既存のCharacter Animatorでは、キャラクターのパーツごとにレイヤーを用意する必要があるが、イラストの1枚と音声データのがあれば、数秒でアニメーションを生成することができる。デモでは、決してクオリティの高くない手描きイラストや絵画の人物でアニメーションを生成していた。

一枚のイラストから口パクアニメーションを生成

3Dモデルを実写と違和感なく簡単に合成する「Project Pronto」

　少し難解だったのが「Project Pronto」という3Dモデルを実写映像に違和感なく合成する「モーショントラック」を簡素化するものだ。同プロジェクトでは、スマートフォンで撮影した動画でモーショントラックを実現するもので、スマートフォンのセンサーをもとに3Dモデルを動画上に合成する。デモでは、机をタップしたり、3Dオブジェクトから何かを引っ張り出したりする動作を予め録画。そのタイミングに合わせて3Dモデルを動かすことで、ARコンテンツ風の動画を作成できる。開発者は、ARコンテンツのプロトタイプに便利だと説明していた。

AR風動画を簡単に作れる「Project Pronto」。モーショントラックを簡素化する

存在しない“実物”っぽい画像を作る「Project Image Tango」

　簡単なイラスト、例えば手描きで書いた鳥やバッグが実際にあったどんな見た目になるのだろう……を叶えてくれるのが「Project Image Tango」だ。手書きのイラストと、そのイラストを実写化する際に参考となる画像を入力すると、手描きのイラストをベースに実写画像を生成することができる。デモでは、手描きの小鳥のイラストをもとに、実際には存在しない鳥の画像を生成。さらに、元素材は画像でもOK。一つのドレスから、さまざまなカラーで種類の違う衣服を入力すると、そのカラーに合わせたドレス画像が生成された。

手描きのイラストから実写を生成する

実写をもとに複数のパターンを生成できる