スピーチを自在に編集できる“音声版Photoshop”登場か--アドビが開発中の技術を披露

　アドビシステムズは11月3日（米国時間）、1年に1度催されるクリエイター向けカンファレンス「Adobe MAX 2016」において、同社が開発中の新技術を紹介する「Sneaks」を公開した。これは、具体的な製品化のめどは立っていないものの、同社内で開発が進められている新技術を発表するもの。

「Sneaks」は、MCに俳優・コメディアンのジョーダン・ピール氏を迎え、かなりラフなスタイルでスタートした

　Sneaksでは、スピーチの内容を自在に編集できる「ProjectVoCo」、大雑把な検索指示から最適な画像を探し出す「ConceptCanvas」、写真や文章などのコンテンツを自動で最適な形にリサイズ・配置する「QuickLayout」、写真内の空だけを自在に置き換えでき、写真全体のトーンも調整する「SkyReplace」など、さまざまな開発中の新技術を披露した。

　特に印象的だったのは、人のスピーチ内容を自在に編集できるProjectVoCoだ。いわば、“音声版Photoshop”とでも言うべき音声技術で、スピーチの内容と連動するテキストの文言を書き換えるだけで、それに沿った滑らかな音声を生成することができる。つまり、スピーチしている当事者が喋っていない音声データを簡単に作成できる。

　編集には当事者が喋る20分ほどのスピーチデータ（あるいはPodCastなど）と、その台本となるテキストデータが必要だが、テキストに関しては文字起こし用のソリューションで代替することも技術的には可能だという。なお、会場では政治での不正利用に関する指摘も出たが、「ウォーターマークなどのセキュリティ技術で、本物と偽物のデータの区別ができる仕組みなどを導入したい」としている。

　製品化未定の技術のため、現時点では英語のみの対応となるが、複数言語への対応も検討しているという。利用用途としては、PodCastや動画などでの言い間違いなどの修正を挙げていた。憶測だが、「声優に好きなセリフを喋らせる」といったことも後々できるようになるかもしれない。

本来の音声データ

「犬とキスした後に奥さんとキスした」という文章からいくつか改変し、最終的には「ジョーダンと3回キスした」という文章に編集したが、話者のトーンをキープしたままスムーズな音声を生成した

　そのほかの技術も紹介しよう。ConceptCanvasは、「左に犬、右に人間」とラフに配置した画像から、その構図に近い画像を検索する技術。複数の要素にも対応しており「人物」「傘」「海」といった複雑なオブジェクトの指定でも、高い精度で画像を検索できる。画像はストックフォトサービス「Adobe Stock」から引用する。

「左に犬、右に人間」といったラフな指示で最適な画像を検索する

　QuickLayoutは、画像やテキストボックスなどデザインの配置バランスを自動で最適化する機能。ほぼ出来上がっているデザインの修正指示を依頼された場合、画像やテキストボックスの再配置など、ほど一から作り直すケースも多い。QuickLayoutでは、自動で画像の最適な構図でのトリミング、テキストの配置が自動で調整する。画像の大きさは動的に変更でき、その都度の最適な構図でトリミングされる。

ほぼ完成しているデザインの修正指示があった場合、改めて画像をトリミングしたりテキストボックスを移動する必要がある。これを自動で最適化してくれるのが「QuickLayout」だ

画像を3枚新たに追加したが、自動的にトリミングして再配置され、テキストボックスも上に移動している

　SkyReplaceは、特定の写真の空を、別の写真から取り込むことができる技術。曇りの写真でも空を後から合成することができ、全体のトーンも調整するため、違和感のない写真に仕上げられる。そのほか、VR動画をVRヘッドセット内で編集する技術なども紹介された。

曇りの写真をほかの写真から空だけ置き換えることができる

空を移植した場合、全体的なトーンも空の色調に合わせて修正される

　Sneaksで紹介された他の技術も写真で紹介する。