手描きのような似顔絵を生成するAI、マイクロソフトらが開発

　優れた漫画家になるのは何年も練習を重ねなければ難しいが、そうしたスキル（あるいは、少なくとも似顔絵を描くスキル）が、Microsoftの研究チームによって自動化された。

　この研究チームの取り組みでは、敵対的生成ネットワーク（GAN）と呼ばれる人工知能（AI）アルゴリズムを採用している。GANは、「ディープフェイク」（驚くほど本物に見える動画のこと）を作成したり、本物の動画や画像を操作して非常に説得力のある偽の動画や画像を作成したりできる人気のディープラーニング技術だ。

　清華大学のKaidi Cao氏、Microsoft ResearchのJing Liao氏、Microsoft AI Perception and Mixed RealityのLu Yuan氏はGANを利用して、ディープフェイクではなく、人間のアーティストのように似顔絵を描けるプログラムを開発した。

データセットから収集した写真（一番左）を元に、さまざまな似顔絵が生成される
提供：Tsinghua University/City University of Hong Kong/Microsoft

　このディープニューラルネットワーク（DNN、深層神経回路網）は、2つの似顔絵用GAN（CariGAN）で構成される。写真にある顔の形状をモデル化して似顔絵に変換するCariGeoGANと、似顔絵のスタイルを与えられた顔画像に適用するCariStyGANだ。

　研究チームは、形状の誇張と外観の様式化に重点を置いている。デフォルメしても誰の顔か識別可能な似顔絵を描く上で、これらは2つの重要な要素だからだ。

　研究チームはCariGANによって、ユーザーがモデルのパラメータを調整したり、GANに模倣させる似顔絵のサンプルを与えたりすることで、顔の誇張度や似顔絵のスタイルをコントロールできるようにした。

　さまざまな似顔絵のスタイルや特徴の誇張の仕方を取り込むため、研究チームはインターネット上で見つけた8000以上の似顔絵を利用した。一方の顔写真は、これまで著名人を識別するためのAIプロジェクトで使われていたMicrosoftのデータセットから収集したものだ。

　CariGANの似顔絵がどれほど識別可能かをテストするため、研究チームは2件の認識テストを実施した。第1の調査はCariGANを含む6つの似顔絵手法について各10問、計60問で構成されている。各質問では、人間の参加者らに似顔絵の1枚を見せて、似たような属性（性別、年齢、メガネなど）を持つ顔写真5枚の中から正しい対象者の写真1枚を選ぶよう求めた。

　この調査によると、参加者の間で認識率が最も高かったのは手描きの似顔絵だったものの、CariGANもこれに近い高い認識率となった。

　第2の調査では、CariGANによる似顔絵が手描きの似顔絵にどれほど忠実かをテストした。まず、アーティストらが描いた似顔絵8枚を参加者らに見せ、望ましい似顔絵スタイルがどのようなものかを認識してもらった。

　その後、ある人物の手描きの似顔絵1枚と、CariGANおよび他の手法による同じ人物の似顔絵5枚をランダムな順序で見せた。次に、「手描きの似顔絵サンプルに最も似ているもの」から「似顔絵に最も似ていないもの」の順に並べるよう参加者らに求めた。異なる20の設問があり、各設問に対し22件の回答を収集した。

　その結果を総合すると、手描きの似顔絵の順位が最も高く、次がCariGANだった。ただし、参加者らは22.95％の割合で、CariGANによる出力のほうが手描きより似ていると評価した。つまり、CariGANによる似顔絵を手描きによるものと認識させることもあるということだ。研究チームはこの割合を50％にしたいと考えている。