雑なスケッチからリアルな写真みたいな画像を自動生成する技術--ジョージア工科大

　ジョージア工科大学の研究チームは、人間の描いた線画をベースにして、描かれた対象物のリアルな画像を生成する技術「SketchyGAN」を開発した。

線画をベースに、描かれた対象物のリアルな画像を生成（出典：ジョージア工科大学）

　SketchyGANは、ニューラルネットワークの一種である敵対的生成ネットワーク（Generative Adversarial Network：GAN） を用いて実現。決して写実的とはいえないスケッチを入力すると、描かれた対象物の実物を撮影したかのような画像を自動生成する。対象物を認識して似た写真をデータベースから見つけるのではなく、スケッチと同じポーズの動物や、似た景色、食べ物といったものの画像を作り出す。

　研究チームによると、人間、特に絵心のない人が描いたスケッチは、単純で不完全なことが多く、対象物の境界も不明確なため、スケッチから画像を合成することが難しいという。これまでに考案された技術は、エッジ抽出したデータや参考になる既存の写真などが必要だったそうだ。また、NVIDIAが開発した「どこかにいそうなセレブ」の顔画像を生成するGANなど、適用可能な画像のジャンルが限られている。

　これに対し、ジョージア工科大学はSketchyGANを学習させるにあたり、写真SNS「Flickr」を活用。Flickrから229万9144枚の写真を取得し、エッジ抽出データを作るなどして学習させていった。

Flickrの写真を学習に利用（出典：ジョージア工科大学）

　このような新たな取り組みにより、オートバイ、ウマ、クラゲ、ハチ、戦車、火山、間欠泉、ピザ、ホットドッグなど、50種類の対象物をスケッチから画像生成できるようにした。

50種類の対象物をスケッチから画像生成（出典：ジョージア工科大学）