ジョージア工科大学の研究チームは、人間の描いた線画をベースにして、描かれた対象物のリアルな画像を生成する技術「SketchyGAN」を開発した。
SketchyGANは、ニューラルネットワークの一種である敵対的生成ネットワーク(Generative Adversarial Network:GAN) を用いて実現。決して写実的とはいえないスケッチを入力すると、描かれた対象物の実物を撮影したかのような画像を自動生成する。対象物を認識して似た写真をデータベースから見つけるのではなく、スケッチと同じポーズの動物や、似た景色、食べ物といったものの画像を作り出す。
研究チームによると、人間、特に絵心のない人が描いたスケッチは、単純で不完全なことが多く、対象物の境界も不明確なため、スケッチから画像を合成することが難しいという。これまでに考案された技術は、エッジ抽出したデータや参考になる既存の写真などが必要だったそうだ。また、NVIDIAが開発した「どこかにいそうなセレブ」の顔画像を生成するGANなど、適用可能な画像のジャンルが限られている。
これに対し、ジョージア工科大学はSketchyGANを学習させるにあたり、写真SNS「Flickr」を活用。Flickrから229万9144枚の写真を取得し、エッジ抽出データを作るなどして学習させていった。
このような新たな取り組みにより、オートバイ、ウマ、クラゲ、ハチ、戦車、火山、間欠泉、ピザ、ホットドッグなど、50種類の対象物をスケッチから画像生成できるようにした。
CNET Japanの記事を毎朝メールでまとめ読み(無料)
ZDNET×マイクロソフトが贈る特別企画
今、必要な戦略的セキュリティとガバナンス
ものづくりの革新と社会課題の解決
ニコンが描く「人と機械が共創する社会」