logo

雑なスケッチからリアルな写真みたいな画像を自動生成する技術--ジョージア工科大

  • このエントリーをはてなブックマークに追加

 ジョージア工科大学の研究チームは、人間の描いた線画をベースにして、描かれた対象物のリアルな画像を生成する技術「SketchyGAN」を開発した。

線画をベースに、描かれた対象物のリアルな画像を生成(出典:ジョージア工科大学)
線画をベースに、描かれた対象物のリアルな画像を生成(出典:ジョージア工科大学)

 SketchyGANは、ニューラルネットワークの一種である敵対的生成ネットワーク(Generative Adversarial Network:GAN) を用いて実現。決して写実的とはいえないスケッチを入力すると、描かれた対象物の実物を撮影したかのような画像を自動生成する。対象物を認識して似た写真をデータベースから見つけるのではなく、スケッチと同じポーズの動物や、似た景色、食べ物といったものの画像を作り出す。

 研究チームによると、人間、特に絵心のない人が描いたスケッチは、単純で不完全なことが多く、対象物の境界も不明確なため、スケッチから画像を合成することが難しいという。これまでに考案された技術は、エッジ抽出したデータや参考になる既存の写真などが必要だったそうだ。また、NVIDIAが開発した「どこかにいそうなセレブ」の顔画像を生成するGANなど、適用可能な画像のジャンルが限られている。

 これに対し、ジョージア工科大学はSketchyGANを学習させるにあたり、写真SNS「Flickr」を活用。Flickrから229万9144枚の写真を取得し、エッジ抽出データを作るなどして学習させていった。

Flickrの写真を学習に利用(出典:ジョージア工科大学)
Flickrの写真を学習に利用(出典:ジョージア工科大学)

 このような新たな取り組みにより、オートバイ、ウマ、クラゲ、ハチ、戦車、火山、間欠泉、ピザ、ホットドッグなど、50種類の対象物をスケッチから画像生成できるようにした。

50種類の対象物をスケッチから画像生成(出典:ジョージア工科大学)
50種類の対象物をスケッチから画像生成(出典:ジョージア工科大学)

-PR-企画特集

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]