機械学習でレンブラントの「新作」を創作--MSなどが協力

　Microsoftのデータ専門家や美術史家などからなるチームは、デジタル分析、顔認識、3Dプリントを利用し、バロック期のオランダ人画家レンブラント・ファン・レインの画風でまったく新しい絵画を生み出した。

グーグルの人工ニューラルネットワークが描く奇抜な世界

　このプロジェクト「The Next Rembrandt」（次のレンブラント）は、完成まで18カ月かかった。オランダの大手金融機関INGをはじめ、Microsoft、オランダのデルフト工科大学、マウリッツハイス美術館、レンブラントハイス（レンブラントの家）美術館が参加した共同プロジェクトだ。

　レンブラントの新作を生み出す第一段階はデータ収集だった。そのために、346点ほどあるレンブラントの全作品を含むデジタルデータベースが作成された。その一環として、絵画を高解像度で3Dスキャンし、ディープラーニング（深層学習）アルゴリズムでアップスケール（さらに高解像度化）した。

完全にデジタルで生成されたまったく新しいレンブラントの作品
提供：Next Rembrandt

　その結果、デジタルでレンダリングされた150Gバイトのグラフィックスができた。これらをピクセル単位で精査して、レンブラントの絵画を構成する特異的要素を決定した。

　プロジェクトのウェブサイトには次のように書かれている。「レンブラントの画風を習得するため、われわれは形状、構図、絵の具の使い方に基づいて彼を理解できるソフトウェアシステムを設計した。顔認識アルゴリズムを使い、人間の顔立ちを描くのにレンブラントが特によく使った幾何学パターンを特定して分類した。その後、学習した原則を用いてスタイルを再現し、われわれの作品用に新たな顔のパーツを生成した」

レンブラントの肖像画を比較することでポーズや比率に類似性があるのが分かる。
提供：Next Rembrandt

　「個々のパーツを生成したら、レンブラントが用いた比率に応じて、それらを完成した形の顔と上半身に組み立てる必要があった。アルゴリズムを使ってレンブラントの絵画における顔のパーツ間の距離を測り、比率に基づいて距離を計算した。次に、それらのパーツを変形、回転、拡大／縮小してから、顔の枠内に正確に配置した。最後に、各パーツに写実的な影をつけるため、収集したデータに基づいて陰影をつけた」

　イメージのレンダリングには500時間以上かかったが、これで作業が終わったわけではない。最終段階は、デジタルファイルを実際の絵画にすることだった。これには、レンブラントの絵画を3Dスキャンした結果の分析に基づき、アルゴリズムを使ってハイトマップ（高低マップ）を作成した。これは、筆使いを絵の具の盛り上がりの高低で表す地形図のようなものだ。最終的な作品では、レンブラントの画風を油彩で再現するため、13層にわたってUVインクを塗り重ねた。