写真内の人物にデジタル衣裳を違和感なく合成する技術--ディズニー研究機関など

　Walt Disneyの研究機関Disney Researchおよびスイスのチューリッヒ工科大学（ETH Zurich）の研究チームは、人物の写った1枚のカラー画像を解析し、その人物のポーズに合わせて立体感のあるコスチューム画像を自然に合成する技術「AR Costumes」を開発した。

写真の人物にコスチューム画像を合成（出典：Disney Research）

　この技術は、単眼カメラなどで撮影した深度情報のない画像に写った人物のポーズを認識し、その人の体にデジタル衣裳を重ね合わせる。デジタル衣裳の脇から人物の体や実際に着ていた衣裳がはみ出ることがなく、デジタル衣裳にもすき間が生じないので、画像内の人物が本当にデジタル衣裳を着ているように見える。

人物が本当にデジタル衣裳を着ているように見える（出典：Disney Research）

　合成処理を始める前準備として、さまざまなポーズに合わせ3D衣裳データを作り、その際に3Dスケルトンデータも用意しておく。そのうえで、人物のポーズを2Dスケルトンデータ化し、一致度の高い3D衣裳データを選ぶ。最終的に、人物の顔や手など残すべき領域以外を画像から消去し、その上に3D衣裳を描画する。

手が体の後ろでも前でも自然に合成（出典：Disney Research）

　研究チームは、複数の人物とポーズにこの技術を適用し、3D衣裳を自然に合成できることを確認した。合成処理は、MicrosoftのノートPC「Surface Book」を使って実行したところ、約10秒で済んだという。