遅延9.8ミリ秒の顔面プロジェクションマッピング--ディズニー研究機関が開発

　Walt Disneyの研究機関Disney Researchは、人間の顔へ映像をリアルタイム投影することで化粧しているかのように見せるプロジェクションマッピング技術に関し、顔の向きや位置、表情に合わせて映像を高速に変化させる技術を開発した。試作システムでテストしたところ、平均9.8ミリ秒の遅れで映像を追従させられたという。

平均9.8ミリ秒の遅れで映像を顔に投影（出典：Disney Research）

　この技術は、顔に各種映像を投影し、仮想的な化粧を施したり、ひげを加えたり、まゆ毛の形を変えたりといった加工を実行するもの。表情に合わせてしわや影を投影することで、表情の変化を強調することにも使える。実際に存在する物体の見た目を変えることから、プロジェクションマッピングや拡張現実（AR）の一種と見なせる。

仮想的な化粧を施すほか、照明の当たり方をシミュレーションしたり、表情を強調したり（出典：Disney Research）

　リアルタイムに適切な映像を投影するには、顔の向き、位置、表情に合うよう映像を加工して動かすことになる。映像の変化が顔の動きに追従しないと、顔と映像がずれ、AR効果が得られない。そのため、顔の認識から画像処理、投影までにかかる時間を短くする必要がある。

　Disney Researchのシステムは、顔に赤外線（IR）ライトをあて、ハイスピードカメラで顔の向きと表情をとらえる。そして、適応カルマンフィルタリング処理により、顔の動きや変形を予測する。最終的に、あらかじめ用意しておいた画像を予測似合わせて加工し、投影する仕組みだ。

顔の向きや表情をとらえ、変化などを予測し、映像を加工する（出典：Disney Research）

　実際にシステムを構築してプロジェクションマッピングしたところ、十分小さな遅延時間で顔の変化に映像を追従させられた。パフォーマーが変わったり、異なる表情や速度で動いたりしても、うまく映像を投影できた。

　この技術は、パフォーマーの顔にモーションキャプチャ用マーカーを取り付けることなく、リアルタイムに顔の変化をとらえ、映像を追従させられる。実用化されれば、ステージで演じられる生のショーにおいて、役者の顔が突然変わる演出などに応用できるだろう。