Walt Disneyの研究機関Disney Researchは、人間の顔へ映像をリアルタイム投影することで化粧しているかのように見せるプロジェクションマッピング技術に関し、顔の向きや位置、表情に合わせて映像を高速に変化させる技術を開発した。試作システムでテストしたところ、平均9.8ミリ秒の遅れで映像を追従させられたという。
この技術は、顔に各種映像を投影し、仮想的な化粧を施したり、ひげを加えたり、まゆ毛の形を変えたりといった加工を実行するもの。表情に合わせてしわや影を投影することで、表情の変化を強調することにも使える。実際に存在する物体の見た目を変えることから、プロジェクションマッピングや拡張現実(AR)の一種と見なせる。
リアルタイムに適切な映像を投影するには、顔の向き、位置、表情に合うよう映像を加工して動かすことになる。映像の変化が顔の動きに追従しないと、顔と映像がずれ、AR効果が得られない。そのため、顔の認識から画像処理、投影までにかかる時間を短くする必要がある。
Disney Researchのシステムは、顔に赤外線(IR)ライトをあて、ハイスピードカメラで顔の向きと表情をとらえる。そして、適応カルマンフィルタリング処理により、顔の動きや変形を予測する。最終的に、あらかじめ用意しておいた画像を予測似合わせて加工し、投影する仕組みだ。
実際にシステムを構築してプロジェクションマッピングしたところ、十分小さな遅延時間で顔の変化に映像を追従させられた。パフォーマーが変わったり、異なる表情や速度で動いたりしても、うまく映像を投影できた。
この技術は、パフォーマーの顔にモーションキャプチャ用マーカーを取り付けることなく、リアルタイムに顔の変化をとらえ、映像を追従させられる。実用化されれば、ステージで演じられる生のショーにおいて、役者の顔が突然変わる演出などに応用できるだろう。
CNET Japanの記事を毎朝メールでまとめ読み(無料)
ものづくりの革新と社会課題の解決
ニコンが描く「人と機械が共創する社会」
「程よく明るい」照明がオフィスにもたらす
業務生産性の向上への意外な効果
ZDNET×マイクロソフトが贈る特別企画
今、必要な戦略的セキュリティとガバナンス