仮想現実(Virtual Reality:VR)で得られる没入感は見事だが、没入できるのはVRゴーグル装着者だけだ。はたから見ると何に興奮しているのか理解できず、滑稽にさえ思える。装着者向けの映像に装着者の姿を合成する複合現実(Mixed Reality:MR)のような技術を使うと、ある程度は没入感を共有できる。その場合も、顔を覆うVRゴーグルに装着者の表情が隠されてしまうため、つい現実に引き戻されてしまう。
この問題を解消しようと、Googleの研究チームがVRゴーグルに装着者の表情を合成するMR技術を開発した。これにより、VRゴーグル装着者の顔が透けているように見え、周囲の人も没入感をより自然に共有できるようになる。
開発された「ゴーグルのシースルー効果」は、3D表情&視線モデルの作成、映像の位置合わせ、映像の合成、という3段階の処理で実現される。
3D表情&視線モデルは、VRゴーグルを装着する人の顔を撮影して作る。その際、視線に応じて変わる表情をMR映像で再現するため、動く点を目で追いかけてもらいながらデータを取得する。この作業は、1分もかからないで終わるという。
続いて、合成に必要な映像やデータの取得だ。まず、VRゴーグル装着者の動きを映像として得るため、ブルーバックやグリーンスクリーンを背景にVRアプリを使ってもらう。ゴーグルの位置や向きは、ゴーグルに取り付けられたマーカーで獲得する。
そして最後に、3D表情&視線モデルから顔の映像と、装着者の動く映像、VR映像を合成する。この際、視線まで再現するため、リアルタイム視線トラッキング機能を搭載したVRゴーグルが必要となる。まばたきの再現にも対応している。
なお、「不気味の谷」と呼ばれる現象を軽減するため、このVRゴーグル透過MR技術は映像でゴーグルを完全には消さず、水中マスク越しに表情が見えているような合成方法を採用した。
CNET Japanの記事を毎朝メールでまとめ読み(無料)
ものづくりの革新と社会課題の解決
ニコンが描く「人と機械が共創する社会」
ZDNET×マイクロソフトが贈る特別企画
今、必要な戦略的セキュリティとガバナンス