logo

グーグル、VRゴーグルが透けて装着者の顔が見えるMR技術--VRの没入感を共有

  • このエントリーをはてなブックマークに追加

 仮想現実(Virtual Reality:VR)で得られる没入感は見事だが、没入できるのはVRゴーグル装着者だけだ。はたから見ると何に興奮しているのか理解できず、滑稽にさえ思える。装着者向けの映像に装着者の姿を合成する複合現実(Mixed Reality:MR)のような技術を使うと、ある程度は没入感を共有できる。その場合も、顔を覆うVRゴーグルに装着者の表情が隠されてしまうため、つい現実に引き戻されてしまう。

 この問題を解消しようと、Googleの研究チームがVRゴーグルに装着者の表情を合成するMR技術を開発した。これにより、VRゴーグル装着者の顔が透けているように見え、周囲の人も没入感をより自然に共有できるようになる。

(出典:Google)
VRゴーグル装着者の没入感を共有(出典:Google)

 開発された「ゴーグルのシースルー効果」は、3D表情&視線モデルの作成、映像の位置合わせ、映像の合成、という3段階の処理で実現される。

 3D表情&視線モデルは、VRゴーグルを装着する人の顔を撮影して作る。その際、視線に応じて変わる表情をMR映像で再現するため、動く点を目で追いかけてもらいながらデータを取得する。この作業は、1分もかからないで終わるという。

視線まで含めて顔の3Dモデルを作成(出典:Google) 視線まで含めて顔の3Dモデルを作成(出典:Google)

 続いて、合成に必要な映像やデータの取得だ。まず、VRゴーグル装着者の動きを映像として得るため、ブルーバックやグリーンスクリーンを背景にVRアプリを使ってもらう。ゴーグルの位置や向きは、ゴーグルに取り付けられたマーカーで獲得する。

 そして最後に、3D表情&視線モデルから顔の映像と、装着者の動く映像、VR映像を合成する。この際、視線まで再現するため、リアルタイム視線トラッキング機能を搭載したVRゴーグルが必要となる。まばたきの再現にも対応している。

表情の合成前(上)と合成後(下)(出典:Google) 表情の合成前(上)と合成後(下)(出典:Google)

 なお、「不気味の谷」と呼ばれる現象を軽減するため、このVRゴーグル透過MR技術は映像でゴーグルを完全には消さず、水中マスク越しに表情が見えているような合成方法を採用した。

VRゴーグル透過MR技術の紹介ビデオ(出典:Google)

-PR-企画特集