グーグル、VRゴーグルが透けて装着者の顔が見えるMR技術--VRの没入感を共有

　仮想現実（Virtual Reality：VR）で得られる没入感は見事だが、没入できるのはVRゴーグル装着者だけだ。はたから見ると何に興奮しているのか理解できず、滑稽にさえ思える。装着者向けの映像に装着者の姿を合成する複合現実（Mixed Reality：MR）のような技術を使うと、ある程度は没入感を共有できる。その場合も、顔を覆うVRゴーグルに装着者の表情が隠されてしまうため、つい現実に引き戻されてしまう。

　この問題を解消しようと、Googleの研究チームがVRゴーグルに装着者の表情を合成するMR技術を開発した。これにより、VRゴーグル装着者の顔が透けているように見え、周囲の人も没入感をより自然に共有できるようになる。

VRゴーグル装着者の没入感を共有（出典：Google）

　開発された「ゴーグルのシースルー効果」は、3D表情＆視線モデルの作成、映像の位置合わせ、映像の合成、という3段階の処理で実現される。

　3D表情＆視線モデルは、VRゴーグルを装着する人の顔を撮影して作る。その際、視線に応じて変わる表情をMR映像で再現するため、動く点を目で追いかけてもらいながらデータを取得する。この作業は、1分もかからないで終わるという。

視線まで含めて顔の3Dモデルを作成（出典：Google）

　続いて、合成に必要な映像やデータの取得だ。まず、VRゴーグル装着者の動きを映像として得るため、ブルーバックやグリーンスクリーンを背景にVRアプリを使ってもらう。ゴーグルの位置や向きは、ゴーグルに取り付けられたマーカーで獲得する。

　そして最後に、3D表情＆視線モデルから顔の映像と、装着者の動く映像、VR映像を合成する。この際、視線まで再現するため、リアルタイム視線トラッキング機能を搭載したVRゴーグルが必要となる。まばたきの再現にも対応している。

表情の合成前（上）と合成後（下）（出典：Google）

　なお、「不気味の谷」と呼ばれる現象を軽減するため、このVRゴーグル透過MR技術は映像でゴーグルを完全には消さず、水中マスク越しに表情が見えているような合成方法を採用した。