グーグル、目から顔の表情を推測するVRゴーグル--アバターをリアルタイム生成

　仮想現実（Virtual Reality：VR）用のゴーグルを装着すると、顔の相当部分が隠されてしまい、対面コミュニケーション時に重要な役割を担う表情がほとんど見えない。これに対し、GoogleはVRゴーグルに装着者の表情を合成する複合現実（MR）技術を開発して、問題の解決を図った。

　また、クラウドファンディングサービス「Kickstarter」で支援を募っていた取り組みでは、2つの赤外線カメラで目と目の周囲、口、あごの動きをとらえ、その情報にもとづいてアバターの表情を変えるVRゴーグル「Veeso」といったものも存在した。

　今回は、Veesoと同様の機能をよりシンプルな方法で実現するGoogleの新たな人工知能（AI）技術「Eyemotion」を紹介しよう。

目の動きなどから顔の表情を推測するVRゴーグル（出典：Google）

　この技術は、VRゴーグルの内部に組み込んだ赤外線（IR）視線トラッキングカメラからのデータを利用し、AIが顔の表情を推測する。推測には、深層学習（ディープラーニング）の一種である深層畳み込みニューラルネットワーク（Convolutional Neural Network：CNN）を適用。カメラで得られる情報は、視線の方向とまばたき、瞳孔やまぶた、まゆ毛、ほお上部の動き程度に限られるものの、うまく推測できるという。

目と表情の組み合わせをAIシステムに学習させた（出典：Google）

　推測はリアルタイムに実行されるので、VRゴーグル装着者に対応した表情のアバターを生成することが可能。さらに、Veesoと違って目の情報だけから表情を推測するため、VRゴーグルに本来必要のないカメラやセンサを付加する必要がない。

　この技術の詳細については、論文を参照されたい。Googleは、カリフォルニア州ロサンゼルスで開催中の技術系イベント「Siggraph 2017 Emerging Technologies」で同ゴーグルのデモを実施する。