logo

グーグル、目から顔の表情を推測するVRゴーグル--アバターをリアルタイム生成

  • このエントリーをはてなブックマークに追加

 仮想現実(Virtual Reality:VR)用のゴーグルを装着すると、顔の相当部分が隠されてしまい、対面コミュニケーション時に重要な役割を担う表情がほとんど見えない。これに対し、GoogleはVRゴーグルに装着者の表情を合成する複合現実(MR)技術を開発して、問題の解決を図った。

 また、クラウドファンディングサービス「Kickstarter」で支援を募っていた取り組みでは、2つの赤外線カメラで目と目の周囲、口、あごの動きをとらえ、その情報にもとづいてアバターの表情を変えるVRゴーグル「Veeso」といったものも存在した。

 今回は、Veesoと同様の機能をよりシンプルな方法で実現するGoogleの新たな人工知能(AI)技術「Eyemotion」を紹介しよう。


目の動きなどから顔の表情を推測するVRゴーグル(出典:Google)

 この技術は、VRゴーグルの内部に組み込んだ赤外線(IR)視線トラッキングカメラからのデータを利用し、AIが顔の表情を推測する。推測には、深層学習(ディープラーニング)の一種である深層畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)を適用。カメラで得られる情報は、視線の方向とまばたき、瞳孔やまぶた、まゆ毛、ほお上部の動き程度に限られるものの、うまく推測できるという。


目と表情の組み合わせをAIシステムに学習させた(出典:Google)

 推測はリアルタイムに実行されるので、VRゴーグル装着者に対応した表情のアバターを生成することが可能。さらに、Veesoと違って目の情報だけから表情を推測するため、VRゴーグルに本来必要のないカメラやセンサを付加する必要がない。

 この技術の詳細については、論文を参照されたい。Googleは、カリフォルニア州ロサンゼルスで開催中の技術系イベント「Siggraph 2017 Emerging Technologies」で同ゴーグルのデモを実施する。

-PR-企画特集