人間の視線や表情をVR空間のアバターへ瞬時に反映--360Channelが「FACE」を開発

　コロプラ傘下の360Channelは5月29日、VRコミュニケーションシステム「FACE～Face And Communication Entertainment～」を開発したと発表した。視線や顔の動きを追跡し、人間のリアルな表情を、VR空間のアバターへ瞬時に反映させる技術を活用したものとしている。

VRコミュニケーションシステム「FACE～Face And Communication Entertainment～」

　このシステムでは視線追跡型VRヘッドマウントディスプレイ（HMD）と口や頬の動きの情報を取得できるFacial Tracking cameraを活用し、人の視線やまばたき、表情データを3Dモデルレンダリング技術によってアバターへと反映させている。コミュニケーションシステムとあるだけに、アバターを用いて複数人での音声通話も可能となっている。今回のシステム開発にあたってはFOVEをはじめとした企業が手がけている技術を統合し、独自の通信システムを活用したという。

FOVEやHolotech Studios、Binary VRといった企業の技術をコーディネートする形で開発

　筆者も実際にクマのアバターとなり体験した。自分で自分のアバターが見られないため、VR空間に三面鏡を出して見る形となるのだが、口を大きく開けたり閉じたりと分かりやすい変化だけではなく、視線の動きや頬を膨らますといったことまでリアルタイムで反映できていた。

　ほかにも同じ空間にはアライグマと女の子のアバターが存在。お互いに顔を見合わせたり、VR空間内で地取り棒とスマートフォンを出現させ、3人で写真撮影をし、それを見るといったことまでをデモとして行った。ふとしたところで目線があう、表情を気にする、なにより同じ空間に人がいるという感覚を感じられたのが新鮮だった。そういった表情や反応を、レバーやボタンを押して示すというワンクッションがなく、ダイレクトに示せるのは、より自然なコミュニケーションが楽しめると思った次第だ。

「技術を組み合わせたらできる」から始まった、世界に先駆けたVRシステム

コロプラと360Channel両社の代表取締役社長を務める馬場功淳氏

　コロプラならびに360Channelの代表取締役社長を務める馬場功淳氏は、FACEの開発背景として、かねてからコロプラとしてVR領域に積極的に取り組んでいるなか、VRにおけるゲーム以外の活用として、コミュニケーションが大きなものになると考えていたという。実際にFacebookをはじめとして、巨大プレーヤーが相次いでVRやARを使ったコミュニケーションを主題にした施策を打ち出していることから、この考えは間違っていないと語る。

　そして開発だけではなく投資も積極的に行い、さまざまな技術を見ていくなかで、その技術の組み合わせによって新しいVRコミュニケーションシステムが生み出せることに気付いたという。「この先、このようなVRコミュニケーションシステムをどこかが作るはず。でも今できる立場にあるなら、自らプロジェクト化して、投資先の企業の力を結集させてシステムを作ろうとしたのがはじまり」（馬場氏）。

　また空気感や表情、目線といったコミュニケーション要素を内包したVRコミュニケーションシステムは、馬場氏によれば「発表ベースでは聞いたことがない。おそらくここにしかない」とし、さらにデバイスなどは特注のものではなく、購入可能な民生品を活用して実現していることも付け加えた。

　FACEに関しては今のところ研究開発の段階であり、商用利用について現段階では考えてないという。馬場氏は発表の反応を見て今後を考えたいと回答した。

FACEの開発事由

　FACEのプロジェクトマネージャーを務める360Channelの澤木一晃氏は、「今後このような表情を表現できるコミュニケーションシステムが当たり前になっていく」と語る。馬場氏が触れていたように、現状では研究開発段階であり、さまざまな可能性を模索しているという。その例としては、視線と表情を自動的に取得できることから、それらを組み合わせた分析ツールを開発し“表情によるレビュー”を行うことや、視線や表情付きのアバターを用いたVR番組などのVRコンテンツ制作ツールといったものが考えられるという。今後はさまざまな企業との連携を図り、可能性を広げていくとした。

　視線追跡型VRHMD「FOVE」を展開するFOVEの代表取締役を務める小島由香氏は、VR界隈でもアイトラッキングの注目は高まっているとしながらも、現状では活用法が利便性に向けられているという。一方で小島氏はFOVE設立当初から、目と目を見てコミュニケーションをすることを標ぼうしていたと語る。加えてコミュニケーションでは目線だけではなく、笑いえあえるような表情認識ができることも大事だとし、FACEを実際に体験して素直に感動したと語る。「アバターを通じて、初めて目と目とが合う世界が実現していただいた。視線追跡の新しい可能性とコミュニケーションの新天地を見てほしい」とアピールした。

　さらにトークセッションのなかでは、さらなる一歩先の追加したい機能としてボディランゲージも挙がっていた。澤木氏は今回のデモで写真撮影があったところに触れ「みんなピースなどをポーズを取るはず。そういった表現が簡単にできると、より没入間が高まる」と語った。また小島氏は、手の動きだけを反映させればいいと思っていたが、社内からは肩の動きから腕や手の動きに繋がっていかないと違和感が出ると指摘されたことに触れ、体全体が連携して反映させるようなシステムがあるといいとした。

左から、トークセッションでのモデレーターを務めた360Channel 経営企画／プロデューサーの中島健登氏、FOVE 代表取締役の小島由香氏、360Channel FACE プロジェクトマネージャーの澤木一晃氏