頬の動きをカメラ付きイヤホンで撮影し、推測した表情をアバターへ反映--コーネル大学

　コーネル大学の研究チームは、カメラ付きイヤホン型デバイスで装着者の頬の動きを撮影し、その情報から顔の表情を推測する技術「C-Face」を開発した。

装着者の表情を推測するヘッドホン型デバイス（出典：コーネル大学）

　C-Faceでは、顔の両側に装着するイヤホンやヘッドホンのイヤーピース部分に小型カメラを組み込み、表情の変化に応じて変わる頬の動きを撮影する。そして、その動きデータを解析することで、表情形成に重要な役割を果たす顔表面のポイント「ランドマーク」42カ所の動きを推測していく。

イヤホンやヘッドホンのイヤーピースにカメラを組み込む（出典：コーネル大学）

　たとえば、各ランドマークの動きをアバターに反映させれば、装着者と同じ表情をするアバターが実現できる。よりリアルな3D顔モデルに表情を反映させると、Web会議などにも使えるだろう。

3D顔モデルに表情を反映（出典：コーネル大学）

　イヤホンのようなデバイスを装着するだけなので、顔に多数のセンサーを取り付ける必要がない。さらに、マスクで口元を隠していても、表情を推測できるという。

マスク装着者の表情も推測可能（出典：コーネル大学）

　表情を直接アバターなどに反映させるだけでなく、メッセージなどへ入力する絵文字の選択を表情で指示したり、大きな声を出せない環境でささやくように音声コマンドを実行したり、といった用途にも利用可能だ。