「HoloLens」で壁や机を仮想タッチパネル化--キャリブレーションなど必要なし

　カーネギーメロン大学（CMU）の研究チームは、テーブルや壁の表面を仮想現実（VR）ゴーグルのようなデバイスで仮想的なタッチパネルとして使えるようにする技術「MRTouch」を開発した。

テーブルなどの表面を仮想タッチパネル化

　この技術は、ゴーグルに搭載された深度カメラなどのセンサから得る情報を解析し、装着者の見ている物体と装着者の手および指の位置関係をリアルタイムに把握する。そして、この情報にもとづき、物体表面を仮想的なマルチタッチ対応タッチパネルとして使えるようにするもの。

物体と手および指の位置関係をリアルタイムに把握（出典：カーネギーメロン大学）

　MRTouchシステムのプロトタイプは、Microsoftの複合現実（MR）ヘッドセット「HoloLens」を使用して実現。市販されているHoloLensをそのまま利用し、特別なハードウェアの追加といった改造は施していない。また、装着するユーザーや使用する環境に合わせてキャリブレーションする必要もないという。

仮想的なマルチタッチ対応タッチパネルを実現（出典：カーネギーメロン大学）

　周囲の状況と装着者の手および指の位置関係は、HoloLensの深度カメラと赤外線カメラで取得。被験者や仮想タッチパネル化する物体の向きや表面素材を変えながら試験したところ、平均すると誤差5.4mmの精度で位置合わせできたという。また、直径16mmの仮想ボタンは95％の精度でタッチ可能だった。

　この技術が実用化されれば、テーブルなどに一切手を加えることなく、表面の仮想オブジェクトを操作するユーザーインターフェイス（UI）が作れる。

さまざまな応用が考えられる（出典：カーネギーメロン大学）