Metaが取り組むVRヘッドセットの新たなパススルーの仕組み

　さまざまな複合現実（MR）ヘッドセットと一部の仮想現実（VR）ヘッドセットに搭載されているが、まだ本当に完璧なものは存在しないのが、パススルー機能だ。Metaの「Quest Pro」やAppleの「Vision Pro」、より安価な「Quest 2」でさえも、実際の風景を網羅するようにカメラとレンズを精密に配置することによって、実際の周辺環境をさまざまな角度でシミュレーションできるようになっている。

提供：Meta

　パススルーは、ホームデザイン、ファッション、インタラクティブラーニングなど、実世界に対するある程度の空間認識と、画像シミュレーションのための膨大な演算処理を必要とする拡張現実（AR）アプリケーションに力を与える。

　当然ながら、実際の見え方と同等の視覚的体験を実現するのは、簡単なことではない。特に、ヘッドセットのカメラの位置と人間のカメラ（すなわち目）の位置の間に距離があることを考えると、それは明白だ。しかしMetaは、 同社のReality LabsのDisplay Systems Research（DSR）チームがパススルーの謎を解明したと考えている。

　同社が開発した「Flamera」は、周辺環境を正確に再現するための手段として「ライトフィールドパススルー」を採用するヘッドセットのプロトタイプだ。カメラのレンズアレイとセンサーの間に「絞り」のグリッドを設けることにより、ユーザーがどのように目を動かしても最適な光の取り込みができるようにする。

提供：Meta

　あらゆる方向と角度を向く穴を持つこのモジュールにより、昆虫の目（複眼）による見え方としか言い表しようのない画像が得られる。Metaによると、このヘッドセットは、すべての穴によって取得された未加工のセンサーデータを組み合わせて映像を構築するという。

　「Flameraの光学設計は、ヘッドセットが薄く、パススルーカメラをユーザーの目のできるだけ近くに配置できる場合に最もうまく機能する」と、MetaのDSRチームに所属する研究科学者のGrace Kuo氏は述べている。DSRのディレクターを務めるDouglas Lanman氏は、「ライトフィールドパススルーに関するわれわれの取り組みに基づいて、遠近法的に正しいMRパススルーの体験をプレビューすることに注力している」とした。

　Flameraは8月、コンピューターグラフィックスやインタラクティブ技術の分野の革新的な製品が展示される年次イベントSIGGRAPH 2023で、デモが披露されたばかりだ。「私がこれまでに見た中で、間違いなく最高品質の（AR）パススルーの1つだった」と、同イベントに参加したMoors Insights & Strategyの主席アナリストAnshel Sag氏は、IEEE Spectrumに対して語っていた。