仮想キャラが実オブジェクトの背後に隠れるAR合成技術--ワシントン大とFacebook

　ワシントン大学とFacebookの研究チームは、カメラで撮影した現実世界の映像に拡張現実（AR）オブジェクトを合成表示する際、現実世界に存在するオブジェクトの背後にARオブジェクトが隠れるようリアルタイム合成できる技術を開発した。

実オブジェクトの背後にARオブジェクトが隠れる（出典：ワシントン大学）

　実際の映像にARオブジェクトをリアルタイム合成する技術は、以前から存在する。たとえば、Googleがスマートフォン「Pixel 3」などで提供しているカメラアプリの「Playground」を使うと、画面内で3Dキャラクターを自然に合成して撮影することが可能だ。

　ただし、合成時に元となる映像の深度情報は一部しか取得しない。そのため、一度表示したARオブジェクトは実オブジェクトの手前にしか配置できない技術が多く、実オブジェクトの背後に回り込むようなAR映像効果の実現は難しい。

キャラクターの背後にいた猫（左）、前に出ても背後に隠れたまま（右）

　これに対し、研究チームは一部ピクセルの深度情報を周囲のピクセルへ“伝搬”させることで全ピクセルの深度情報を得るアルゴリズムを開発した。ビデオ映像と、映像から映像内の3D情報を得る技術Simultaneous Localization And Mapping（SLAM）を組み合わせ、深度情報を持つピクセルを高密度化していくことで、ほぼリアルタイムに全ピクセルの深度情報算出が可能という。

全ピクセルの深度情報を算出（出典：ワシントン大学）

　こうして作成した深度情報マップを利用することで、3Dキャラクターを空間の正しい位置に配置し、実オブジェクトの背後へ隠れるようなAR映像効果が可能になった。