ワシントン大学とFacebookの研究チームは、カメラで撮影した現実世界の映像に拡張現実(AR)オブジェクトを合成表示する際、現実世界に存在するオブジェクトの背後にARオブジェクトが隠れるようリアルタイム合成できる技術を開発した。
実際の映像にARオブジェクトをリアルタイム合成する技術は、以前から存在する。たとえば、Googleがスマートフォン「Pixel 3」などで提供しているカメラアプリの「Playground」を使うと、画面内で3Dキャラクターを自然に合成して撮影することが可能だ。
ただし、合成時に元となる映像の深度情報は一部しか取得しない。そのため、一度表示したARオブジェクトは実オブジェクトの手前にしか配置できない技術が多く、実オブジェクトの背後に回り込むようなAR映像効果の実現は難しい。
これに対し、研究チームは一部ピクセルの深度情報を周囲のピクセルへ“伝搬”させることで全ピクセルの深度情報を得るアルゴリズムを開発した。ビデオ映像と、映像から映像内の3D情報を得る技術Simultaneous Localization And Mapping(SLAM)を組み合わせ、深度情報を持つピクセルを高密度化していくことで、ほぼリアルタイムに全ピクセルの深度情報算出が可能という。
こうして作成した深度情報マップを利用することで、3Dキャラクターを空間の正しい位置に配置し、実オブジェクトの背後へ隠れるようなAR映像効果が可能になった。
研究の紹介ビデオ(出典:Aleksander Holynski氏/YouTube)
CNET Japanの記事を毎朝メールでまとめ読み(無料)
ZDNET×マイクロソフトが贈る特別企画
今、必要な戦略的セキュリティとガバナンス
ものづくりの革新と社会課題の解決
ニコンが描く「人と機械が共創する社会」
「程よく明るい」照明がオフィスにもたらす
業務生産性の向上への意外な効果