NVIDIA、現実世界を自動3Dモデル化するAI技術--都市が舞台の3D VRゲーム制作が容易に

　NVIDIAは、街や人物といった現実世界のビデオを入力すると、そのビデオ内の対象物を自動的に3Dモデル化できる人工知能（AI）技術を開発した。この技術を使うと、現実の都市を舞台にする3Dゲームの開発などが省力化される。

オリジナルのビデオ（左）、3Dレンダリングした映像（右）（出典：NVIDIA）

　3Dオブジェクトで構成される仮想現実（VR）環境を作るには、環境内に配置したり、環境内で動かしたりするオブジェクトの3Dモデルを用意しなければならない。モデル作成は手間がかかるため、複雑なVR環境や実在する都市を模したVR環境の制作は大量の時間と人手が必要だ。

　これに対しNVIDIAは、ニューラルネットワークを利用し、現実世界のビデオを解析して3D環境を自動生成することに成功した。たとえば、街のようすを撮影したビデオを入力すると、建物や街路樹、自動車などの対象物が3Dモデル化される。一度3Dモデル化されたオブジェクトは、削除や改変が可能で、コピーして増やすといった編集が容易に実行できる。

顔の動きやダンスもリアルタイムにレンダリング（出典：NVIDIA）

　NVIDIAはこの技術を応用し、市街地の映像をベースとするドライビングゲームを作成。オリジナルのビデオとゲームの映像はそっくりだが、ゲーム内に表示されるオブジェクトはグラフィックスエンジンのレンダリングで作られた。顔の表情を変えるビデオや、ダンスを撮影したビデオのような素材も、リアルタイムに3Dレンダリングできる。