サッカーの試合を「HoloLens」でテーブル上に再現する技術--ワシントン大らが開発

　ワシントン大学とFacebook、Googleの研究チームは、サッカーの試合を撮影した2Dビデオ映像から3D映像を生成し、その3D映像をテーブルの上に投影しているかのように見せる拡張現実（AR）システム「Soccer On Your Tabletop」を開発した。

サッカーの試合をテーブル上で再現するAR技術（出典：YouTube）

　このシステムを利用すると、Microsoftの「HoloLens」などを通して見たテーブル上にサッカーフィールドが出現し、そこで選手たちが走り回るようすが眺められる。選手の位置は3Dで奥行き方向も再現されるため、テーブルの周囲を移動すると、それに合わせて映像も変化する。サッカーの試合をスタジアムで見ているような感覚が味わえそうだ。

テーブルの上にサッカーフィールドが出現（出典：YouTube）

　3D映像の元になるデータは、1台のカメラで撮影された、深度情報などが付加されていない一般的な2Dビデオ。こうしたサッカーの試合を記録したビデオをYouTubeからシステムに読み込ませ、畳み込みニューラルネットワーク（Convolutional Neural Network：CNN）で解析して各選手の分離、深度情報の決定などを実行して3D映像化する。そして最後に、試合がテーブル上で行われているかのように見せるため、ARゴーグルへ出力する。

YouTubeビデオから3D映像を生成（出典：ワシントン大学）

フィールドのラインでキャリブレーション（出典：YouTube）

　多数のカメラで撮影した映像を必要とする3D映像化技術と違い、Soccer On Your Tabletopはカメラ1台の映像から3D映像を生成できるメリットがある。ただし、現在はまだ実験的な取り組みであり、2D映像上で選手が重なる場面では適切に処理できず、複数の選手が一体化して表示されたり、選手の姿が消えたりする。

消えてしまったゴールキーパー（左上から時計回り、出典：YouTube）

　現在開催中の「FIFAワールドカップ2018ロシア大会」には間に合わないが、将来はリビングのテーブル上で試合を再現できるようになるかもしれない。