自分の姿を等身大のARコンテンツに--ソフトバンクの「xRスタジオ」で撮影体験

　ソフトバンクは8月5日、3Dビデオ（ボリュメトリックビデオ）撮影専用スタジオ「xRスタジオ」を報道陣に向け公開した。本稿では、筆者自身をモデルに、同スタジオで実際に撮影からコンテンツ化に至るまでを体験した模様をお伝えする。

xRスタジオは高い天井が印象的なスタジオだった

　2020年2月に開設されたxRスタジオでは、ソフトバンクが5G向けに推進するコンテンツ配信サービス「5G LAB」のARコンテンツ「AR SQUARE」のコンテンツを主に制作している。

　AR SQUAREは、「NiziU」や「AKB48」といったタレントや「キズナアイ」などのキャラクター、イヌやハトといった動物など、幅広いコンテンツと一緒に撮影ができるアプリ。コンテンツは、360度回転や拡大縮小が自在にでき、写真をSNSに投稿して楽しめる。利用は無料だが、将来的に有料化する予定もある（時期未定）という。利用にあたっては、データ容量が大きいため、5G環境かWi-Fiでの利用を推奨している。

　xRスタジオは、ソフトバンクが同社のグループ会社「リアライズ・モバイル・コミュニケーションズ」と共同で設立。既存の技術だと生成に時間のかかっていた等身大で精度の高い3Dビデオを"即日で"生成できることが特徴だ。

　従来は3Dコンテンツの制作に数週間から1カ月を要し、モデリングやテクスチャー作成などの多くの工程を経て制作されてきたが、同スタジオでは撮影とレンダリングの2工程のみで3Dコンテンツを制作する。品質についても既存技術より品質を向上させており、タレント事務所の許諾が得られる品質を実現した。また、レンダリングだけでも従来は1週間以上期間を要していたが、最大100台のレンダリングサーバーで処理させることで即日での仕上がりを実現した。

　同スタジオを運営するリアライズ・モバイル・コミュニケーションズは、xRテクノロジーの黎明期からコンテンツを手がけており、米国8iの3Dビデオ生成ソリューションを国内独占販売している。

　同社の技術ではAndroidの「ARCore」、iOSの「ARKit」をはじめとしたスマートフォンでの再生のほか、Unityやウェブブラウザでの再生、5Mbpsなどの低帯域幅での再生時に最適化する「アダプティブストリーミング」にも対応。近日中には3Dビデオをその場でレンダリングし、ストリーミングサーバーを介して完全3Dで生配信する「リアルタイム」配信技術も実装予定。既存の技術でもカメラアングルのみリアルタイムで3Dで表現し、2Dに変換して配信する技術はあったが、ユーザーが個別に視点を任意に動かせるものは世界初という。

　リアライズ・モバイル・コミュニケーションズ取締役の勝本淳之氏によると、これらのスタジオの機材費は「数百万は下らない」というが、将来的には価格の張らない民生用の機器でもxRコンテンツが撮影できるようになる可能性もあるという。

ARコンテンツの「モデル」になってみた

　ここからは、実際に筆者が体験したARコンテンツ撮影の模様をお届けしよう。

　xRスタジオは2K（1920×1080ドット）解像度対応のステージと4K（3840×2160ドット）解像度対応のステージの2つを備える。いずれもカメラが30台設置されており、前者は直径1.5m、後者は直径2.5mの範囲で記録できる。前者はデータが4Kより軽く処理するPCの台数を減らすことができる、後者は可動範囲が広く動きのある映像が撮影できるメリットがある。

スタジオの内部。30台のカメラが支柱に設置されており、床までグリーンバックで覆われている

　既存のARコンテンツとの大きな差異として、従来は面で3Dモデルを構成していたが、xRスタジオで使用している技術は1.2mmの「ポクセル」と呼ばれるドットの集合体で構成していることが挙げられる。これにより、近距離でコンテンツを見たさいに「多面的でなめらかでない」といった3Dモデルへの違和感をなくせるほか、表情の変化などの細かい表現も再現できるようになった。

被写体を面ではなく、点で捉えるために30台のカメラを設置

　撮影するステージの内部は合成用のグリーンバックで360度囲まれていた。30台のカメラも至るところにあり、最初はどこがアイポイントかわからなかった。（これは、目線用の目印があった）だが、ステージ内はテレビの撮影現場などと違い、演者である筆者がひとり。私自身、テレビ局でアシスタントディレクターをしていた経験もあり、撮影現場には少し詳しいはずなのだが、どこからキューが飛んでくるのか、どのタイミングで動き出せばいいのかなどちょっと戸惑ってしまった。

　今回は15秒間のコンテンツだったこともあり、撮影時間は2〜3分ほどで終了した。ただし、撮影中はプレビュー用のディスプレイがないことから、どのような映りになっているのかが分からない。このあたりは多少慣れる必要がありそうだ。

こう見えて緊張している、NiziUにはなれなかった

　撮影した自身のARコンテンツのプレビューを待っている間に、すでにAR SQUAREで配信しているプロのコンテンツを見ていたのだが、直径2.5mとそこまで広くないステージの中、限られた範囲で振りを完璧にこなしているプロの方々を見て、勝手がわからずほぼ静止してしまった自分を悔やんだ。

　ちなみに、ソフトバンクサービス企画本部コンテンツ推進統括部の公文悠貴氏によると「被写体は（よく動く）人間以外のイヌなどでも大丈夫」との話だった。

　完成したARコンテンツの出来栄えだが、24年間生きてきて初めてARコンテンツになった自分の姿を見て、妙な気持ちと気恥ずかしさを感じてしまった。

出来上がったコンテンツで撮影してみた

　今まで、同じくAR機能を持つSnapchatの「Bitmoji」やiOSの「ミー文字」も使ったことがあるが、イラストと実写では大きく印象が異なる。実写だとより自分らしさを感じられるものだが、リアルすぎて不気味でもある。ここも“慣れ”が必要なのかもしれない。

　近年、AR技術で斬新な取り組みをしようという動きが業界の中で活性化しているように思う。今回体験したAR SQUAREは、まだ広く普及しているとは言い難いが、「近未来的」な印象を受ける技術だった。AR技術は、エンタテインメント分野に限ったものでもなく、家具のレイアウト配置を決めるアプリなどでも活用されている。今後、ARがどのように発展していくのか楽しみだ。