iPhone 15 Proの「空間ビデオ」を体験--美しくリアルだが再生にはVision Proが必要

　筆者は今、すしの載った皿が目の前に浮かんでいるのを3Dで見ている。料理人が仕上げにブリの軍艦巻きとマグロにトッピングを載せ、手を動かしながら話しかけてくる。鮮明で、リアルに見える。驚くべきは、この動画は自分でほんの少し前に「iPhone 15 Pro」で撮影したばかりという点だ。そして、これは、筆者がAppleのヘッドセット「Vision Pro」を使って美しい3Dで視聴している仮想現実（VR）体験なのだ。

提供：Apple

　指でスワイプして、Appleが提供しているほかの幻想的な動画を見る。さまざまな家族が、家の中でくつろいでいたり、草原を歩いたり、体を寄せ合ったりしている。すべて実物そっくりな3Dだ。その家族の生活を自分がのぞき見しているような気分がして、奇妙だが親しみを感じる。しかし、鮮明さは否定できない。

　筆者は、「iPhone」のカメラを用いたAppleの新機能「Spatial Video」（空間ビデオ）を体験中だ。現在、この機能は新しい「iOS 17.2」のパブリックベータ版で提供されている。iOS 17.2の正式リリースは2023年中の見込みだ。iOS 17.2では3Dビデオの録画が可能だが、Appleの最上位モデルである999ドル（日本では15万9800円から）の「iPhone 15 Pro」が必要となる。さらに、その動画を3Dで視聴するには、2024年に発売される3499ドル（約53万円）のヘッドセットVision Proが必要だ。

　動画は素晴らしく、3Dは思わず引き込まれるほどリアルだ。録画するのも簡単で、通常の動画フォーマットを用いて2Dで再生する動画として保存できる。だが、残念ながら、この機能は2024年に発売されるVision Pro向けであるため、多くの人にとって、すぐに手が出るものではない。それでも、この体験は印象的だ。

Vision Proの素晴らしさを再認識

　筆者は6月に開催されたAppleの年次開発者会議「Worldwide Developer Conference」（WWDC）で初めてVision Proを使ってみたが、改めてその並外れたディスプレイの性能を思い知らされた。このヘッドセットを使うと、写真や動画が美しく見える。Vision Proは現時点で筆者の自宅にあるどのディスプレイより優れていると言っても過言ではない。確かに、Vision Proを持っていたら、3Dかどうかを問わず動画や写真を見てみたくなるだろう。

　筆者のニーズに合う度付きレンズを装着して再びVision Proを試してみると、このヘッドセットが思っていたよりはるかに小さかったことに気付かされる。インターフェースの使いやすさも改めて実感した。

　アイトラッキングの設定は簡単で、円を囲む点を見てタップするだけだ。指でつまんだり伸ばしたりして写真を拡大する新しいズームジェスチャーも試してみた。このジェスチャーはアイトラッキングと連動しているため、どこを見ても画像が拡大された。まるでテレパシーのようだ。「写真」アプリで何枚かサンプル写真を見たり、「メモリー」で写真のスライドショーを再生したりしてみた。筆者は最近「Meta Quest 3」を使ってみたが、Appleのパススルーカメラとディスプレイの解像度は異次元のレベルだ。

　パノラマ写真は驚きだった。包み込まれるように周囲に広がり、すぐそこに他の場所が見える窓のように感じられた。はっきり言って、ほとんど3Dだ。空間ビデオも素晴らしい。現実を超越した幻想的ともいえる再生品質で、通常の動画再生というより、没入感のある記憶を目指しているように感じられる。ただ、この短いデモ体験の中だけでも、ある程度の限界は感じた。

　残念ながら、筆者が見たものや記録したものをここに掲載することはできない。写真はすべてAppleが提供しているものなので、筆者が体験したことを読んでもらうしかない。

iPhone 15 Proでの空間ビデオ

　空間ビデオを撮影するには、本体を横向きに構える必要がある。iPhone 15 Proは、横向きモードにすることで、メインカメラと超広角カメラを横並びに使って3D動画を生成するからだ。1080p、30fpsの動画を2本同時に撮影し、コンピュテーショナルフォトグラフィー技術によってレンズと距離の差を処理する。ファイルは、Appleの他の動画ファイルと同じようにHEVC形式で保存され、ファイルサイズは1分あたり約130MBなので、悪くない数字だ。おそらくは、解像度が1080pでフレームレートが30fpsと、ファイル容量が比較的低く抑えられているからだろう。

提供：Apple

　空間ビデオのクリップは、「メッセージ」アプリまたは「AirDrop」を介して共有できるが、他のアプリでファイルが圧縮され、3Dデータが失われることも考えられる。その場合でも、ビデオクリップは通常の動画ファイルのようにどこででも利用できるので、「特別な」3D動画形式を選択しなければならないのかどうか悩んでいた人（筆者自身もそうだった）には朗報だ。

　空間ビデオモードは、iPhoneの「設定」から「カメラ」アプリの設定、または「カメラ」アプリ自体にあるVision Proのマスクのような形をしたトグルスイッチでオンにする必要がある。こうすると、動画の解像度とフレームレートが制限され、同時に横向きでの撮影が必須になる。残念ながら、3D動画を縦向きで撮影することはできない。

　カメラアプリは、カメラを横向きに構え、被写体との間に一定の距離を保つよう注意を促してくれる。筆者が撮影したときも、良好な空間ビデオを撮影するには被写体との距離を3～8フィート（約0.9～2.4m）にするよう指示された。だが、テーブルですしを握っている人をテスト撮影したときには、それより近づいても全く問題なかった。照明の十分な室内でも撮影したが、空間ビデオの撮影モードにすると、どうも輝度とコントラストを調整できなくなるようだ。ということは、照明の足りない撮影のときには、通常の動画より粒子が粗くなる可能性がある。

提供：Apple

空間ビデオの扱いと編集

　Appleの3D HEVC動画形式についてはAPIが公開されていない。つまり、この形式のファイルは、まだサードパーティーアプリで認識されるようには設計されていないということだ。ただし、アプリ開発者が何らかの解決方法を見い出す可能性はある。また、3D形式の動画をVision Pro以外で見る方法がないのも残念な点だ。

　立体3D映像の記録というと、理論的には、他のVRヘッドセット、例えば499.99ドル（日本では7万4800円）の「Meta Quest 3」などにも対応しそうに思える。単純な立体動画であり、動きを完全にとらえる空間キャプチャーのどこにも、LiDARや深度センサーは使われていないからだ。だが残念ながら、今のところAppleにそうした対応の予定はない。

　動画の撮影時間には上限がないので、理論上は空間ビデオの3D長編映画も撮影できる。だが、iPhoneとVision Proのどちら側でも、クリップの編集機能としてはトリミングしか用意されていない。Appleの動画編集ソフトウェアである「Final Cut Pro」で空間ビデオの編集がサポートされる予定だが、これは2024年内のどこかの時点まで待つ必要がある。それまでの間、「Mac」または「iOS」の動画エディターで3D動画ファイルを編集しようとした場合は、2D動画ファイルに変換されてしまうだろう。

　動画を4K解像度で撮影できない点も、少し残念に思う。Vision Proヘッドセットの画質と解像度は感動的だ。iPhoneの写真をVision Proで見てそれをズームしたときに改めて実感したし、パノラマ写真を全周モードで見ると、360度写真と同じように、ある場面が生き生きと没入的に再現された環境に自分がいるかのように感じられた。空間ビデオは実に素晴らしいのだが、それをさらになめらかな60fps、かつ4Kで見てみたい。いずれは実現するかもしれない。

3Dの未来に向けた「メモリー」

　Appleは、ライフスタイルだけでなく思い出も重視する企業になろうとしているように見える。自動化された写真コレクションはすでに「メモリー（記憶、思い出）」と呼ばれている。Vision Proで3D空間ビデオを視聴した感じがまさにそれだ。SF映画の『マイノリティ・リポート』や『ブレードランナー』で描かれている未来に登場するデジタル記憶のように、縁にぼかしがかかっている。

　ぼかしたフレームで空間ビデオを囲むというAppleの選択により、動画は室内に映し出されたホログラフィーのように見え、端が少し空中に溶け込んでいるような感じだ。だが、筆者は、動画が普通のフレームで囲まれている状態で視聴するのも大好きだ。

　Appleの空間ビデオフォーマットは、「写真」アプリで新しいカテゴリーとして表示され、メモリーにはまだ表示されない。おそらく、写真アプリのこの新しい空間ビデオタブが、新たな3D体験を保存する場所になるのだろう。今のところ、iPhone 15 Proで撮影できるのは動画だけで、3D空間写真は撮影できないが、Vision Pro自体は写真を撮影できる。だが、誰もがVision Proの発売前に空間ビデオフォーマットで録画し始め、優れた動画のライブラリーを構築することを、Appleは明らかに目指している。

　ということは、忘れずに空間ビデオをオンに切り替え、意識的にそれを使う必要があるということだ。将来的にVision Proを所有することになる人は、iPhone 15 Pro上でこの機能をデフォルトでオンにするのだろうが、それはごく一部のiPhoneユーザーに限られる。筆者はオンにするつもりだ。2024年になったら、Vision Proでその動画がどんな風に見えるようになるのか興味があるからだ。だが、Vision Proを購入する予定がないのであれば、今の時点で空間ビデオを撮影する理由はほとんどない。もしかすると、遠い未来に、誕生日パーティーの動画を3Dで撮らなかったことを後悔する日が来るのかもしれないが。筆者はつい先頃、姪のバット・ミツバ（ユダヤ教徒の少女の成人式）で動画を撮影したが、それを3Dでも視聴できたらどんな風になるだろうとすでに考えている。この新しい空間ビデオカメラの録画ボタンは、筆者が将来感じるであろう「FOMO」（取り残されることへの不安）に早くも訴えかけている。