グーグルは「Pixel 3」のポートレートモードをこうして改良した

　2017年、Googleのスマートフォン「Pixel 2」で背景をぼかすポートレートモードが導入されたが、同社の研究者らはスマートフォン5台を寄せ集めて使用し、2018年の「Pixel 3」でこの機能を改良した。

フランケンフォン
提供：Google

　ポートレートモードは、ハイエンドのカメラとレンズの浅い被写界深度をシミュレートすることで被写体を際立たせ、背景をぼかす。ただし、このシミュレーションをうまくやるのは難しく、誤りがあればすぐにわかってしまう。GoogleはPixel 3で、人工知能（AI）技術を利用して不具合を修正した。

　これをうまくやるには、AIを訓練するための写真が何枚か必要だった。そこで、5台のスマートフォンを寄せ集め、5台のカメラでわずかに異なる角度から同じ写真を撮影した。これらの角度のわずかな違いによって、コンピュータはシーン内の各部分がカメラからどれほど離れているかを判断し、背景のぼかし具合いを決める「深度マップ」を生成できた。

　研究者のRahul Garg氏とプログラマーのNeal Wadhwa氏は、米国時間11月29日にGoogleの公式ブログで次のように述べた。「われわれは、5台のPixel 3を寄せ集めた自作の『フランケンフォン』とWi-Fiベースのソリューションを開発した。そのおかげで、すべてのスマートフォンから同時に写真を撮影できた」

　このテクニックは、新たな画像処理ソフトウェアとハードウェアが写真撮影の技術をいかに大きく変えるかを示している。スマートフォンが備える小型の画像センサは、画質の点で従来のカメラに太刀打ちできないが、Googleは、背景のぼかし、解像度の向上、露出補正、影の細部の改善、暗所での写真撮影などが可能なコンピュテーショナルフォトグラフィの手法で他社より一歩抜きんでている。

深度マップの例（左が従来のもの、右がAI訓練によるもの）
提供：Google

　人間は、2つの目がわずかに離れているために深度を判断できる。つまり、2つの目でわずかに異なる風景を見ているということだ。この違いは視差と呼ばれる。Appleは2016年に発売した「iPhone 7」で初めてポートレートモードに対応した際、2つの背面カメラの間の視差を利用した。

　GoogleのPixel 3は背面カメラが1つしかないが、機械学習などを利用して深度情報を判断している。