2017年、Googleのスマートフォン「Pixel 2」で背景をぼかすポートレートモードが導入されたが、同社の研究者らはスマートフォン5台を寄せ集めて使用し、2018年の「Pixel 3」でこの機能を改良した。
ポートレートモードは、ハイエンドのカメラとレンズの浅い被写界深度をシミュレートすることで被写体を際立たせ、背景をぼかす。ただし、このシミュレーションをうまくやるのは難しく、誤りがあればすぐにわかってしまう。GoogleはPixel 3で、人工知能(AI)技術を利用して不具合を修正した。
これをうまくやるには、AIを訓練するための写真が何枚か必要だった。そこで、5台のスマートフォンを寄せ集め、5台のカメラでわずかに異なる角度から同じ写真を撮影した。これらの角度のわずかな違いによって、コンピュータはシーン内の各部分がカメラからどれほど離れているかを判断し、背景のぼかし具合いを決める「深度マップ」を生成できた。
研究者のRahul Garg氏とプログラマーのNeal Wadhwa氏は、米国時間11月29日にGoogleの公式ブログで次のように述べた。「われわれは、5台のPixel 3を寄せ集めた自作の『フランケンフォン』とWi-Fiベースのソリューションを開発した。そのおかげで、すべてのスマートフォンから同時に写真を撮影できた」
このテクニックは、新たな画像処理ソフトウェアとハードウェアが写真撮影の技術をいかに大きく変えるかを示している。スマートフォンが備える小型の画像センサは、画質の点で従来のカメラに太刀打ちできないが、Googleは、背景のぼかし、解像度の向上、露出補正、影の細部の改善、暗所での写真撮影などが可能なコンピュテーショナルフォトグラフィの手法で他社より一歩抜きんでている。
人間は、2つの目がわずかに離れているために深度を判断できる。つまり、2つの目でわずかに異なる風景を見ているということだ。この違いは視差と呼ばれる。Appleは2016年に発売した「iPhone 7」で初めてポートレートモードに対応した際、2つの背面カメラの間の視差を利用した。
GoogleのPixel 3は背面カメラが1つしかないが、機械学習などを利用して深度情報を判断している。
この記事は海外CBS Interactive発の記事を朝日インタラクティブが日本向けに編集したものです。
CNET Japanの記事を毎朝メールでまとめ読み(無料)
ものづくりの革新と社会課題の解決
ニコンが描く「人と機械が共創する社会」
ZDNET×マイクロソフトが贈る特別企画
今、必要な戦略的セキュリティとガバナンス
「程よく明るい」照明がオフィスにもたらす
業務生産性の向上への意外な効果