まだ語られていないiPhoneの謎--アップル、フィル・シラー氏が明かす“秘伝のタレ”

　プライベートでも、ビジネスでも、コンピューターデバイスは生活を豊かにし、効率を高め、高い利便性を提供してくれる。もはや生活基盤のひとつと言えるが、それだけに製品開発は機能や性能以上に、スペックには顕れない感性に訴えかける要素が重要なのかもしれない。

　感性に訴えかける要素とは何か。同じような定番料理でも、AではなくいつもBの店をいつも選んでしまう、そのBの店が持つ“秘伝のタレ”のようなものだ。

　PCにしろ、スマートフォンにしろ、半導体やディスプレイ、ソフトウェアなどの技術が進歩したことで、大多数の人が満足できる機能や性能を実現している。そうした中で、AではなくBにする理由は何なのか？

アップル ワールドワイドマーケティング担当シニアバイスプレジデント、フィリップ・シラー（通称：フィル・シラー）氏

iPhoneカメラにフィルター処理--積み重ねてきたノウハウ

　PCやスマートフォンの機能の大多数は技術的な裏付けを元につくられているため、他よりも優れているなら“新機能”として、開発したメーカー側から語られることがほとんどだ。すなわち、秘伝のタレを持つことはほとんどないし、あったとしても、その存在について喧伝することが多い。しかし、アップルは数多くの秘伝のタレを、詳しくは明らかにしないまま製品に盛り込んでいるようだ。

　自身もカメラ好きというアップル ワールドワイドマーケティング担当シニアバイスプレジデント、フィリップ・シラー（通称：フィル・シラー）氏と、iPhone内蔵カメラについて話をしているとき、彼はそれまで知られていなかったiPhoneカメラに、適応的にフィルター処理が行われていることを明かした。

　「アップルは、これまで世界中の一流フォトグラファーたちが光学フィルターを使い、どのように“より美しい写真”を表現してきたかを数年にわたって研究してきた」とシラー氏は話す。そうした研究を続け、現実にある光学フィルターの組み合わせを演算でシミュレーションしているというのだ。

　たとえば“森”あるいは“海”“人物”といった被写体を、立体的かつ美しい色彩描くために、どのようなフィルターの組み合わせをしてきたか。そこには過去に積み重ねられてきたノウハウがある。

　空の色はこの青がきれいに見える、緑はこの色が活き活きとして見える、海はこの色が気持ちいい──といった、画一的で幻想的な絵作りを行うのではなく、イメージセンサーが捕らえた画像を基礎として味付けをする。

　「肉眼で見たイメージそのままの自然な描写が基本で、そこからは決して踏み外さない。そこに撮影者のクリエイティビティを加えることで、心に深く刺さる写真を撮るための“表現力”を引き出せるよう、世界でもっとも優れたカメラ用フィルターを開発した」とシラー氏は胸を張る。

　iPhoneのユーザーが、そのフィルターの存在を意識することはない。撮影された写真を適切に分析し、被写体の領域ごとに適切なフィルターが適用されるからだ。ユーザーはレリーズするだけで、隠された写真用フィルターの恩恵を受けられる。

シラー氏は、発表イベントでiPhone XS、iPhone XS Max、iPhone XRを披露した

一流フォトグラファーのライティングを学習

　2018年に発表されたiPhone（XS/XS Max/XR）に搭載されたA12 Bionicは、通常の演算処理を担うCPUコアも性能、省電力性ともに強化されているが、もっとも力が入れられたのは、“Neural Engine”と呼ばれるニューラルネットワーク処理に特化した処理コアである。

A12 Bionic

　Neural Engine、グラフィクスやメディア処理に使われるGPU、それにカメラのイメージ処理や制御を行うISP（Image Signal Processor）の3つに多くのリソースが割り当てられたほか、Neural EngineとISPを内部で密接に結合することで、相互に連携した映像処理を実現した。

　製品発表時に明らかになったSmart HDR（露出が異なる2つのセンサーデータを元に広ダイナミックレンジの写真を自動生成する機能）や、撮影した失敗フレームと思われる場合、前後のフレームから適切な写真を選択して記録する機能などは、いずれもこれらの改良からもたらされていた。

　前景と背景を分離し、被写体となる人物の形状を立体として復元した上でライティングを行う、いわゆる“ポートレートモード”も同種のものと言えるだろう。もっとも、どのようにライティングするかについて、機械学習モデルを開発して一流フォトグラファーのライティングを学習させていたことは、シラー氏から聞くまで知らなかったのだが、いずれも、ユーザーが「知っておくことでより良い撮影ができる」タイプの機能だ。