ソニーG、センシング、AI、デジタル仮想空間に注力--技術交換会「STEF 2022」を社外初公開

　ソニーグループは、グループを横断した技術展示見学会である「Sony Technology Exchange Fair（STEF）」を公開した。「フィジカルとバーチャルがシームレスにつながる」をテーマに、「フィジカルの世界をとらえる」「デジタルプロセッシング」「フィジカルに還元する」という3つの軸で、17点の技術や取り組みをソニーグループ本社で展示したほか、特設ウェブサイトで紹介している。

社外初公開となった「Sony Technology Exchange Fair（STEF）」

　STEFは、1973年よりソニーグループ内で毎年開催されている社内技術交換会。2022年は開催50回目を機に技術展示の一部を社外に初公開した。フィジカルの世界をとらえるでは、VTuber等で手や指の滑らかな動きを実現する「深度情報を活用したソフトウェア開発キット『ToF AR』」「撮影・配信技術で新たなエンタテインメントを実現する『自動撮影システム、カメラロボット、Virtual Recording System』」「データを活用してアーティストを支援する『GROOVEFORCEとArtist Portal』」「災害や環境破壊を防ぎ、美しい地球を守る『ソニーの地球みまもりプラットフォーム』」「情動分析によりオーディエンスが求めるコンテンツ制作を支援する『映画コンテンツ評価システム VX -Viewing eXperience』」など、5つの技術を紹介。

　その中の、ソニーの地球みまもりプラットフォームは、地球上のあらゆる場所をセンシングし、異変の予兆を伝え、人々の行動変容を促すというもの。高度センシング、超低消費電力エッジAI技術、低軌道衛星を活用した超広域通信ネットワーク技術、AIによる予兆分析技術を組み合わせ、不都合な事態を察知して、アクションにつなげる。会場内では、超小型高ピークパルスレーザー技術、エッジAI技術と衛星ELTRES技術を展示しており、目には見えない大気中の粒子をセンシングすることで大気汚染や火災発生を検知したり、低軌道衛星を活用した超広域通信ネットワーク技術により、地球全域から情報を集められたりするという。

「ソニーの地球みまもりプラットフォーム」。超小型高ピークパルスレーザーとエッジAIデバイスを公開した

　現実空間やバーチャル空間から得られる大量のデータを学習、コンピューター処理することで、リアルとバーチャルをつなぐAIやシミュレーションに関する技術であるデジタルプロセッシングでは、「デジタル空間でリアルな体験を再現する『サージカルシミュレーター』」「現実世界を美しく再現する『Maprayデジタルツインプラットフォーム』」「AIで映像や音楽に命を吹き込む『ソニーの深層生成モデル』」「Gran Turismo Sophy- AIにおけるブレイクスルー AIによる新しいゲームとエンタテインメント体験の実現に向けて」「人とロボットたちのコミュニケーションを拡張する『自律型エンタテインメントロボット（aiboとpoiq）の協調』」の技術を披露した。

　自律型エンタテインメントロボット「aibo」と「poiq」の協調では、自宅内に複数のロボットが存在することが一般的になってきている現在、複数のロボットが相互作用して、人を癒し、楽しませるという近未来を表現。展示では、aiboとpoiqがタイミングをあわせて踊ったり、主人の結婚記念日をともに祝ったりするデモンストレーションを見せた。

「自律型エンタテインメントロボット（aiboとpoiq）の協調」。複数のaiboとpoiqがそろってダンスを披露した

　このような集団行動をとるには、複数のロボットのセンシングデータをクラウド上に集め、クラウドのAIが、協調して動くロボットのグループ形成やそれぞれのロボットの行動を提案することで実現するとのこと。理論上は何台のロボットでもグループ化でき、将来的には、車やお掃除ロボットと連携させるなどの動きも考えられるという。

　データを活用し、現実空間とバーチャル空間の両方でリアリティのある体験を再現可能にする、映像や音響、インタラクションに関する技術と位置づけるフィジカルに還元するでは、「PlayStation VR2の圧倒的没入感を支える『3Dセンシング技術』および『新しい描画技術』」「臨場感のあるスポーツ観戦体験を実現する『プレーを可視化するホークアイの技術とソニーの空間再現ディスプレイ』」「嗅覚にアプローチした新たな価値を創出する『嗅素を手軽に制御するTensor Valveテクノロジー』」「遠隔空間を目の前にリアルに再現する『3次元高画質化と低遅延伝送技術』」という4つの技術を説明した。

　プレーを可視化するホークアイの技術とソニーの空間再現ディスプレイでは、トラッキング技術と可視化技術の組み合わせにより、スポーツにおけるプラットフォームを構築。ファンエンゲージメントの実現につなげる考えだ。

　会場では、骨格情報を含めた選手の位置、ボールやバットなどの動きもトラッキングすることで、全てのプレーをデータ化する「SkeleTRACK」と、SkeleTRACKでキャプチャしたデータをもとに、バーチャル空間上でプレーを映像化する「HawkVISION」で再現したプレー映像を、空間再現ディスプレイで再生。目の前で試合が行われているような立体感ある視聴を体験できた。

「プレーを可視化するホークアイの技術とソニーの空間再現ディスプレイ」。発売済みの15.6インチサイズのほか、32インチディスプレイを参考展示していた

　同日には、ソニーグループ 執行役専務兼CTOの北野宏明氏が登壇し、研究開発方針説明会も開催。「我々の文明を進歩させ、惑星を持続可能にする」というソニーグループの研究開発ミッションを紹介したほか、センシング、AI、デジタル仮想空間の3つが中核を担う重要な技術領域と説明。「それら技術の連携により、ソニーをAIとデータドリブンカンパニーとして変革していく」と話した。