NEC、視線と姿勢で演奏する「アンドケストラ」--AI活用で誰でも弾ける楽器

　NECは、障害者や未経験者でも、視線や姿勢によって音楽を奏でることができるインクルーシブ楽器を開発。それらを使って演奏するオーケストラ「ANDCHESTRA（アンドケストラ）」を公開した。

ANDCHESTRA TRUMPETによる演奏の様子

ANDCHESTRA VIOLINを演奏している様子

　インクルーシブ楽器は、AIを活用して、簡単な動作で演奏できる楽器。障害者や楽譜を読めない人を含めて、誰でも演奏できるのが特徴だ。

　そして、ANDCHESTRAは、インクルーシブ楽器などを活用して、子供や大人、障害がある人でも、壁を越えて、一緒（AND）に楽器を奏でることができる、新たな関係性をもとにしたオーケストラと位置づけている。

　「ORCHESTRAの最初には、ORという文字が含まれているが、これをANDという文字に置き換えた造語がANDCHESTRA」（NEC IMC本部 シニアマネージャーの茂木崇氏）という。

NEC IMC本部 シニアマネージャーの茂木崇氏

　開発した楽器は、NECの最先端AI技術群「NEC the WISE」の1つである遠隔視線推定技術を活用して、視線の向きによって音を奏でる「ANDCHESTRA TRUMPET（アンドケストラ トランペット）」と、同じく姿勢推定技術を活用して、手の位置や角度などの姿勢を検知して音を奏でる「ANDCHESTRA VIOLINE（アンドケストラ バイオリン）」の2種類。

視線の向きによって音を奏でる「ANDCHESTRA TRUMPET（アンドケストラ トランペット）」と、姿勢推定技術を活用して、手の位置や角度などの姿勢を検知して音を奏でる「ANDCHESTRA VIOLINE（アンドケストラ バイオリン）」の2種類を用意

　ANDCHESTRA TRUMPETは、画面上に配置された音のアイコンに視線を送ることで音が鳴る仕組みで、ここで採用したNECの遠隔視線推定技術は、目頭や目尻、瞳などの目の周囲の特徴点位置を求め、白目の面積などを分析して、視線の向きを推定することができる。通常のカメラだけで、視線の方向を推定することができるため、これまでに、小売店舗において、来店客が棚やディスプレイのどこを見ているのかを分析し、マーケティングに生かすといった活用が行われている。

視線の向きによって音を奏でる「ANDCHESTRA TRUMPET」

ANDCHESTRA TRUMPETの仕組み

　ANDCHESTRA VIOLINEは、音ごとに定められた姿勢を取ることで、音が鳴る楽器だ。ここで採用した姿勢推定技術は、NECが今回新たに開発したもので、カメラで撮影した映像をもとに、低解像度でも安定して認識することができるほか、混雑環境においても誤検知を抑制して、人物の姿勢を高精度に推定することができるのが特徴だ。肩や肘などの間接点と、その間の中点を抽出し、間接点からは人体領域を推定。さらに、中点と人体領域から姿勢を推定することができる。車椅子の人でも利用できるように、ANDCHESTRA VIOLINEでは、上半身の右腕のポーズでドレミファソラシドの音が鳴る。左手を加えれば、ひとつ高い音階にするといったことができるなど、ポーズの定義は広げることができる。

ANDCHESTRA VIOLIN

ANDCHESTRA VIOLINEの仕組み

　なお、姿勢推定技術は、研究開発段階だというが、この技術を利用して、ゴルフスイングの修正やリハビリなどにも応用できるとした。

　いずれの楽器も、「練習演奏」、「自由演奏」、「課題演奏」のモードを用意。現時点では、トランペットとバイオリン以外の楽器の開発予定はないというが、「基本的には、カメラとAI技術によって実現するため、筐体はどんなインクルーシブ楽器に変えられる。スマホのなかに入れて、演奏することも技術的には可能だ」（茂木氏）としている。

ANDCHESTRA TRUMPETの正面に配置されたカメラ

NECの最先端AI技術は人の可能性を拡張する「いいやつ」

　NECでは、人とAIの協調の実現に向けて、これまでにもいくつかのプロジェクトに取り組んできた。

　2016年には、癒される動物や訪れてみたい観光地など、味の好みとは異なる質問をした回答結果から、15種類の「うまい棒」のなかで、回答者の好きな味を当てる「AI活用味覚予測サービス」を開発。2017年には「飲める文庫」の名称で、文学作品の1万件以上のレビューをもとに、読後感をコーヒーの味覚指標にあわせて、苦味、甘味、余韻、クリア感、飲み応えに変換。それをもとにしたブレンドコーヒーを喫茶店で提供した。2018年には、60年分の新聞の1面記事のデータをもとに、約13万8000語の単語から導きだされる、甘味、苦味、酸味、ナッツ感、フローラル、フルーティ、スパイシーの6つの味覚指標による、その「時代の味」にあわせたチョコレートを菓子メーカーとともに開発するといったユニークな取り組みを行ってきた経緯がある。

　今回の取り組みも、こうした「人とAIの協調」を実現するためのプロジェクトの一環で、味とは異なる新たな領域に踏み込んだものになる。

　この成果を事業化する計画はなく、「あくまでも実験的な取り組み」とするが、病院や介護施設などでのリハビリ活用への貸し出しや、音楽やパラスポーツを含む各種スポーツイベントへの出展を検討しているという。

　また、東京・三田にあるNEC本社ビル1階の「NEC Future Creation Hub」に、しばらく設置する予定だ。

　茂木氏は「AIと人がコラボレーションすることで、これまでにない楽器を実現できると考えた。人の姿勢や視線を活用し、誰でも演奏ができる楽器を通して、AIの力で、『できない』を『できる』に変える体験を提供することができる」とコメント。さらに、「新型コロナウイルスの感染拡大の時期に、この内容を発表することについてはぎりぎりまで何度も検討したが、インクルージョン＆ダイバーシティを実現する楽器によって、困難にみんなで立ち向かうことができるきっかけの1つになればと考えた。また、音楽のチカラが持つ偉大さを活用し、『現代版We are the World』のような役割を担うことも考えた。そして、この楽器が、AIとサイバー空間の入口を広げるという役割が果たせると考えて発表した」などと述べた。

　また、今回の楽器の開発には、障害者や世界ゆるミュージック協会が、「インクルーシブアドバイザー」として参画。そこから寄せられたポーズの定義や、インターフェースに関する意見を反映した。

　世界ゆるミュージック協会 代表の澤田智洋氏は、「楽器を演奏できないのは、人のせいではなく、楽器が難しいせいであるという考え方が、世界ゆるミュージック協会の基本的な考え方である。NECの技術を活用することで、楽器が人にあわせるといったこれまでない世界が実現できる。使う人を、誰も排除しない楽器が誕生した。また、非接触で楽器を奏でることができる点も、この時代には合っている。AIは人を排除する存在になるのではないかとも言われるが、NECの最先端AI技術群であるNEC the WISEは、『いいやつ』である。人の可能性を拡張することができる。楽器を弾けない新たなミュージシャンなど、新たな職業を生んだり、新たな社会や空気感を作りたい」とした。

世界ゆるミュージック協会 代表の澤田智洋氏