目線追跡機能のあるヘッドマウントディスプレイ「FOVE」を開発するFOVEが、同機能を使って手や腕を使わずに目線だけでピアノを演奏できるシステム「Eye Play the Piano」を開発。12月18日に、肢体不自由児を対象とする筑波大学附属桐が丘特別支援学校で初披露した。駐日米国大使のキャロライン・ケネディ氏も会場を訪れ、同システムを使ったピアノ演奏を見守った。
同システムは、手で弾くことを前提としたピアノ鍵盤の配列を「目線」で弾くことに適したインターフェースに再構築したもの。FOVEを着用し、目の前に映し出される「音」のパネルに目線をあわせてまばたきをすると、MIDI信号が送られて、接続されたピアノからその音が鳴る。また、頭を下に傾ける動作がピアノのペダルの役目を果たし、音を伸ばすことができる。単音モードと和音(コード)モードがあり、幅広い演奏が可能となっている。
当日は同校終業式後のクリスマスコンサートで、同校高等部2年の沼尻光太さん(16歳)がEye Play the Pianoを使用してピアノを演奏した。この日までに約4カ月間、目線を使った演奏の練習をしたそうだ。途中、照明の関係でまばたきをしなくても音が鳴ってしまうなどのハプニングもあったが、動きを再調整し、「もろびとこぞりて」「きよしこの夜」を見事に演奏しきった。
沼尻さんは同システムの開発にも携わっており、視線を使った操作のUIなどに多くの意見が取り入れられているという。
「演奏で一番難しかったのは、まばたき。普段意識をしてまばたきをすることはないので、リズムをとりながらまばたきをすることは練習が必要だった。楽器を演奏する以外にも、作曲ができたり、ゲームができたりしたら面白い。また障がい者に関していうと、自分がその時に欲しいものを指し示したりできる、日常的に使うツールとしても使える可能性があると思う」(沼尻さん)。
FOVE代表取締役の小島由香氏は、「身体を自由に動かせない人が、ピアノを弾いたり、絵を描いたりできるようなきっかけになりたいと思っていたが、一方で実際にできるのか不安にも思っていた。今日の演奏を見て、それを現実のものにできるという自信を持って頑張っていきたいと思わされた」と語った。沼尻さんの演奏中、ただ一人、祈るように手を合わせて演奏を見守っている姿が印象的だった。
同社では同日より、全国50校の特別支援学校にEye Play the Pianoを届けるため、ファンドレイジングサイト「JustGiving」で寄付を集めている。目標金額は150万円。1校1システムあたり製品価格5万円が必要で、FOVEが1校1システムあたり2万円分を負担するという。
FOVEは5月設立。小島氏はソニー・コンピュータエンタテインメント(SCE)で「PlayStation Vita」などのゲーム開発に携わった後、グリーで「探検ドリランド」のユニットリーダーなどを務めた。もともとバーチャルキャラクターとのコミュニケーションに興味があり、SCE時代に一度考えたアイデアをFOVEという形にしたという。今後、ギターやドラムなどを演奏できるアプリケーションの開発も検討しているそうだ。
◇7月のFOVE取材記事
日本発の新型ヘッドマウントディスプレイ「FOVE」、2015年初頭に「Kickstarter」へ
CNET Japanの記事を毎朝メールでまとめ読み(無料)
ものづくりの革新と社会課題の解決
ニコンが描く「人と機械が共創する社会」
ZDNET×マイクロソフトが贈る特別企画
今、必要な戦略的セキュリティとガバナンス