無音のピアノ演奏ビデオから音楽を生成する「目コピ」AIピアニスト--手の動きを解析

　ワシントン大学の研究チームは、演奏するピアニストの手の動きを解析し、そのピアノで演奏されているであろう音楽を自動生成するシステム「Audeo」を開発した。

無音のピアノ演奏ビデオを解析（出典：ワシントン大学）

　Audeoは、ピアノの鍵盤を上から撮影した無音のビデオが与えられると、そのピアノを演奏する人の手の動きを捉え、どの鍵盤がどんなタイミングで押されているかを映像から解析する機械学習アルゴリズム。つまり、音の情報を与えられることなく、手の動きだけで演奏されている音楽を再現できるという。

　再現処理は、ビデオから押された鍵盤を解析し、解析済みデータをシンセサイザーに読み込ませて実行する。シンセサイザーで合成する音は、ピアノ以外の楽器の音にも変えられる。たとえば、ピアニストの演奏ビデオから、ギターや琴、トランペット、バイオリンなどで演奏したような音楽も生成可能だ。

ピアノ以外の音も合成可能（出典：ワシントン大学）

　今回の研究では、学習と生成実験の両方で同じピアニストのビデオを使った。将来は、学習させたピアニストと異なる人の演奏ビデオから演奏音を生成する研究も視野に入れている。