Googleが音楽の生成に人工知能(AI)を使うのは新しいことではなく、1月にはテキストから音楽を生成する「MusicLM」を発表していた。同社は今回さらにレベルアップし、AIを使って人間の脳を読み、脳の活動に基づいて音楽を生成することに取り組んでいる。
Googleや大阪大学などの研究者らは新たな研究論文「Brain2Music:Reconstructing Music from Human Brain Activity」の中で、AIを利用して、機能的磁気共鳴画像法(fMRI)のデータを通じて読み取られる脳の活動から音楽を再構成する方法を説明している。
研究者らは、ブルース、クラシック、カントリー、ディスコ、ヒップホップ、ジャズ、メタル、ポップス、レゲエ、ロックなど、さまざまな音楽ジャンルの15秒間の音源を聴いた被験者5人から収集したfMRIデータを調査した。
次に、このデータを使ってディープニューラルネットワークをトレーニングし、脳の活動パターンと、リズムや感情といった音楽のさまざまな要素との関係を学習させた。
トレーニングを終えたモデルは、MusicLMを使ってfMRIから音楽を再構成することができた。MusicLMは、テキストから音楽を生成するので、元の音楽刺激と意味レベルで類似した音楽を生成するように条件付けされた。
生成された音楽を調べてみると、ジャンル、楽器編成、ムードなどの特徴において、被験者が最初に聴いた音楽刺激に似ていた。
Brain2Musicの研究概要を掲載したウェブサイトでは、元の音楽刺激の音源数種類と、それぞれに対してMusicLMが生成し再構成した音楽を聴き比べることができる。
この記事は海外Red Ventures発の記事を朝日インタラクティブが日本向けに編集したものです。
CNET Japanの記事を毎朝メールでまとめ読み(無料)
ZDNET×マイクロソフトが贈る特別企画
今、必要な戦略的セキュリティとガバナンス
ものづくりの革新と社会課題の解決
ニコンが描く「人と機械が共創する社会」