未踏IT人材発掘・育成事業：2019年度採択プロジェクト概要（久野PJ）

1．担当プロジェクトマネージャー

首藤一幸（東京工業大学情報理工学院准教授）

2．採択者氏名

久野文菜（中京大学大学院工学研究科情報工学専攻）

3．採択金額

2,304,000円

4．テーマ名

スペクトログラム生成による多重奏からの聴音支援システムの開発

5．関連Webサイト

なし

6．申請テーマ概要

ジャズではアドリブソロなどで弾かれている音符が楽譜に記入されていない場合が多く、演奏するにあたりミュージシャンの演奏している音を聴き取らなくてはいけない。しかしビッグバンドジャズのように演奏が複数種類の楽器で構成されている場合、自分の聴き取りたい楽器とそれ以外の楽器の音が混ざり、聴き取りがしにくいことが多々ある。そこで本プロジェクトでは、CDなどに収録されている多重奏の曲から、その曲を構成している複数楽器の音をそれぞれ抽出し、聴音（耳コピ—）を容易にするシステムを開発する。
本システムで用いる手法では、多重奏と、多重奏を構成している各楽器のスペクトログラムを画像として扱う。スペクトログラムとは音を短時間フーリエ変換することで得られる3次元グラフである。まず、多重奏と各楽器のスペクトログラム間の関係を機械学習によって導き、関係性モデルを作成する。次に、その関係性モデルを多重奏に適応することで、多重奏の中の各楽器のスペクトログラムを生成する。その後、生成した各スペクトログラムを逆フーリエ変換して音に戻すことで、多重奏から各楽器の音を生成する。これが多重奏から抽出した各楽器の音となる。本システムは、ユーザがスマートフォンに保存している曲に対して使用できるように、スマートフォンアプリとして実装することを想定する。

7．採択理由

主にビッグバンドジャズを対象として、楽曲を聞いて耳コピするために特定の楽器の演奏だけを抜き出すソフトを開発する。
音源分離の手法やソフトは競合が多い。しかしクリエータの目的・動機がとてもはっきりしているため、自分達、ひいては同じ苦労をしているプレーヤを救ってくれる可能性は高い。