未踏IT人材発掘・育成事業（ユース）：2010年度採択プロジェクト概要（鈴木PJ）

1．担当プロジェクトマネージャー

後藤真孝（産業技術総合研究所　情報技術研究部門　メディアインタラクション研究グループ長）

2．採択者氏名

チーフクリエータ
鈴木　孝輔（東京大学大学院）
コクリエータ
なし

3．採択金額

1,792,000円

4．テーマ名

音響入力に対する自動伴奏システムの開発

5．関連Webサイト

なし

6．申請テーマ概要

本プロジェクトは、音響入力に対する自動伴奏システムの実現を目標とする。このシステムは巨大な合奏曲の演奏者の練習を手軽に行えるようにするものである。

協奏曲・交響曲などの巨大な合奏曲において、演奏者はそのパート毎に個人練習を行うのが常である。しかし、ソロパートのみの練習は演奏本番に即しておらず、有用性と臨場感を共に欠いている。従って、どんな楽器の演奏者であっても、合奏曲本番の演奏を聴きながらソロパートの練習を行いたいと考えるのは自然であろう。一方、伴奏付きの練習を毎回行うことは、全ての楽器パートの演奏者を集めて行わねばならず、到底実現し得るものではない。また、単純に一つの楽器パートを消去した伴奏パートを背景に再生しながら行う練習も考えられるが、練習中の発展途上にある演奏者が常にこの録音データを追従することはほぼ不可能であり、有益な練習からは程遠いだろう。

本プロジェクトでは、このような既存の練習に対しての演奏者の「我儘」に答えを与えたい。本プロジェクトで提案する答えとは、あらゆる楽器の演奏者に対して現在の演奏位置を推定・予測し、適切な伴奏データを再生するシステムである。

具体的に行うことは、

楽器からの適切な音響特徴量の選択とその抽出
演奏者の演奏のテンポ揺らぎ・誤りのモデル化
録音データからの1パート音消去
伴奏データのテンポ制御
オーディオ入出力デバイスのリアルタイム制御
上記システムの連結と手軽に実行可能なユーザインタフェースなどの開発である。

本プロジェクトにより、あらゆる合奏曲演奏者が満足できる練習を行えるようになり、従来練習より効率的に上達していくことができるようになることを期待している。

7．採択理由

演奏者が楽器演奏音を音響信号でリアルタイムに入力し、それに追従して、自動伴奏音を再生するシステムの提案である。伴奏音の音響信号は、協奏曲・交響曲などの既存の楽曲の音響信号から、その楽譜データを補助的に用いることで生成する。さらに演奏者に追従したテンポ変化も加えることができる特長を持つ。これまでにも自動伴奏システムは数多く開発されたが、実用化にはなかなか至っていない。しかし本提案では、プラットフォームに依存しないプログラミング言語で実装し、フリーソフトとして公開することで様々な人々に幅広く使用してもらうことをゴールにしており、是非達成して欲しい。

鈴木君は、ピアノが趣味なだけでなく、学部時代は物理工学科に所属して物理系分野が得意だったのに、どうしても音楽音響信号処理がしたくて修士課程から専門分野を変えた強い意欲を持っている。提案した自動伴奏を実現して広めていく上では様々な困難が予想されるが、それらを乗り越えて成果を出していけることが期待できる。計画を前倒しして迅速にプロトタイプシステムを構築して公開し、ユーザの人達にどういう風にすれば広く使ってもらえるかを是非探求してもらいたい。公開後の根気強い改善や機能追加でユーザを増やす展開を引き起こせるかどうかは大きな挑戦であり、鈴木君の活躍が楽しみである。