未踏IT人材発掘・育成事業（ユース）：2010年度採択プロジェクト概要（山本PJ）

1．担当プロジェクトマネージャー

後藤 真孝（産業技術総合研究所　情報技術研究部門　メディアインタラクション研究グループ長）

2．採択者氏名

• チーフクリエータ
  山本　祐介（慶應義塾大学大学院）

• コクリエータ
  なし

3．採択金額

• 1,792,000円

4．テーマ名

• カメラ画像による楽譜認識を用いた演奏メディアの提案

5．関連Webサイト

• http://2010.jukuin.keio.ac.jp/xi859170/

6．申請テーマ概要

本プロジェクトでは、カメラによる画像認識を用いて、紙楽譜をなぞったり、傾けたりすることで楽譜を直接演奏することができる演奏メディアシステム「onNote」の開発を行う。演奏メディアとは、例えば、レコードやCDのように記録された音楽を用いて演奏できるメディアのことである。楽譜は、記号という形で音楽が記録され、音楽の構造や存在を視覚的に把握することができる。「onNote」は、その楽譜を利用し、さらに紙の性質を用いて直感的に演奏することができるシステムである。

具体的に、本プロジェクトでは、自然特徴点検索法をベースとした、マーカレス楽譜認識方法を提案し、それを用いて楽譜の種類や位置姿勢を認識し、楽譜と音とを対応付けるシステムを開発する。また、システムを用いた演奏方法を提案し、それにあわせてシステムの拡張を行う。

本プロジェクトで開発する「onNote」は、紙楽譜と人との新しいインタラクションの枠組みを提案する。身近な紙楽譜をインターフェイスに用いたことで、様々な人が新たな形で音楽を創作することのできるプラットフォームとして価値があるものになると考えられる。

7．採択理由

MIDIファイルの音楽再生プレーヤにおける再生位置等の柔軟な制御のために、MIDIファイルと楽譜を事前に対応付け、紙に印刷されたその楽譜を手に持ったコンパクトな2次元カメラで部分撮影することで、楽譜上の様々な位置からの再生を可能にするシステムの提案である。単に撮影した楽譜上の位置に再生位置を変更するだけでなく、楽譜を動かして出力音を加工してコントロールしたり、ライト等を組み合わせて特殊な効果を得たりする点が興味深い。

山本君は、身近な紙を通してデジタル情報を扱いたいという発想から本提案を着想しており、人が何かを生み出すプラットフォームになるようなメディアを作りたいという思いから今回の提案に強い意欲を持っている。画像処理の精度向上等の技術的な課題だけでなく、カメラによるインタラクションでどこまで効果的な操作ができるか、紙の楽譜を使う必然性をどこまでアピールできるか、メディアアートではない一般的な貢献がどこまでできるか等の様々な困難な課題に取り組むことで、山本君が大きな飛躍を遂げてくれるのが楽しみである。