未踏IT人材発掘・育成事業：2025年度採択プロジェクト概要（真家PJ）

1．担当プロジェクトマネージャー

• 落合 陽一（メディアアーティスト/筑波大学 デジタルネイチャー開発研究センター センター長）

2．採択者氏名

• 真家 彩人（東京大学 工学部 システム創成学科知能社会システムコース）

3．採択金額

• 2,880,000円

4．プロジェクト名

• 共感覚に基づく視覚化によって直感的な音作りを可能にするシンセサイザー

5．関連Webサイト

• なし

6．申請プロジェクト概要

本プロジェクトでは、共感覚を深層生成モデルとしてモデル化し、それによって音色をテクスチャ画像として視覚化することで、直感的に音作りができるシンセサイザーを開発する。
シンセサイザーは豊かな音色を奏でられる一方、欲しい音色を実現する「音作り」は非直感的で難易度が高いという問題がある。従来の音作りの方法の一つは、プリセット音源から目的の音色を探すという方法である。しかし、プリセット名からどのような音色かを想像することは困難なため、検索性が低く、目的の音色を見つけるまでに時間がかかる。もう一つは、シンセサイザーのパラメータを直接編集するという方法である。しかし、膨大な数のパラメータそれぞれの効果が複雑な相互作用を及ぼしあうため、設定値と音色の関係を直感的に把握することは困難である。このように、シンセサイザーでの音作りでは時間と手間と熟練が必要とされてきた。
そこで本プロジェクトでは、共感覚を深層生成モデルとしてモデル化し、音色からテクスチャ画像を生成するように訓練を行う。そして共感覚モデルによる視覚化を利用した新しいインタフェースを持つシンセサイザーを開発することによって、直感的な音作りを可能にする。プリセットの選択では、視覚化によって音色の違いを一目で把握できるようにする。パラメータの編集では、設定値と音色の関係をテクスチャ画像のグラデーションとして表現することで、その効果を予測しやすくする。加えて、シンセサイザーパラメータの生成モデルを用いた反復的なパラメータ探索手法にグラデーションによる可視化を組み合わせることによって、さらに直感的な音作りを可能にする。演奏者がこのシンセサイザーを使用することで、自由自在に音色を探索し、シンセサイザーが秘める音色を最大限に活用できるようにする。

7．採択理由

音色の探索には聴覚という実時間メディアを使わざるを得ず、視覚の即時性・俯瞰性を持つ画像表現とは常に非対称である。この音響と映像の間にある永遠の溝を埋めるべく、多くの研究が試みられてきたが、今日まで決定打となるインタフェースは現れていない。共感覚を深層生成モデルとして取り入れ、視覚化による直感的音作りを目指す本提案は、その長き課題に対し時代性を持って挑もうとしている。この課題に向き合う姿勢、計算機と音楽を融合させる情熱はまさに提案者のライフワークであり、大変魅力的である。提案者の未来を信じ、その成長を見届けたいと強く感じ、本提案を採択とした。