１．採択者氏名

２．担当プロジェクト管理組織

　リトルスタジオインク（株）

３．委託支払金額

　2,992,000円

４．テーマ名

　3次元インタフェースを用いた音楽プログラミング環境の開発

５．関連Webサイトへのリンク

　http://www.sonasphere.com/

６．テーマ概要

　本プロジェクトでは，3次元インタフェースに基づく新しい音楽プログラミング環境，映像パフォーマンスシステムの実現を目指す．

　このシステムは，オーディオ・ファイルやオシレータ，エフェクタなどを一つの単位として，3次元空間上に物体として表現することで，演奏者の直感的なリアルタイム操作を実現する．また，制御構造や音声信号の流れをビジュアルとして聴衆に提示することによって，音楽のパフォーマンスに，音以外の新しい「意味」を付加する．

　具体的には，物理法則が支配する仮想的な3次元空間を仮定し，その中でエフェクタ，ミキサなどの機能モジュールのネットワークを組み上げるようなシステム構成とする．ネットワークの各ノードの3次元空間内の位置は，そのノードの持つ機能／パラメータに関係づけられる．

　現段階で下地となる3次元インタフェースの部分ができあがっている．今回の未踏ユースの開発期間では，よりプログラミングに近い部分，つまり手続きをどのように3次元上に構成・表示するかという部分に取り組む．ビジュアル・インタフェースを利用することによって，一般の音楽ソフトウェアユーザでも，簡単に面白い音響効果をプログラムできるようしたいと考えている．

７．採択理由

　どうもPMはこの手の話にはすぐ乗ってしまう性格なのだが，この提案は非常にしっかりとした感性と技術に裏付けられており，PMの言い訳はまったく不要．徳井君は間違いなく「クリエータ」である．その上でのさらなる要求ということになるが，目標に掲げている「人工生命・複雑系の音楽への応用」と「身体性を使った音楽表現」については，さらなるアイデアを絞り出してほしい．プレゼンでは「逆身体性による身体性」みたいなことも言っていたけれど，芸術と工学の融合の中での新しい創造には型枠はない．音楽作品だけでなく，音楽創造の哲学にも新しい楔を打ち込んでほしい．

８．成果概要（中間報告時）

　本プロジェクトで開発するソフトウェアは，コンピュータを使った音楽のライブ演奏，および楽曲制作を行なうユーザを対象とする．具体的には，オーディオファイルやオシレータ，エフェクタなどをユニットとして，3次元空間上にオブジェクトとして表現することで，演奏者の直感的なリアルタイム操作とビジュアル的なプログラミングを可能にする．

　オブジェクトには電荷と質量がある．オブジェクトは物理法則が支配する仮想的な3次元空間の中でネットワークを組み上げる．ネットワークの各ノードの3次元空間内の位置は，そのノードの持つ機能／パラメータに関係づけられる．ネットワークのリンクは音の経路であり，それにさまさまな「物理的な作用」(たとえば，バネ定数) が加わる (徳井 図1)．

　オブジェクトの電荷，リンクのバネ係数，3次元空間の物理パラメータなどのほかに，ユーザのジェスチャを記録して，繰り返し再生する例示プログラミングの機能を付け加えた．ユーザのジェスチャを組み合わせて使うことで時間軸に沿った大まかな制御が可能になった．また，パラメータの設定によって記録したジェスチャにどの程度厳密に従うかを設定できるため，ジェスチャと他のオブジェクトや物理空間の仮想的な力との相互作用によってより豊かな変化が生まれる．

　実装は，音楽ユーザに根強い支持基盤を持つApple ComputerのOS X上で行なった．OS Xの標準的なAPI，プログラミング言語であるCocoaとObjective-Cを用いている．3D グラフィックに関してはOpenGLを利用した．

　オーディオは，OS Xで新たに採用されたCore-Audioアーキテクチャに準拠した．Core Audioアーキテクチャは，OS Xレベルでサポートされたオーディオ環境の総称である．音響処理はAUGraphAPIを用いたAudio Unitのネットワークで実装した．すなわち，3次元空間上に球で表された各オブジェクトとAudio Unitとが，一対一対応している．同様にオブジェクト間の接続は，Audio Unit間の接続，すなわちAUGraphの一つのパスに相当する．加えて，Audio Unitを単位オブジェクトとして使うことで，以下のようなメリットを享受することができた．

(1) OS標準のプラグインインタフェースを利用することで，第三者が製作したプラグインをそのままシステム内で利用することが可能になる．

(2) 厳密な規格が定められているので，互換性を保ちつつ新しいオブジェクトを実装することが容易である．
　中間報告時（11月末時点），Webサイトhttp://www．sonasphere．com/において，最新バージョンを公開するとともに，フォーラムを設置．ユーザからの意見を広く集め，問題点のあぶり出しに努めている．ここで浮かび上がった問題点のうち，一般にバグと呼ばれるような不具合に関しては，かなりの部分が修正された．

徳井 図1　SonaSphereの画面

９．ＰＭコメント（中間報告時）

　徳井君はれっきとした博士課程の学生だが，本質はアーティストである．ここでつくられているシステム (未踏では明言されていないようだが名前はSonaSphere) は，音楽家の演奏および作曲のための基本ツールである．PMの理解の範囲では，これは一種の「知的楽器」であって，音楽家の意図を反映しつつも，内在する独自のロジック (ここでは仮想物理学) の展開によって創発的な音楽を生み出す仕掛けである．

　PMはNTT研究所時代に，そばにいた「隠れ音楽研究者」たちに「正々堂々と音楽創造を研究テーマにしなさい」と言って，ハッパをかけて支援したことがあった．その縁もあって，このような世界の情報にほんの少し触れたことがある．この種の知的楽器を生み出すことは，コンピュータ音楽の大きなトピックである．それらを見てPMは，システムをつくるための理論武装と，音楽として出てきたものに対する感性の間にある一種のギャップをどう埋めるかが最大の問題だという印象をもった．最初は「面白い」と受け取られるのだが，音楽作品として持続したファンを勝ち取ることはそうたやすいことではない．

　徳井君のシステムは，クラシック系にはあまり受けがよくなくて，ポップ系には受けがいいらしい．それは徳井君の持っている感性がそうだからなのかなぁと思う．PMも彼のシステムから出る音を聞いてそう思った．しかし，徳井君のもっている感性が，一見理論武装のいかつい (物理学!) システムにそのまま反映されているところのほうが興味深い．その意味で，そのシステム自体が徳井君の「作品」になっているということだ．

　とはいえ，PMはまだ簡単なデモしか聞いておらず，このシステムならではという本当に説得力のある演奏を聞かせてもらっていない．後期にはぜひ聞かせてほしい．

　徳井君がこれを実際にライブパフォーマンスに使った後のアンケート調査 (9月22日渋谷UPLINK FACTORYにて) によれば，22人中17人が「画面の投影によってパフォーマンスへの理解が深まった」と答えたという．音と映像がリンクしたライブパフォーマンスソフトウェアとしては十分成果が上がったということだろう．ただ，PMもちょっと感じたように，画面上の実際の細かい操作が出てくる音楽とどのような意味的関係があるかがわかりにくいという意見が多かったという．これについても説得力のあるデモを見せられるようにしてほしい．「乱数楽器」になってしまってはあまり面白くなくなる．

１０．成果概要（終了時）

　すでにかなりの完成度に達しており，地道な機能強化が続いたということなので，後期になって特別なことというのは特にない．むしろいろいろなパフォーマンスを通して，ユーザとの交信を深め，システムのリファインが進んだということが最大の眼目であろう．

　当初の予定とは若干方向性の変化があり，ライブパフォーマンスよりは，音楽制作の道具としての色合いを濃くする機能追加を行なった．中でもオーディオファイルの書き出し (AIFF形式，44．1KHz 16bit) の機能を追加したことは特筆される．これは他の一般的な音楽ソフトウェアでそのまま使用することができる．これによって，元となるオーディオファイルにSonaSphereでエフェクトをかけてファイルに吐き出し，それをシーケンサソフトなどにインポートして曲を構成するといった使い方が自由にできるようになった．

　プログラミング機能として，オブジェクトの電荷，リンクのバネ係数，三次元空間の物理パラメータなどのほかに，ユーザのジェスチャを記録して，繰り返し再生する例示プログラミングの機能を付け加えた．ユーザのジェスチャを組みあせて使うことで時間軸に沿った大まかな制御が可能になった．また，パラメータの設定によって記録したジェスチャにどの程度厳密に従うかを設定できるため，ジェスチャと他のオブジェクトや物理空間の仮想的な力との相互作用によってより豊かな変化が生まれるようになった．

　ビジュアルな効果を増す改良も行なった．たとえば，オブジェクトの軌跡を薄く表示することによってよりオブジェクトの動きにダイナミック感を与えた．また，仮想空間の壁にオブジェクトがぶつかった際の視覚効果として，衝突位置から波面が広がるようなグラフィックスを実装した．これによって，より豊かな視覚表現が可能になった．一方，OpenGLのディスプレイリスト機能を使うことで，ビジュアル表現の質を向上させつつパフォーマンスも同時に向上させることに成功した．徳井 図2と徳井 図1を比較するとよい．

徳井 図2　作成したシステムのスクリーンショット

　メディア，たとえば米Electronic Musician誌から "A live performance tool that offers one of the most interesting musical 3-D-graphic interfaces．"という評価をもらった．また，有名なアーティストUAの作品にこのシステムが使われることになった．

１１．ＰＭ評価とコメント（終了時）

　徳井君の弁によれば，SonaSpereのコンセプトは

　・演奏行為と演奏プロセスの視覚化
　・自由度の向上
　・生成的なインタラクションの実現

である．

　徳井君には，3D空間の中でオブジェクトの動きと音の変化の関連，音源がエフェクタを通してどう変わるのか，全体として，SonaSphereを使うユーザがどの程度自分の制作意図で音をコントロールできるのか，逆にどの程度コントロールできないのか? (これが生成的インタラクションのココロ) といったことのよくわかるデモのお願いをしていた．

　最終報告会でそれらのデモを楽しみにしていたのであるが，マーフィーの法則がやたらとよく当たったということがあったにせよ，少々残念なプレゼンになってしまった．この種のプロジェクトはまさに百見は一聴にしかずであり，いくら文章や図で説明されても，実際の音，音楽を聞いてすべてがわかってしまうところがある．徳井君はライブ演奏会ではもはや人気のアーティストになっているふうなのだが，ソフトウェア作品として説明しないといけないところは少々苦手なのだろうか? もう少しプレゼンの準備を周到にしてもらいたかったと思う．実際に徳井くんを目当てにピンポイントで報告会を聞きに来た若い学生諸君もいたので，なおさら残念だった．

　そういう愚痴はともかく，彼はSonaSphereでこの業界で国際的に確固たる名声を勝ち得ている．これは大変なことだと思う．出てくる音は一種の環境音楽的なもので，一種独特の包まれ感をもたらす．クラシックには合わないが，ポップス系にはドンピシャだと思う．報告会では，機能を単独で浮び上がらせるデモがあまりうまくなかったので，作品そのものを流してもらうようにお願いしたが，自分の作品を聴くのは好きじゃないという不思議な発言をしていた．徳井君の人柄なのだろうか．でも聴くとなかなかよかった．

　いずれにせよ，このシステムは

　http://www.sonasphere.com/

で公開されているので，プレゼンで納得することを求めるよりは，それをダウンロードして自分でいろいろ音を出して遊ぶことのほうが合っている．下手に説明が十分なよりもそのほうがユーザの創作意志をくすぐるかもしれない．徳井君の言う通り，まさに「3次元空間で音を作る・音と遊ぶソフトウェア」である．

★★ 準スーパークリエータ: 徳井君はどう見てもスーパークリエータだが，プロジェクト期間で得られたものの差分がちょっと不明確だったのと，最終報告会でのプレゼンがこの種の仕事人としてはイマイチだったので準．