１．担当ＰＭ

   北野　宏明　（株式会社ソニーコンピュータサイエンス研究所　取締役副所長）

２．採択者氏名

３．プロジェクト管理組織

　 財団法人 国際メディア研究財団

４．委託金支払額

　 10,000,000 円

５．テーマ名

　 Monalisa-"音を見、画像を聞く"ソフトウェア

６．関連Webサイト

　　http://monalisa-au.org/plog/

７．テーマ概要

　Monalisaは"音を見，画像を聞く"ソフトウェアである．
　Monalisaは音を画像へ，画像を音へとその構造を保ったまま変換するエンジンを持つ．そして，その変換の過程もしくは結果に対して，音処理用プラグイン/画像処理用プラグインを使ったリアルタイムなエフェクト処理を行うことが出来る．その際に，Monalisaでは，音は音，画像は画像といった専用のプラグインで処理する必要はない．Monalisaではプラグイン・ホスト機能により画像を音処理用プラグインで処理することも，音を画像処理用プラグインで処理することも可能である．例えば，画像にディレイをかけて，その画像を重ねあわせたり，音にグレイスケール処理をして，音を平坦にすることができる．このように，Monalisaでは，画像・音の相互変換を行うエンジンによって，ユーザーは画像と音の両者の違いを意識することなくリアルタイムなエフェクト処理を行うことができる．
　また，Monalisaの機能を備えた，音処理用プラグイン/画像処理用プラグインも提供する．これにより他のプラグイン対応ソフトウェアにて，Monalisaのプラグイン・ホスト機能を使う事が出来る．これらのプラグインは，”音用のアプリケーションで画像用プラグインによる処理ができたら”，”画像用のアプリケーションで音用のプラグインによる処理ができたら”，そんな"もしも"を提供する．
　現在は画像から音への変換エンジンと，音のリアルタイムなエフェクト処理が実装済みであり，ベータ版をwebにて公開中である．未踏開発期間では，音から画像への変換エンジン，画像のリアルタイムなエフェクト処理，およびMonalisaの機能を他のプラグイン対応ソフトウェアで使用できる音処理用プラグイン/画像処理用プラグインを開発する。

８．採択理由

　 画像と音を相互変換するソフトウエアの開発である。現在の提案のままで、どれだけ一般的な普及になるかは不明であるが、その筋の人間にとっては、非常に面白いものになるであろう。今後の課題は、そのシステムが、どれだけ一般的ユーザやＭＩＤＩユーザなどの利用が可能な加工が可能になるかという点にある。この点は、ＰＭとの議論で、十分修正可能であると考える。ＭＩＤＩや音楽・音響分野での新たな方法論を開拓する可能性の大きい提案である。提案者もこの分野に知識・経験があり、その点での不安はない。

９．開発目標

　本プロジェクトでは画像と音を相互変換するソフトウエアであるMonalisaを開発する．このソフトウェアは，画像と音を相互変換し，そのプロセスと結果を見て聴かせる作品であると同時に，画像を音として，また，音を画像として取り扱うことで，アートやデザインの現場に，表現のための新たな素材と手法を提供するツールでもある．

　これまでに幾人かのアーティストの手によって，画像と音とを相互変換し，その変換のプロセスや結果を作品として示すということが行われている．Laurie Andersonは，カメラからの映像信号を音声信号へと変調し，音として保存し，再生時にその音声情報から映像を再構成するというシステムであるSLOW SCANを利用したパフォーマンスを行っている[1]．また，Gebhard SENGMULLERは，映像を音声に変調しアナログレコードに記録し，展示会場に訪れた人々が任意のレコードを選択して，音ではなく映像を再生するVinylVideo[2]という作品を発表している．Monalisaもこれらの作品と同様に，画像を音に，そして音を画像に変換するプロセスとその結果，をその使い手に示し，Monalisaの使い手は，画像を聴き，音を見ることになる．

　一方，アートやデザインの現場では，CPUの高速化や，メモリー容量の増加，HDD容量の増加により，それまで高価な機材や広大な作業スペースが必要であったさまざまな作業を，コンピュータ上で行うようになっている．特に，画像や音に関してはそのデータ化が容易であることから，ほぼ全ての作業がコンピュータの内部でソフトウェアを利用して行われている．これらのソフトウェアは，プラグインと呼ばれるプログラムを追加することで，表現手法を拡張することができるようになっており，現在有償，無償を問わず，数多くの画像用，音用のプラグインが開発されている．データ化された画像や音というのは，全て数字列の集まりであり，その数自体を素材として捉えると，画像を音として取り扱うことや，音を画像として取り扱う，ということを考えることできる．また，画像用のプラグインも音用のプラグインも，デジタル化されたデータに対して一定の処理を行いその結果を返すという点で，本質的に同じ表現手法であると言える．しかし，アートやデザインの現場で使われている既存のツールの多くは，素材としての数字列に着目することも，表現手法としての類似性に着目することもなく，画像と音とをあくまで別個のものとして取り扱っている．Monalisaは，画像データと音データを相互に変換する機能により，アートやデザインの現場に，画像素材としての音，音素材としての画像を提供し，そして，画像を音用のプラグインで処理し，音を画像用のプラグインで処理する，という手法をもたらす．

１０．進捗概要

　下記2点を除き，当初の計画通り開発を完了させることが出来た．

　・FxPlugへの対応
　当初の計画では，音データ処理用プラグインは，画像用のプラグイン規格であるImage Unitに対応した画像処理用ソフトウェアで使用できるようにする計画であった．しかし，ユーザ・インタフェース関連の制限があったため，実際の開発では，別の画像用のプラグイン規格であるFxPlugに対応した画像処理用ソフトウェアで使用できるようにした．Image Unitに対応したソフトウェアがおおむね静止画像データを対象としているのに対して，FxPlugに対応したソフトウェアは動画像データを扱っているため，結果として，当初予定していた静止画像データではなく，動画像データに対して，音用のプラグインであるAudio Unitを用いた処理を行うことが可能となった．

　・Motion Blur Unitの開発
　画像データ処理用プラグインMonalisaAudioUnitについては、ベータ版公開によりユーザーテストを実施し、Monalisa-Audio Unitの公開後，実施計画の範囲外ではあるが，ユーザーからの反応を受けて，Image Unitの一つであるMotion Blurだけを利用する画像データ処理用プラグインである Motion Blur Unitを作成・公開した．このプラグインでは，一つの機能に特化させることで，様々な使い勝手を改良している．

１１．成果

　画像データと音データを相互変換するソフトウェア環境であるMonalisaの一部として，音データから画像データへの変換エンジン，画像データのリアルタイムなエフェクト処理機能である，音データ処理用プラグイン，画像データ処理用プラグインおよび，アプリケーションMonalisaを開発した．

　まず，既存機能の見直しを行い，画像データから音データへの変換エンジンと，音のリアルタイムなエフェクト処理機能の再実装を行った．音データから画像データへの変換エンジンを開発し，音データを画像データへとその構造を保ったまま変換する機能を実現した．画像データのリアルタイムなエフェクト処理機能を開発し，画像に対してリアルタイムに音処理用プラグイン/画像処理用プラグインを使ったリアルタイムなエフェクト処理を実現した．音処理用プラグイン Monalisa-FxPlug を開発し，プラグイン対応画像処理用ソフトウェアでの音処理用プラグインの使用を可能にした．画像データ処理用プラグイン Monalisa-Audio Unit および Motion Blur Unitを開発し，プラグイン対応音処理用ソフトウェアでの画像処理用プラグインの使用を可能にした．既存の音処理用ソフトウェア上で動作するプラグインという形式としては，世界で初めてGPU（Graphics Processing Unit）を利用した音データの処理を実現した．上記全機能を備えたアプリケーション Monalisa を開発した．

１２．プロジェクト評価

　音声と画像処理の融合に関するCreativeツールからのアプローチであり、非常に斬新な発想である。ターゲットが明確であり、おおむね順調に進展した。既に、このプロジェクトから生み出されたツールが評判となっているなど、実質的なインパクトも出ており、高く評価できる。
　本プロジェクトは、IPAでのプロジェクトとしては一応の完結となるが、積み残しの開発項目などが完了すれば、これを基盤として新たな発想のプロジェクトも構想できるであろう。

１３．今後の課題

　現在，画像データ処理用プラグインであるMonalisa-Audio UnitとMotion Blur Unitを開発成果公開webサイトにて公開中である．2005年度末の公開時から現在までに国内外から735件のダウンロードがあった．公開したプラグインは各種ウェブサイトや雑誌メディアなどにも取り上げられており，既存のツールに不満を持つアーティストたちからは好意的に受け止められているようである．現在の実装では，
ノイズ的な効果が出やすいが，今後，パラメータ設定の調節や変換エンジンの改良を通じて，より音として聴く，という点に重きを置く予定である．また，Motion Blur Unit同様に特定の処理に特化したプラグインのリリースも検討中である．

　音データ処理用プラグインであるMonalisa-FxPlugに関しては，インターフェイスの操作性向上のために現在最終的なユーザ・テストを行うべく準備している段階である．本プラグインは，これまでのプラグインではなしえなかった画像処理ができるという点，また動画像データに対応しているという点から，映像制作の現場にかなりのインパクトを与えることになると考えられる．処理の高速化，インターフェイスの改良ともに，技術的目処はたっており早期のリリースを目指して，現在開発進行中である．

　アプリケーションMonalisaに関しては，作品としての側面を示すため，展示会形式での公開を予定している．現在の実装は最低限の機能しか持たないが，今後追加機能を検討し時期をみて一般にも公開したいと考えている．また，本来Monalisa-Audio UnitとMonalisa-FxPlugの開発成果から得た知見も随時アプリケーションに反映していく予定である．また，画像と音との変換エンジンに関しても，幾つか検討したいアイデアがある．本アプリケーションに関しては，プロジェクト終了後も開発を継続し，画像データと音データを相互変換するソフトウェア環境であるMonalisaの一層の充実を図る予定である．

　現在，日本製のアプリケーションで海外でも使用されているものというのはさほど多くはない．特に，画像処理・音処理用のアプリケーションに関してはほとんど無い，というのが現状である．このような状況を改善するための一助になれば，と考え，現在，無料のレクチャーを行っている．このレクチャーは，Cocoaを使ったAudio/Image処理 "超"入門 という名のもと，本プロジェクトで得た画像処理，音処理に関する技術的な内容を教える，というものである．20名程度の定員を設けたが，募集告知後，すぐに定員に達するという予想外の反響があった．この反響は，本プロジェクトに対する注目の高さを示している，とも考えられる．このレクチャーは，未踏プロジェクトで得た成果を社会に還元していくという点からも，今後継続していく予定である．