|
開発内容は以下に示す2つの手法よりなる．1つ目はZipfの法則を用いて音楽と絵画を対応づけたZiplayer、2つ目はZiplayerを発展させ、調和理論を用いて音楽と絵画の色彩を対応させたHarmonized Ziplayerである．開発したシステムの詳細は以下，各項目で説明を行なう．
4.1
Ziplayer
まず，音楽と絵画を融合する際の統計的特徴の1つとして，Zipf の法則[3]
に着目した．Zipfの法則は，もともとは文章中の単語の出現頻度と出現順位が冪乗則に従う現象であるが，同様の現象が音楽や絵画においても確認されている．たとえば，Zanette らは，音楽の音符の出現頻度と順位を解析し，ドビュッシーやモーツァルトなど調和のとれた音楽は冪乗則に従っており，シェーンベルグなど無調和音楽は従がわないことを報告している[4]．開発者は，絵画の色彩情報に着目して統計的解析を行い，印象派/後期印象派の画家がパレット上で使った色（パレットカラー）とその使用量がZipf の法則に従っていることを確認した[6]．このように，文章，音楽，絵画など異なる表現メディアにおいて，共通の統計的特徴としてZipf の法則が内在している．そこで，本プロジェクトではZipf の法則を一つの指標として用いて，絵画と音楽を融合させた新しい表現手法「Ziplayer」を開発した[8]．
4.1.1
Ziplayer の概要
ここでは，同じ印象派のドビュッシーの音楽(月の光) とヴァン・ゴッホの絵画(Starring Night) を
組み合わせる場合を例として，Ziplayer の基本的な利用例について説明する．
(1) 絵画の解析
• 1-1.
絵画の画像ファイルからパレットカラーを抽出する．（手法の詳細は[6] 参照, (図2(a))
• 1-2.
絵画をパレットカラー毎にレイヤーへ分割する(図2(b)).
(2) 音楽の解析
• 2-1.
音楽ファイル（MIDI 形式）からNoteOn/NoteOff.
イベントを抽出して音程毎の出現回数を取得し、各音程を出現回数の多い方から順に並び替える(図2(c))．
(3) 音程と色彩の割り当て
• 3-1.
音程とパレットカラーを，それぞれ出現回数の多い方から順に割り当てる．(図2(c))．
(4) 演奏
• 4-1.
音楽の進行に合わせて，各音符に対応したパレットカラーを絵画上に表示する．(図2(d))．
(a) Van Gogh
1890 “StarringNight”と絵画よりパレットカラーを抽出
一般にはパレットカラーは20 前後となり，音程よりも少なくなるため，適宜グループ化を行う．
(ｂ) 絵画をパレットカラーの各色をレイヤーに分ける
(c) 音程（ピッチ）の頻度/頻度順位の解析
(d) 音楽と絵画を同時に演奏
図2. 提案手法1:絵画と音楽を融合させたZiplayer プレイヤーの手順
4.1.2
Ziplayer の課題
Ziplayer を用いて，Van GoghのStarring Night(星月夜) とドビュッシーの「月の光」を組合わせた演奏を，20 代〜50 代の男女約30 人に体験してもらい，自由回答で意見を求めた．
「今までみたことない音楽と絵画の組み合わせが面白い」「新しい絵画（音楽）の鑑賞法」といった肯定的な意見がある一方．「全体的にやや変化に乏しく，長時間見ていると退屈である」．「次々と色がフラッシュするので目がチカチカする」，また「音程と色彩をZiplayer では頻度順位だけで対応しているが，それだけでは調和を感じにくい」などの意見が得られた．
音階と色彩の対応づけに関しては，Ziplayerでは頻度順位のみを用いているが，音階/色彩の構造を
取り入れて対応づけを行なう方がより調和を感じられる演奏になる可能性がある．また，各音の強弱や長さ，および各色彩の明度や彩度といったさまざまな属性を積極的に活用することで，ユーザーがより美しさや面白さを感じるのではないかと考えられる．
4.2 Harmonized
Ziplayer
ここでは，前述したようなZiplayer の課題を改善し，色彩調和理論や音楽の調和理論に基づいて色彩と音階のマッピングを行うことで表現力を向上させた「Harmonzied Ziplayer」について説明する．
4.2.1
Harmonized Ziplayer の特徴
色彩と音階の対応付け
Harmonized
Ziplayer では，以下のような方法で，色彩/音楽の調和理論を用いたマッピングを行う．
(1) 音楽の解析
• 1-1.
音楽ファイル（MIDI形式）から，KeySignature（調）イベントを取得する．
• 1-2.
各調の基準音（e.g. C Major ならC）を取得した上で，各音がその基準音から半音単位で何度離れているかを調べる．(0-11)• 1-3. 各音がスケール上に存在するかを調べる．メジャースケールを例として説明すると，スケールに乗っている場合(0,2,4,5,7,9,11) は，スケール上の度数をID とする(0-6)．スケールから外れる場合（1,3,6,8,10）には，特殊なID(-1) を添付する．
(2) 絵画の解析
• 2-1.
絵画から抽出したパレットカラーのうち，最も出現頻度の多い色を基準色として規定する．
• 2-2.
各パレットカラーについて，基準色を0とした際の色相分布(色環上の距離) を0-359の範囲で求める．
• 2-3.
色相を（スケール上の音数＋テンション）に合わせて，0-7 のID を添付する．（ID:0 =0 度+- 22.5 度，....ID:4(補色) = 180 度+-22.5 度... ID:7= 315 度+- 22.5 度)
(3) 音程と色彩の割り当て
• 3-1.
各音のID と，補色を除いた各色のIDを順次対応付ける．すなわち，スケール上の7つの音を，補色以外の色相(0-3,5-7) に割り当てる．補色(ID:4) については，スケール外のテンションノートに割り当てる、(図4 )
• 3-2.
同じID の音/色が複数ある場合は，出現頻度順にソートし，出現回数の多い方から順に割り当てる
(a) パレットカラーを色環上にマッピング
(b)抽出した調にあわせて，音階を，色相にマッピング．
図3 各色と音階の対応付け
転調の表現
前節で説明したように，Harmonized
Ziplayer では，調を基本として色と音の対応付けを行なっているが、楽曲の中で転調がおこることがある．その際の視覚効果として，絵画の色相を色環上で、転調の度数の分だけ変化させている．転調は，5度圏の環を循環するように，C − G(7) − D(2) −
A(9) −E(4) − B(11) − F ♯ − C ♯ (1) − G ♯ − D ♯(3) − A ♯ (10) − F(5)
− C といった形で行われる．(内はKey=C の時の半音階）演奏開始時の調を基調(Base Key) とし，転調後の調を新調（NewKey）とした場合，両者の差(Di. Key) はNewKey- BaseKey となり，新しい色相は= (360 度/ 12)* Di. Keyとして計算する．具体的な例をみてみると，Van
Gogh の「星月夜」（図３ ）をDebussy の「月の光(Clair de lune」で演奏した場合，「月の光」の基調はD ♯ (5 ♭) であり，E(4 ♯) に5 度転調が行なわれる．このとき，パレットカラーは色環上で150 度変更する．図5 をみると， 黄色（月の光）の部分は5 度(180 度) 転回することによってピンク色に，背景の青色は緑色へ変換している．このとき，青-黄色から緑-ピンクなど相対的な色関係を保ったまま変換が行なわれている．
(a)
Van Goghの「星月夜」を12色相に配置．音楽の転調に伴い、各色は150度転回している
(b)
(b)Van Goghの「星月夜」（左）をDebussyの「月の光(Clair de lune」で演奏した際、5度転調した結果（右）
図5 転調のときの色相の変化
その他の効果
その他，音長(Duration)，強弱(Velocity)，チャンネルなどの情報と絵画の色彩情報を対応付けて，演奏にさまざまな効果や自由度を与えることができる．
• 音長の処理:各音のDuration を取得し，それに比例して一定時間のフェードアウト効果（アルファを徐々に減少）を行う．短くスタッカート的に演奏された音に対応した色はすばやく消滅し，長く演奏された音はゆっくりフェードアウトする．
• 強弱の処理:各音の強弱をVelocity 値から取得し，それに比例して各パレットカラーの透
明度（Alpha）を変化させる．なお，Velocityの分布は楽曲に応じてかなり異なるため，事前にすべての音符のVelocity
値を取得し，楽曲内のVelocity の最大値や分布を考慮した割り当てを行っている．
• チャンネルの処理:対象とする楽曲によっては，ドラムパートのように音階の存在しないパートや，同じ音階を複数のパートで演奏するケースが存在しており，色彩との対応付けが煩雑になってしまうため，特定のチャンネルを解析/再生の対象としない機能を設けている．
• その他のエフェクト:ユーザの嗜好にあわせてさまざまな効果を加えるいくつかのエフェクトを実装している．たとえば「ぼかし」エフェクトは，作品全体に幻想的な効果を加えることができる．
ユーザーの感想と今後の展望
ユーザーの感想
4.1で述べた，Ziplayer を体験してもらったユーザ(20 代〜50 代の男女約30人) に，別の機会にHarmonizedZiplayer の演奏を体験してもらい，自由回答で意見を求めた．
その結果，「理論はおいておいても，直感的にZiplayerよりHarmonized Ziplayer の方が色と音の調和がとれていて綺麗にみえる」「音楽の転調を使って絵画の色相を転換するところが面白い．音楽の転調自体がわかりやすくなるのもよい」「これならばバックグラウンドでずっと流しておいてもいい」，といったように，Ziplayer と比較してHarmonizedZiplayer の方に肯定的な意見が多かった．一方，「調だけではなく，拍(リズム) などもいれた方が面白い」，「オーケストラの多重演奏と絵画の構図などを対応づけたらどうか」「絵の中にある色彩の配置自体を動かしてしまったらどうか」，「MIDIではなくMP3 などに対応してほしい」などさまざまな改善点も指摘された．
今後は，これらの改善点に取り組み，よりエンターテインメント的にも楽しめるシステムとして発展させていく予定である．
絵画と音楽の組み合わせ
我々はさまざまな絵画と音楽を組み合わせた演奏を試行錯誤しているが，両者の組み合わせに際して
は，ある程度相性が存在するように思われる．たとえば，テンポが速い曲には，色が鮮やかで輪郭がはっきりとした絵画が適しており，逆にテンポがゆったりした曲には，輪郭のぼやけた画像を与えると幻想的な雰囲気を作ることができる．
また，本稿で例として説明したドビュッシーとヴァン・ゴッホに代表されるような同時代の同流派(19
世紀後半〜，印象派/後期印象派）の組み合わせは，統計的特徴が似ていることもあり，組み合わせやすい影響をうけた．今後は，よりさまざまな絵画と音楽の組み合わせを探求するとともに，各ユーザが嗜好にあわせて手軽にさまざまな絵画と音楽の組み合わせを体験できるようなシステムを構築していきたい．
4.3 関連するシステム
画像を音楽に変換するアプローチとしては，Monalisaなどがある[2]．Monalisa は画像を周波数解析して，直接単純な音響を生成するシステムである．本研究では，絵画と音楽を統計的に解析して，音階と色彩との調和に焦点をおいている点が異なる．
4.4 まとめ
本プロジェクトでは，統計的な解析と調和理論を用いて，音楽と絵画を融合するメディアプレイヤー「Ziplayer」と「Harmonized Ziplayer」の開発を行なった．HarmonizedZiplayer を用いることで，ユーザはさまざまな絵画と音楽を掛け合わせて，「音楽に同調して変容する絵画」という新しいメディア表現を楽しむことができるだろう．
※本システムによる演奏の映像は以下を参照．
http://www.sfc.keio.ac.jp/%7easako/harmonize.html
参考文献
[1] Gage,
J.:Colour and Culture, University
of CaliforniaPress,
1999.
[2]
Monalisa, http://monalisa-au.org/[3] Zipf, G. K.: Human Behavior and the
Principleof Least Effort, Cambridge,
MA, AddisonWesley,1949.
[4]
Zanette, D. H. andMontemurro, M. A.: Dynamicsof text generation with
realistic Zipf’s distribution,Journal of
quantitative Linguistics, 2004.
[5]
Ramachandran,S,.Hubbard,E,M..,：Hearing colors,
tasting shapes, Scienti.c American, 2003.
[6] 福本麻子, 安村通晃, 蔡東生: 印象派絵画の統計的解析, ヒューマンインターフェース学会 論文誌
vol7 No.2,
pp.89-97,2005.
[7] 福本麻子, 塚田浩二，蔡東生, 安村通晃:
絵画の複雑性と法則性に関する研究, 画像電子学会 論文誌
[8] 福本麻子, 塚田浩二，蔡東生, 安村通晃:
絵画，音楽，文章を組み合わせたメディアプレイヤーの提
案, 情報処理学会インタラクション2006 予稿集,
|
