平成１４年度未踏ソフトウェア創造事業


採択テーマ概要

１．担当ＰＭ 　近山　隆（東京大学　新領域創成科学研究科　基盤情報学専攻　教授）
２．採択者氏名 　（代表）　岡田　謙之　　（共同開発者）　菅沼　究、辻　将悟
３．テーマ名 　リアルタイム自動作曲システムの開発
４．採択金額 　18,000,000円
５．テーマ概要

　現在、ビデオゲームを中心とするデジタルメディアアプリケーションは、3Dコンピュータ・グラフィックスのリアルタイム描画によって極限まで洗練された映像によって彩られています。

　しかし、かかる最新型コンテンツで使用されているバックグラウンドミュージック（ＢＧＭ）は、あらかじめ録音された作り付けのサウンドデータを事前に対応付けられたユーザイベントなどによってスイッチしているにすぎません。これでは、ＢＧＭが切り貼りになってしまって音楽的な一貫性を表現できず、演出効果の面では、場面の展開に応じて作りこまれた映画音楽などに大きく劣ることは否めません。

　そこで本プロジェクトでは、最新型ビデオゲームを中心とするデジタルメディアコンテンツ上で、映画音楽のようなドラマティックなBGMをコンテキストに応じてリアルタイムに生み出すことを可能にするミドルウェアとして、自動作編曲ソフトウェアエンジンを開発します。

　本プロジェクトでは自動作曲の過程を、(A)メロディとコード進行、それに最低限の演奏上の指示から成る「リード・シート(Lead Sheet)」の自動作成と、(B)かかるリード・シートを基準とした各楽器パートの自動演奏（自動編曲を含む）という2つの段階に分けて考えます。これは、ポピュラー音楽の制作現場で作曲家とスタジオ・ミュージシャンの間で行われている音楽制作手法に倣ったものです。

　実際に自動作曲を行うまでには3つのプロセスを経ます。

　まず、①既存曲を学習して音楽構成要素を標本化する楽曲学習プロセスです。この時、メロディやベースライン、ソロパートなどの「メロディ系パート」と、コードバッキングやドラムパターンなどの「パターン系パート」によって標本化方法を変えます。

　次に、②どのようなモチーフを使ったどのようなテイストの曲を自動展開するかをサウンドクリエイターが作り込んでいくことのできるオーサリングプロセスです。

　そして、③実際のコンテンツのプログラムの中でＢＧＭをリアルタイムに生成演奏するランタイムプロセスです。

　この自動作編曲技術の開発により、

a.　ビデオ映像のために、シーンの雰囲気と長さ（秒数）に応じて最適なBGMを自動的に作曲するソフト
b.　音楽初心者でも簡単に作曲ができる作曲支援ソフト
c.　ブロックを組み立てるとインタラクティブに作曲体験ができる児童向け玩具

のようなプロダクトへの応用も可能となります。
６．採択理由

実用性の高い提案で、具体的な手法についても大きな問題はないと思われます。提案手法でどの程度の効果が得られるかは未知の点がありますので、まずプロトタイプの開発から入るのが適切だろうと考えます。