未踏IT人材発掘・育成事業：2024年度採択プロジェクト概要（椎名PJ）

1．担当プロジェクトマネージャー

• 竹迫 良範（株式会社リクルート データ推進室 アドバンスドテクノロジーラボ 所長）

2．採択者氏名

• 椎名 貫太（大阪電気通信大学 総合情報学部 デジタルゲーム学科）

3．採択金額

• 2,880,000円

4．プロジェクト名

• ジェネラティブVJソフトウェアの開発を容易にするシステム

5．関連Webサイト

• なし

6．申請プロジェクト概要

本プロジェクトでは、ジェネラティブVJソフトウェアを容易に開発できるシステムを開発する。

VJとはVisual Jockeyの略であり、音楽イベント等でリアルタイムに行われる映像演出である。その中でもジェネラティブVJとは、リアルタイムCG技術を用いたVJであり、Unity, TouchDesigner, p5.jsなどのツールを用いて開発したビジュアル生成ソフトウェアを用いて行われる。通常のVJは事前に生成済みのプリレンダ映像を組み合わせて行われるのに対して、ジェネラティブVJはリアルタイムに映像が生成されるため、事前に生成済みの映像では出来ない表現ができるという特徴がある。しかしジェネラティブVJは、先述の開発環境を使いこなして自らジェネラティブVJ専用のソフトウェアを開発する必要がある上に、リアルタイムCGに関する知識も必要になるため、難易度が高い。

そこで本プロジェクトでは、Webブラウザで3D画像処理を行えるAPIであるWebGPUを活用し、プログラマ向けにジェネラティブ表現に特化したライブラリと、ノンプログラマ向けにそのライブラリを使うためのWebアプリケーションを開発する。このWebアプリケーションは、ノードベースのGUIを採用することでプログラムの処理の工程の視覚化を容易にする。また本ライブラリを利用するJavaScriptコードの文法に近しい使用感と、構築したノードの構造をJavaScriptコードに変換する機能を提供することで、ノンプログラマが本Webアプリケーションを通してジェネラティブVJを構築することきっかけに、プログラミングに興味を持つようになる効果も期待できる。

7．採択理由

本提案は、WebGPUを用いてジェネラティブVJを実現するJavaScriptプログラムを、探索しながら作成できるソフトウェアを開発することである。現状のジェネラティブVJにはノンプログラマとプログラマの間には大きな参入障壁があり、本ソフトウェアがこれらの壁を乗り越えることによって、クリエイティブとエンジニアリングの双方を繋ぐ存在になると良い。

提案者はUnityでの開発実績やBOOTHでの自作VJソフトの販売実績もあり、ノードベースとコードベースを行き来しながら新しいVJ表現を探索できる価値をよく理解している。プロトタイプの開発では、いくつかのプリミティブな表現を地道に実装していくことになると思うが、このソフトウェアでインパクトのある表現を実現できないと最先端のVJへの導入は難しい。このプロジェクトにおいては、単なる機能の実装だけではなく、新しい表現の引き出しが増えることも必要である。

このソフトウェアで作られたジェネラティブVJ作品をきっかけに、ノンプログラマのクリエイターがプログラミングに興味を持ち、クリエイターの感性を持つ凄腕プログラマ人口が増えることを期待したい。