未踏IT人材発掘・育成事業：2018年度採択プロジェクト概要（黒田PJ）

1．担当プロジェクトマネージャー

五十嵐悠紀（明治大学総合数理学部先端メディアサイエンス学科専任准教授）

2．採択者氏名

黒田和矢（静岡大学総合科学技術研究科情報学専攻）

3．採択金額

2,304,000円

4．テーマ名

深層学習によるAI実況プレイ動画生成

5．関連Webサイト

なし

6．申請テーマ概要

本プロジェクトでは、ゲームの実況プレイ動画を自動で生成するシステムを開発する。「実況プレイ動画」とは、プレイヤーが実況をしながらゲームをプレイした様子を収めた動画であり、近年、動画投稿サイトでの人気コンテンツの一つとなっている。
本システムは人間がプレイした動画を入力として、以下のステップに従い実況文を自動で生成し、読み上げ用音声合成ソフトウェアを用いてそれを読み上げる。

物体検出、動作認識
感情の想起
実況文の生成

本システムは、深層学習による物体検出、動作認識を用いてゲーム中の出来事を認識する。例えば、レースゲームのプレイ動画を入力すると、物体検出では、レース中のキャラクターや自身の順位などを検出する。動作認識では、プレイヤーが操作するキャラクターの、ドリフトしている、加速しているといった動作を認識する。また、システムは人間の感情を模倣し、あたかもゲームをプレイしているかのように振る舞う。実況を行う際には、ゲーム内で起こっている出来事を伝えるだけでなく、リアクションなどを通じてエンターテイメント性のある実況を実現する。
本システムの技術は、自身の感情を表現するNPCの開発などへの応用が期待されるものである。

7．採択理由

ゲームは従来「プレイするもの」であったが、最近では「見て楽しむもの」といった娯楽の在り方も増えてきており、スポーツ観戦や囲碁・将棋などの実況と同様に、ゲームの実況動画も人気を集めている。本提案システムでは「こういうリアクションを取ったら楽しいのではないか」といったことをAIが考えながら実況する点で面白さがある。リアルタイムでイベント発生が多々起きる中で、重要度に応じた処理をどのように行うか、など、課題は多々あるが、開発に対する意欲も実力も十分である。
開発する技術は、ゲームだけでなく、少年サッカーをはじめとした、現状では実況がつかないスポーツ観戦などにAI実況がつけられる可能性を秘めている。類似研究の中でどのように独自性を出していけるか期待する。