HOME未踏/セキュリティ・キャンプ未踏事業未踏IT人材発掘・育成事業:2018年度採択プロジェクト概要(黒田PJ)

本文を印刷する

未踏/セキュリティ・キャンプ

未踏IT人材発掘・育成事業:2018年度採択プロジェクト概要(黒田PJ)

最終更新日:2018年7月3日

1.担当PM

五十嵐 悠紀(明治大学 総合数理学部 先端メディアサイエンス学科 専任准教授)

2.採択者氏名

黒田 和矢(静岡大学 総合科学技術研究科 情報学専攻)

3.採択金額

2,304,000円

4.テーマ名

深層学習によるAI実況プレイ動画生成

5.関連Webサイト

なし

6.申請テーマ概要

 本プロジェクトでは、ゲームの実況プレイ動画を自動で生成するシステムを開発する。「実況プレイ動画」とは、プレイヤーが実況をしながらゲームをプレイした様子を収めた動画であり、近年、動画投稿サイトでの人気コンテンツの一つとなっている。
 本システムは人間がプレイした動画を入力として、以下のステップに従い実況文を自動で生成し、読み上げ用音声合成ソフトウェアを用いてそれを読み上げる。

(1) 物体検出、動作認識
(2) 感情の想起
(3) 実況文の生成

 本システムは、深層学習による物体検出、動作認識を用いてゲーム中の出来事を認識する。例えば、レースゲームのプレイ動画を入力すると、物体検出では、レース中のキャラクターや自身の順位などを検出する。動作認識では、プレイヤーが操作するキャラクターの、ドリフトしている、加速しているといった動作を認識する。また、システムは人間の感情を模倣し、あたかもゲームをプレイしているかのように振る舞う。実況を行う際には、ゲーム内で起こっている出来事を伝えるだけでなく、リアクションなどを通じてエンターテイメント性のある実況を実現する。
 本システムの技術は、自身の感情を表現するNPCの開発などへの応用が期待されるものである。

7.採択理由

 ゲームは従来「プレイするもの」であったが、最近では「見て楽しむもの」といった娯楽の在り方も増えてきており、スポーツ観戦や囲碁・将棋などの実況と同様に、ゲームの実況動画も人気を集めている。本提案システムでは「こういうリアクションを取ったら楽しいのではないか」といったことをAIが考えながら実況する点で面白さがある。リアルタイムでイベント発生が多々起きる中で、重要度に応じた処理をどのように行うか、など、課題は多々あるが、開発に対する意欲も実力も十分である。
開発する技術は、ゲームだけでなく、少年サッカーをはじめとした、現状では実況がつかないスポーツ観戦などにAI実況がつけられる可能性を秘めている。類似研究の中でどのように独自性を出していけるか期待する。

更新履歴

2018年7月3日 2018年度採択プロジェクト概要(黒田PJ)を掲載しました。

未踏/セキュリティ・キャンプ