未踏IT人材発掘・育成事業：2019年度採択プロジェクト概要（大峠・森PJ）

1．担当プロジェクトマネージャー

五十嵐悠紀（明治大学総合数理学部先端メディアサイエンス学科専任准教授）

2．採択者氏名

大峠和基（筑波大学 / ピクシーダストテクノロジーズ株式会社エンジニア）
森篤史（株式会社サイバーエージェントエンジニア）

3．採択金額

2,304,000円

4．テーマ名

機械学習を用いたSNS向けテロップ自動生成

5．関連Webサイト

なし

6．申請テーマ概要

近年、SNS（Social Networking Service）で動画を視聴する、SNSに動画を投稿することは身近なエンターテイメントの一つとなり、「格好いい・可愛い・面白い動画を作りたい」というニーズが、特に若者のSNSユーザにおいて大きくなっている。従来、動画にテロップを付加するには、PC上の動画編集アプリケーションと、それを使うための編集技術と作業時間を要したため、専門知識や編集環境が整っていないユーザはテロップを付与した動画を投稿することが困難であった。特殊な技術を必要としない動画編集ソフトウェアは多くの若者に求められている。
本プロジェクトでは、人気を集めている動画投稿者がテロップを有効活用していることに着目した。単なる字幕生成とは異なり、より効果的なテロップを作るためには登場人物や遷移する場面の文脈を考慮する必要があり、その自動化は未だ先行事例がない。本プロジェクトでは、複数のDNN（Deep Neural Network）を使うことで、視聴者に印象付けるテロップを自動生成し、それを効果的に動画に重ねるスマートフォンアプリケーションを開発する。本アプリケーションにより、今まで数時間以上かかっていた動画編集作業が数分程度に短縮し、特殊な編集技術を持たない個人が容易に魅力的な動画を作成できるようにする。

7．採択理由

SNSに特化したテロップ自動生成システムの提案である。彼らは単なる字幕生成ではなく、視聴者を引き付ける効果的な演出を加えることに着目している。動画内の登場人物や遷移する場面の文脈を適切に考慮することでテロップを生成する技術を考案するという、技術的にも挑戦しがいのある問題を含んでいる。若者の視点で現状のテロップをつけることの難しさ、面倒さを解決する提案であり、ニーズもあると考える。広く一般ユーザに使ってもらうことを想定して仕上げていってもらいたい。コンテンツを発信するユーザをより支援できるシステムになると期待して、採択とした。