未踏IT人材発掘・育成事業：2012年度採択プロジェクト概要（栗原PJ）

1．担当プロジェクトマネージャー

後藤 真孝（産業技術総合研究所　情報技術研究部門　上席研究員　兼　メディアインタラクション研究グループ長）

2．採択者氏名

• チーフクリエータ
  栗原 竜矢（電気通信大学大学院　情報理工学研究科 総合情報学専攻）

3．採択金額

• 1,792,000円

4．テーマ名

• 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト

5．関連Webサイト

• なし
  

6．申請テーマ概要

本提案では、動画内オブジェクトを簡単に操作できる、2.5次元の動画を編集するソフトウェアを開発する。2.5次元動画とは従来の平面的なRGB 情報のみに基づく2次元動画に対して、深度センサから取得した深度情報（Depth）をマッピングしたRGB + Depthの動画である。
ユーザは本ソフトウェアのインタフェース上で、動画内のオブジェクトをタッチやマウスによるドラッグアンドドロップといった直感的な操作により、2.5次元動画の編集をすることができる。「ある動画内のオブジェクトを切り出して別の動画に配置する」といった、従来非常に手間のかかる編集も、本ソフトウェア上では「移動したいオブジェクトをドラッグして、移動先の動画の任意の場所にドロップする」という非常に簡単な操作で実現される。このような機能の実現は、2次元動画を対象とすると困難な問題であるが、本提案では2.5次元の世界からアプローチすることにより、これを実現すると共に、来るべき2.5次元動画の時代を見据え、それを先取る形のソフトウェア開発を行う。

7．採択理由

カメラで撮影した通常の2次元動画に、深度センサから同時に取得した深度情報を付与した2.5次元動画を活用し、撮影後に動画共有サイト等に投稿する前に、誰でも容易に動画を編集できるソフトウェアを実現する提案である。撮影した動画中のオブジェクト（人物等）をつかんで動かすような様々な簡単な操作で、いかに効果的な動画編集を可能にできるかが難しい。その一つの方法として、深度情報を活用して手前のオブジェクトを抜き出し、既存のインペインティング技術で背景の穴埋めをするのはよいが、それに満足せずに、それを超えた従来の動画編集ソフトウェアとは違う新たな発想やインタフェースを次々と提案する気概を持って進めることが大切である。
栗原君は、来るべき2.5次元の時代を見据え、それを先取りする形でソフトウェア開発を行っていきたいという意気込みを持っていて素晴らしい。その意気込みを実際に社会で使われる技術として是非形にして欲しい。そのためには、まずはキラーアプリケーションをしっかりと考え、満足のいく編集・支援が可能なシステムを作り込むことが必要である。例えば、2.5次元動画として「音楽に合わせた踊り」を撮影した後に、動画コミュニケーションサービス等に投稿可能な「踊ってみた動画」（踊りを披露する動画）を効果的に作成するのを支援するツールの実現や、2.5次元の「踊ってみた素材」を不特定多数のユーザ間で共有・流通・再利用させるプラットフォームの実現等に取り組み、提案内容だけに限定せずに挑戦して欲しい。今後の飛躍が楽しみである。