デジタル人材の育成
田中 二郎(筑波大学大学院 システム情報工学研究科 教授)
チーフクリエータ
青木 貴司(東京大学大学院 情報理工学系研究科 博士課程)
コクリエータ
仲野 潤一(東京大学大学院 情報理工学系研究科 修士課程)
本提案プロジェクトでは、人に自分の思い出を想起させるシステム「バーチャルタイムマシン」を開発することを目的とする。
思い出の想起には様々な手段があるが、本提案プロジェクトでは、記録画像による想起に焦点を当てる。
記録画像を整理する手法としての従来のアルバムなどには、空間的広がりの表現に乏しく、また、時間的繋がりが不明確という問題点がある。そこで、本提案プロジェクトは、3次元再構成技術を応用し、自由に時空間内を移動可能とするシステムを開発することによって、これらの問題点の解決を目指す。
「空間的広がり」を再現するために、自由な視点で撮影された大量の画像から3次元空間を再構築する手法を開発する。
「時間的繋がり」を表現するために、撮影時刻の大きく異なる画像間の3次元的な相対位置関係を自動的に計算し、時間軸上の移動を表現する手法を開発する。
具体的には、入力情報としては、Webカメラやデジタルカメラなどによって自由に記録された大量の画像群を用いる。その画像群を用いて、特徴点抽出や対応点計算などによって疎な3次元ジオメトリを再現し、高臨場な自由視点画像を提示する。さらに、撮影時刻の大きく異なる画像群間の対応付けを行う為に、撮影条件が異なる画像間に適用可能なロバストな特徴点対応手法を用いて、3次元的な相対位置関係を計算し、3次元空間内で時間軸上を移動可能とする。これらを統合することによって、時空間内の自由な移動を可能とする。このシステムを利用したユーザーには、あたかも記憶の中を自由に飛び回るような感覚を与えることを目指す。
本提案プロジェクトによる成果は、オープンソースソフトウェアとして公開し、画像に基づいた記憶想起システムとして広く利用可能としたい。
自由視点画像を応用して思い出想起に使おうと言う野心的な提案である。非常に優れた提案である。インタフェースにはさらに工夫の余地があるかも。