デジタル人材の育成

未踏IT人材発掘・育成事業(ユース):2008年度上期採択プロジェクト概要(髙橋PJ)

1.担当プロジェクトマネージャー

  • 筧 捷彦(早稲田大学 基幹理工学部 情報理工学科 教授)

2.採択者氏名

  • チーフクリエータ:髙橋 賢治(静岡大学大学院工学研究科 大学院1年)
    コクリエータ:なし

3.未踏ユースプロジェクト管理組織

  • 株式会社メルコホールディングス

4.採択金額

  • 3,000,000円

5.テーマ名

  • GPUを用いた映像のリアルタイム手ぶれ補正ソフトウェアの開発

6.関連Webサイト

  • なし

7.申請テーマ概要

本ソフトウェアは、PCを利用した映像の手ぶれ補正を行います。
専用のハードウェアではなく、汎用のハードウェアであるGPUの並列処理による高速演算を利用して処理速度を向上させ、低コストかつリアルタイムでの映像の手ぶれ補正を実現することを目的とします。入力映像だけをもとに手ぶれ補正を行うので、直接カメラから入力された画像だけではなく、たとえば手ぶれが激しく見るに堪えなかった運動会で撮ったビデオなど、過去に録画した動画にも補正を行うことを可能にしています。
手ぶれ補正の手法は、カメラの移動量であるグローバルモーションを求め、それを基に振動補正を行います。振動を除去したカメラの動きは緩やかで滑らかなものであると仮定し、
求めたカメラの移動量をガウス関数を用いて滑らかにすることによってゆれを軽減します。
また、振動補正によって発生した未定義領域をモザイキングを用いて補間します。加えて、撮影の際生じた手ぶれによる画像のボケであるモーションブラーを取り除きます。
本ソフトウェアでは、グローバルモーション推定とモザイキングについてはGPUへの実装を完了しています。これにより、入力するビデオ映像のサイズが320×240ピクセルにおいて約40fpsとなり、リアルタイムを達成しています。
本事業期間中においては、本ソフトウェアを改良、発展させ、さらなる計算時間の高速化を図るとともに、リアルタイムを保ったままにモーションブラー除去を行うことを目標としています。

8.採択理由

カメラの振動(手ぶれなど)によるぶれが入った動画像から、ぶれの分を除去し、さらにブラーが入っている分までも除去してしまうソフトウェアを開発するプロジェクトである。市販のビデオカメラにも手ぶれ除去機能は入っているが、それがないカメラ(たとえば安価なウェブカメラ)で撮った動画であっても、直ちにぶれを除去できてしまうソフトウェアは有用なツールになるに違いない。手ぶれ除去がまだ組み込まれていなかった頃のビデオカメラで撮った動画ストックも家庭にたくさんあるに違いない。それらを簡単に除去してしまえるとなればその恩恵に与れる人も多いに違いない。
ぶれの除去については、GPUを活用して、すでに「実時間」に相当する短時間でその処理を実現している。模型の自動車にウェブカメラを積んで、野路を走らせてとった動画映像をたちまちにぶれのないものに仕上げてしまう様をオーディションでもプレゼンの中で見せてくれた。
未踏ユースの開発期間中には、さらに“ぶれ”の除去の速度をあげることに加えて、モーションブラーの除去に注力する。こちらはアイディアこそ固まっているものの、実験を含めてその開発はこれからであるが、ぶれ除去で見せた力量からして、高い成果がでるものと期待している。