１．採択者氏名

２．担当プロジェクト管理組織

　（株）創夢

３．委託支払金額

　3,000,000円

４．テーマ名

　大量画像を対象とした移動物体分離システムの開発

５．関連Webサイトへのリンク

　なし

６．テーマ概要

　近年，インターネット関連技術の急速な発展を背景として，デジタル撮影機器が手軽に利用できるようになった．また，ハードディスクを始めとする，記憶装置の大容量化と低廉化が進むにつれて，画像データを大量に記憶させることも可能となった．このような背景の下，ウェブカメラや監視カメラを用いた常時撮影・常時記録が次第に普及しつつある．

　しかしながら現状では，蓄積された画像データが，必ずしも十分に活用されていない．

　そこで本提案では，蓄積された画像データの活用を目的として,各種の画像解析システムで共通して利用可能な，移動物体分離システムを開発する．

　このシステムは，固定カメラにより，連続的に撮影された大規模な時系列画像データを対象として，画像中の移動物体を速度別に自動分離することを特色とする．具体的には，時系列画像を入力として，時間領域および空間領域での解析を行ない，移動物体部分と背景画像部分とに分離して出力する．

　また，本提案では，移動物体分離システムを組み込んだ応用ソフトウェアとして，時間短縮アニメーション作成ソフトウェアを開発する．時間短縮アニメーションとは，樹木などが比較的長期間に渡ってゆっくりと変化していく様子を，30秒や1分といった短時間で再現するアニメーションのことである．本提案では，移動物体分離システムを利用して，駐車している車や人通りなどを効果的に分離・除去した時間短縮アニメーションの作成を行なう．

７．採択理由

　画像処理による移動体分離についてはすでに多くの研究開発がなされているように思うが，この提案では速度別分離などの新しいアイデアが盛り込まれている．GPLで公開する予定とのことで，誰でも昨今の安いデジカメで定点観測をして，面白い効果のある映像をつくることができるようになるところを評価した．技術的にはいくらでも高い要求があり得るが，その泥沼に陥ることなくある程度見切ってソフトを完成させるとともに，楽しいアプリの創造にアイデアをたくさん出してほしい．

８．成果概要（中間報告時）

　前期においては，ウェブカメラを用いて実験用の大量画像データを取得するとともに速度別移動物体分離システムの開発を行ない，システムの基本的な部分を完成させた．また，このシステムをライブラリとして利用したアプリケーションソフトウェア開発の一環として，GTKをによるGUIインターフェイスの開発に着手した．

　詳細は以下の通り．テストは開発中随時テストするとともに，後期にまとめてテスト実施する予定である．また，評価はすべて後期に実施する．

(1) 時系列静止画像からの速度別移動物体分離

　大容量のデータを扱うためにファイルベースの入出力法を設計した．また，基本アルゴリズムについては，いくつかの手法を組み合わせたアプローチを設計した．これに基づいて，基本部分のテスト・デバッグを行なうとともに，周辺部分を開発中である．

　東大の新棟建築現場の定点観測画像から速度別の移動物体分離をした例を川崎 図1〜4に示す．ちょっとわかりにくいが，一応分離ができている (でき始めているというほうが正確かもしれない)．手法については各種の方法の組み合わせを含めて，さらに検討中である．

(2) 時系列静止画像からの時間短縮アニメーション作成

　大枠の設計を(1)と(3)に連動する形で行なった．これに基づいて，(1)の一部分として実装を行なっている．

(3) GUIによるインターフェイス

　画面設計をおおよそ決定し，Ruby/GTKを利用して実装しながらテストを繰り返して細部を検討している．

川崎 図1　画像

川崎 図2　移動物体(1sec)

川崎 図3　移動物体(16sec)

川崎 図4　平均画像(4096sec)

９．ＰＭコメント（中間報告時）

　川崎君は必要な装置類の整備や画像取得の環境設定にかなり時間を取られてしまった．そのため立上りで苦労したが，少し遅れている程度で概ね順調な進行をしている．定点画像取得についてはいろいろな問題があり，そう勝手なところにビデオカメラを設置できない．しかし，ブースト会議での東大の丸山君たちの協力申し出でにより，東大の研究室のすぐ外で建築中の新しいビルを定点撮影し，かつデータもすぐネットワークで転送できるようになった．ブースト会議ならではの，協力リンクの形成であった．

　しかし，実験用の画像データの多様性の不足はまだ深刻な問題のようである．技術的な問題以外のところで結構苦労をさせられるものだ．

　中間段階ではまだ技術の基礎を固めることが主な開発作業になるので，中間報告時（11月末時点）ではPMとして言うことはあまりない．速度別移動物体分離もそこそこのレベルに達しているように見える．上を見たらきりがないかもしれない．後期にはアプリケーションイメージに合った具体的なシステム作りのサンプルで勝負してもらいたいと思っている．

　川崎君は都内なので，訪問する機会を持ちやすいのだが，なかなかPMと都合が一致しない．でも，12月〜1月ごろにゆっくり話をするほうがプロジェクトの進行にはいいかもしれない．

１０．成果概要（終了時）

　ベースとなるアルゴリズムの変更などがあったため，前期と項目的には同じだが，分離の品質が上がっている．

(1) 時系列静止画像からの速度別移動物体分離

　例えば，入力画像 (川崎 図5) を速度別の移動物体部分 (川崎 図6〜7) と背景部分 (川崎 図8) とに自動分離して出力する．

川崎 図5　分離前のオリジナル画像

川崎 図6　移動物体部分を分離した画像

川崎 図7　速度別の移動物体部分を分離した画像

川崎 図8　入力画像を速度別の移動物体部分と背景部分に分離

　プログラムは画像ファイル群と，分離の際の各種パラメータを入力として取り，図で示した例のような画像ファイル群を出力する

(2) 時系列静止画像からの時間短縮アニメーション作成

　時系列静止画像から(1)を利用して移動物体を取り除き，画像列中の緩慢な変化だけを残した画像列をダイジェスト出力 (川崎 図9〜10) する．川崎図9の中間の部分はx軸に並行なある線分上での時間変化を示したものである．よぎっていく人の歩行が斜めの黒線になって見えている．y軸に沿って歩くカップルが人の形になって見えるのが興味深い．

川崎 図9　緩慢な変化だけを残した画像を出力

川崎 図10　緩慢な変化だけを残した画像を出力

　なお，これらの成果物は次のGUIインタフェースに取り込まれた形で実現されている．

(3) GUIによるインタフェース

　時系列静止画像からの速度別移動物体分離に関して，ユーザが分離に関係するパラメータをGUIで自由に設定可能なインタフェースを提供しているる．

＊ ＊ ＊ ＊ ＊ ＊ ＊

　これらの開発成果の特徴は，3次元時空間画像中に見られる強い時間的相関を利用して，ロバストな移動物体抽出を行い，さらに移動物体ごとの移動速度を算出する点である．

　本システムが対象とするのは，撮影時の視点が固定された時系列画像である．このような画像群は，互いに関係のない画像群と異なり，いくつかの特徴をもっている．たとえば，ある瞬間の画像と次の瞬間の画像との違いがわずかでしかないのは特徴の一つである．また別の特徴として，十分短い撮影時間間隔の間には，移動物体は比較的単純な運動を行い，突然消滅したりまったく別の場所に移動したりはしないことが挙げられる．これらの特徴を利用すると移動物体を抽出したり，その移動方向を予測したりすることが可能となる．

　物体の移動方向予測については，動画像の符号化で広く利用されているMPEGなどで，ある程度実用化されている．しかし，そこでは撮影視点が必ずしも固定ではないこと，移動物体の正確な抽出よりも動画像圧縮を目的としていることなどから，比較的簡便な方法が用いられることが多い．それに対して本システムでは，撮影時の視点が固定された時系列画像に的を絞って，分析することにより，移動物体をなるべく正確に抽出するというアプローチを採用している．

　また，時間的に接近した画像間の変化が少ないことを利用して，移動物体を時間軸上で追跡することにより，移動物体の画面上での速度と移動方向を算出している．これにより，本システムを利用すれば画像群を与えるだけで，移動物体の抽出を比較的ロバストに行うことが可能となった．本システムは，さまざまな定点観測システムや監視システムへの組み込みに利用可能である．

１１．ＰＭ評価とコメント（終了時）

　アルゴリズムをどうするかで途中で方針変更があったりして，さらに心配な状況になっていたが，この報告書の図で示したように最終成果の出来上がりはなかなか良い (実際はムービーで見ることができる)．デモをするのにとても向いた映像を調達できたことも効いているような印象だ．途中段階で見せてもらっていたデモに比べるとはるかにきれいに移動物体が分離している．成果のプレゼンテーションを考えるときにとても重要なことである．

　ここまで品質が上がれば，実際的な応用が可能であろう．川崎君は特殊な背景を用いずに済むリアルタイムのクロマキー合成システムを思い描いているようだ．たとえば，テレビ電話などの動画像通信においてリアルタイムで人物だけを抜き出して，別の背景画像と合成するといった活用方法が考えられる (計算時間の問題をクリアしないといけないようだが)．報告会では，彗星発見などを求めて天体観測をしているアマチュア天文家にはとてもありがたいというコメントがあった．なるほど，それは面白い用途だ．移動というよりは静止画像の差分をとるだけの問題に帰着するようにも思えるが…．

　このシステムは定点観測の撮影場面に固有の特徴や統計的性質を利用することにより，さらに高精度な分離が行なえそうだ．たとえば，監視システムによって見られている人物の行動分析や，車両のスピードチェック等を行うシステムにおける組み込み利用が考えられる．

　とりあえず所期の目標は達成されていると思うが，移動体分離には映像のコンテクスト理解がないとできないものも一杯ある．たとえば，背景画像から分離した個々の移動物体が交差した場合，このシステムはそれら全体をひとつの移動物体として認識する．川崎君が自認するように，これは速度別の移動物体分離というプロジェクトの開発目的のためには十分であるが，画像中の個々の移動物体により深い関心がある場合には，それらそれぞれを一意に識別したい．なので，物体が交差しているという状況を判別できるような機能が望まれる．ただ，これはそんなに容易なことではないと思う．

　なお，本プロジェクトの目的は，(すでにあちこちのメーカーから出ている) 移動物体分離システムの開発というより，そのためのライブラリをオープンにするというところにある．そのようなものは現在存在しない．その意味で，このシステムの開発の評価を正しく行なう必要がある．真の評価は，このライブラリがLGPLもしくはGPLライセンスで公開され，一般に使われるようになってから可能になると思われる．