１．担当ＰＭ

   美馬　義亮 　（公立はこだて未来大学システム情報科学部　助教授）

２．採択者氏名

３．プロジェクト管理組織

　  株式会社　創夢

４．委託金支払額

　 5,000,000 円

５．テーマ名

　複数カメラを用いたユーザーインターフェースの開発

６．関連Webサイト

　http://www.jsk.t.u-tokyo.ac.jp/~horo/

７．テーマ概要

　人と機械を繋ぐインターフェースとして、キーボードやマウスといった人にとって特殊な操作が必要なデバイスを用いるのではなく、音声やジェスチャといった、より人間の自然なコミュニケーションに近く、より直感的な操作を可能にするための研究が数多く報告されている。
人のジェスチャを認識する方法として、人にモーションキャプチャのための特殊な装置を装着する方法と、カメラの画像から人の姿勢を推定する方法がある。前者は、関節の位置や角度を計測することで、比較的正確に姿勢を獲得することが出来るが、特殊な装置を装着する必要があり、人にかかる負担は少なくない。それに対し、後者は人に特殊な装置を装着する必要はなく、より負担の少ないインターフェースだと言える。
我々は、カメラの画像から人の姿勢を推定する方法として、複数カメラからの画像を用いて、視体積交差法によって人の立体形状を復元し、その立体形状をもとに指さしジェスチャの認識するシステムを開発している。本プロジェクトでは、このシステムを発展させ、指さし以外のジェスチャ、たとえば手招きや、パンチやキック、ジャンプなどを認識できるユーザーインターフェースプラットフォームを開発し、それを利用して、ゲームのようなインタラクティブなアプリケーションを作成する。単なるユーザーインターフェースというだけでなく、ユーザー自身の立体形状を復元しているので、画面にユーザー自身を立体表示することが可能で、今までにない感覚を味わうことが出来ると考えられる。

８．採択理由

　現在、提案されたシステムの土台となる、安価なカメラで構成可能なの3次元形状の認識システムは満足すべき状態で存在し、開発者の技術力の高さを示している。今回は、この3次元形状認識システムの上に新たにジェスチャをベースにした操作系を追加しようとするものである。未踏的な部分はこのシステムの上にキラーアプリケーションとも言うべき新しいインターフェースレイヤを構築することである。

９．開発目標

人体に何も付加することなく複数のカメラからの映像を処理することにより、指差しや腕ふりなどのジェスチャを認識するシステムを作成する。原理やパーフォーマンスを実証するプロトタイプとなるシステムを実現していたが、市販の安価で一般的なハードウエア（カメラ、PC 等）を用いて多くの人が利用できるプラットフォームを実現し、その上に、インタラクティブ性を利用したアプリケーションを提案することが目標とする。

１０．進捗概要

本プロジェクトの発足によりコードの書き直しが行われた。プロジェクト開始の直後Windows への対応が行われ、高速な動作を行うようになった。高速化にはシルエットの切り出し部分の改善がもっとも功を奏した。体の端点を検出が基本的な機能であるが、だけではなく、体の向きを把握できるようになっている。中盤近くには、アプリケーションとして空中に文字を描くシステムが作成された。終盤なり、複数の人物の移動のトラッキングができるようになった。併せて、認識システムを用いた操作を行うアプリケーションのモデルとデモンストレーションがいくつか作成された。

１１．成果

原理は、以下のようなものである。ある点におかれたカメラから見える、物体がない状態の背景情報を記憶させておくと、何か物体を置いたときには、それが透明なものではない限り、画素単位で見たとき、その物体に対応部分が背景と異なる色となる。このためカメラの前にある物体のシルエットを算出することができる。このことは背景差分としてよく知られている手法である。

また、物体はこのシルエットが作り出す視体積の中に含まれるものだと考えることができる。

カメラを複数配置し複数の方向から見ると、物質はおのおののカメラから得られる制約情報が増えるため、その形状を絞ることが可能になる。この方法を視体積交差法とよぶ。

複数の安価なカメラを配置した認識空間内で、人間がジェスチャ認識装置の存在を意識しなくても、その指差し動作などの振る舞いを認識できる視体積交差法の技術はすでにプロトタイプシステムとして存在したのであるが、それらを改善し、この技術を広く利用できるようにまとめた。プロジェクトスタート時に存在したプログラムを最初から書き換えて、高速化、体の向きの抽出、複数の人物の認識などを可能にするなどの基本的な機能の拡張をおこなった。これらはAPI の定義を行い、パッケージ化されたモジュールとなっている。

また、この認識システム上に新たなアプリケーションを作成した。腕振りにより文字を書くジェスチャ認識システムをはじめとして、本システム向けの新たなユーザーインターフェースを模索し、4つ程度の新たなアプリケーションを追加し、パイオニアとして技術利用の指針を示した。

１２．プロジェクト評価

ただ一人のプロジェクトであったが、プロジェクトは順調に推移し、技術的に当初の目標レベルは達成したと考える。課題とした新たなアプリケーションのモデルを模索し開拓することは、もっとも困難さを抱える課題ではあったが、開発期間の終わり近くまで粘り強くさまざまな挑戦をおこなったことは高く評価したい。

１３．今後の課題

このシステムは、ハードウエアへの依存性は低く、市販のWeb カメラを接続すれば利用できるため、広く利用される可能性がある。今回完成したソフトウェアを、パッケージとして利用できる形で提供できるようにしていただきたい。また、当初の目標には、アクション系のゲームなどでの利用も想定されていたが、画像の処理能力の問題から高速のレスポンスには限界があった。技術的に困難さはあるが、同時に本質的な課題ということになる。