１．採択者氏名

２．担当プロジェクト管理組織

　（株）オープンテクノロジーズ

３．委託支払金額

　2,999,740円

４．テーマ名

　携帯端末からの3次元形状の配信システム

５．関連Webサイトへのリンク

　http://www.roboken.esys.tsukuba.ac.jp/~yamazaki/mitou

６．テーマ概要

　携帯電話やPDAなどの携帯端末の出現により，情報を伝える手段は，日々進歩している．近年では，カメラの小型化，液晶の高品質化，メモリ容量の増加に伴い，携帯端末から画像情報を伝達することが可能になった．

　しかし，そもそも画像は，3次元空間を2次元平面に写像したものであり，ここで情報の欠落が起こっている．これに対し我々は，ユーザが目にした3次元形状情報を，なるべく変えない形で伝達したいと考えた．

　我々が提案するシステムは，携帯端末のユーザーが取得した動画をサーバに送り，そこに映り込んだ対象の3次元形状を復元し，それをユーザに提示するサーバ・クライアント型のソフトウェアシステムである．

　クライアントの携帯端末の画面には，自由に視点を移動できる状態で，クライアントの撮影した対象の3次元形状が提示できる．さらに，この結果をWebに公開したり，e-mailに添付することで，クライアントと遠隔地にいる他のユーザの間で，より臨場感のある情報の伝達が可能となる．

７．採択理由

　具体的にどのような使い道が考えられるのか，いまいちよくわからなかったが，ともかく一つの技術開発であることは確か．結局，どの程度の形状復元の精度が出るかによってアプリのイメージも変わってくる，そういう鶏・卵的な相関もある．開発者諸君にお願いしたいのは，それも含めて，どのようにしたら世の中で使われるようになるか，常に考え続けてほしいということである．まず，カメラつき携帯から始めるというところにそのヒントがあると思うのだが，さて，なにが嬉しいか．もちょっとアイデアを出してほしい．

８．成果概要（中間報告時）

　本システムは，携帯端末の所有者が，目の前に存在する物体に関する情報を，遠隔地にいる相手が自由に視点を選べる3次元形状の状態で伝達するものなので．アプリケーション名を3D-CoSMo (3-Dimension Communication for Mobilers') とした (山崎 図1)．

山崎 図1　システム概要

　サーバ・クライアントシステムである3D-CoSMoについて，
　1．携帯端末からサーバへの動画データ転送機能 (画像列取得)
　2．動画像から3次元データ作成機能 (3次元形状復元，配信)
　3．携帯端末用3次元データビューア機能 (3次元形状データ受信，表示)
を開発するが，前期では，携帯端末をノートPC，通信手段を無線LANとして，携帯端末から画像列取得→サーバで画像列から形状を復元→携帯端末でその3次元形状を閲覧，という枠組の開発を行なった．

　開発に際し，アプリケーションには以下の条件をおいた．
　1．携帯端末は汎用ノートPC，PDAとする．
　2．情報伝達の対象物体は，テクスチャを有する．
　3．情報伝達の対象物体は，両手に収まる程度の小型である．
　4．携帯端末から取得する画像列は，静止した物体に対しカメラを動かして得た画像列，または静止したカメラに対し物体を動かして得た画像列を指す．

2と3は，本システムの3次元形状復元の手法に由来する．3は，提案するアプリケーションが，日常生活に存在する物体があたかも目の前に存在しているかのような臨場感の伝達を目的としているからである．

　開発したものは以下の通り．

(1) 携帯端末からサーバへの動画データ転送機能

　Linux PC版のキャプチャソフトを作成した．これは対象物撮影部，画像再生部，画像転送部からなる．このシステムでは対象物の形状を望み通りに復元するために，形状復元したい部分が映るように撮影する必要があるが，画像再生部はその確認のためのものである．画像転送部はサーバへTCP/IPソケット通信を用いて画像を送信するが，1回の撮影で100枚の画像を送る場合があるため，JPEG圧縮をかけている．

(2) 動画像からの3次元データ作成機能

　転送された動画像から，サーバ上で形状を復元し3次元データを作成する．現状の復元画像の例を山崎 図2と山崎 図3に示す．

(3) 携帯端末用3次元データビューア機能

　復元された3次元形状は点の集合なので，3次元位置が既知の点の集合に面をはり，その表面にテクスチャを貼り付け，人間に提示する3次元形状データ (VRML98準拠) を作成する機能である．現状では，物体の大まかな形状は復元できているが，拡大した場合，実際の3次元形状とは多少矛盾が生じている．

　なお，担当は以下のとおり．

山崎: 機能動画像から3次元データ作成機能，

大野: 携帯端末用3次元データビューア，

入江: 携帯端末からサーバへの動画データ転送機能．

山崎 図2　原画像の例

山崎 図3　復元画像の例

９．ＰＭコメント（中間報告時）

　これは提案時点を振り返ってみても，困難な課題への挑戦だったとしみじみと思う．携帯端末であることは技術的には本質的ではなく，そもそも人間のあやふやな手で撮影したような2次元動画から3次元形状がきちんと復元できるかどうかというところが課題の本質である．

　これに対して山崎君たちは，地道な努力を重ねてアプローチしている．しかし，中間報告時（11月末時点）で
　・時間がかかりすぎる ― 画像200枚で10分程度かかる
　・復元後のデータ容量が多く，通信，ビューワに負担がかかる
　・成功率が低い
という問題が顕在化している．山崎君たちの最終目標は「画像列を取得して送信ボタンを押したら，3分以内に3次元形状が送られてくる」というものであるが，達成への道はまだ見えていないかなという印象である．

　これまでの開発でも，たとえばノートPC，PDAで共通で使える3次元形状ソフトを探すというように利用可能なソフトの探索にも精力を取られている．共通に使えるものというのは確かに重要だし，ノートPCでもPDAでも動くということもそれなりに重要だが，この挑戦的な開発プロジェクトにとっての課題の本質にもっと精力を注いだほうがいいように思う．

　とりあえず，ピンポイントでいいからなんらかの実現妥当性 (feasibility) を示すようにしてほしい．そのためにはどこかで見切りが必要である．

１０．成果概要（終了時）

　12月中に，目標を実現妥当性のあるものにするために大幅な変更を行なった．

　・復元する形状は，対象とする物体の全体像とせず，ある視点から取得した1枚の画像内に映り込む範囲内とする．
　・人間がカメラから取得する画像列は，30枚程度とする (カメラを動かしながら約10秒間，画像列を撮影する)．
　・ビューワで提示する形状は，背景部分が平面で，物体の部分が3次元的な形状を持つ画像とする (閲覧するときは画像平面ごと動かして見る)．

　これにより，前期の問題点が以下のように解決した．

　・画像枚数が少なく，全体像を出す必要がなくなるため，形状復元にかかる処理時間が減る．
　・画像枚数，復元後のデータ量が少なくなるため，通信，ビューワへの負担が減る．
　・画像枚数が少なくなるため，形状復元を失敗する可能性が減る．従来の復元方法は，途中まで復元ができていても，どこかの画像一枚でうまくいかないとそこで処理が終わってしまっていた．

　このような目標なもとで以下の開発を行なった．

(1) CoSMO Capture (動画の取得) の開発

　3D-CoSMo専用の動画キャプチャソフトを開発し，PCに接続した小型カメラにより取得する方法を採用した．CoSMo Captureはユーザが容易に操作できるよう，ビデオカメラを模したシンプルなグラフィカルユーザインタフェースを備えている．本プロジェクトではLinux，WindowsノートPCや，PDAに対応するためこれらの携帯端末に共通して利用できるGUIツールキットQTを用いた．また，OSや利用できるカメラ等に依存する部分は切り離せるようになっている．

　CoSMO Captureは取得した動画をTCP/IPとJpeg圧縮を用いて直接サーバに転送する機能ももっている．

(2) 3次元形状復元システム

　サーバでは送られてきた動画に対し，以下の流れで形状復元処理を行なう．

　[1] 動画を多数枚の画像列 (以下連続画像) に見立て，それらの連続画像から特徴点を抽出・追跡する．
　[2] 複数枚の画像から抽出・追跡した複数個の特徴点情報を用いて，コンピュータビジョン分野の手法による形状復元処理を実行．動画取得時のカメラ位置・姿勢の変化と特徴点の3次元データを得る．
　[3] 推定したカメラの位置・姿勢データを利用して，ステレオの原理により，写りこんだ物体の密な形状を復元する．

　技術的詳細はここでは省略するが，本システムでは，人間がカメラを動かし画像を取得するため，後者のカメラ位置・姿勢が未知な復元を行なわなければならない．すなわち，復元処理をおこなうために利用できるデータは，画像内から取得するしかないという制限があることに注意しておく．これに対して既存の方法のいいとこ取りをした手法を開発した．

(3) 3次元ビューワによる閲覧

　3次元ビューワは，サーバから送られてきた3次元形状のデータを正確に表示し，かつ，表示用のGUIを操作することでデータを閲覧する人間の望む任意の視点での3次元形状を表示する機能を有している．これにより，人間が普段行っている物体の認識に近い状況を再現できる．3次元ビューワの実装にはLinuxでもWindowsでも動作するOpenVRMLを使用した．

(4) 実験と評価

　対象物をグローブとした実験を行なった (山崎 図4)．ここでは，内部ネットワークを構成し，動画の送受信は，無線LANにより行なった．ノートPC (Interlink CPU 1GHz) にUSBカメラを装着し，CoSMo Captureから動画を取得した．このときのフレームレートは3.3fpsであり，画像の合計枚数は30枚，所要時間は約10秒であった．画像取得後，サーバに動画を転送した．転送の所要時間は約5秒であった．画像データは640x480pixel．

山崎 図4　グローブ撮影

　サーバはこれを30枚の画像として処理した．動画を送信した50秒後には3次元形状が返信できた．

９．ＰＭ評価とコメント（終了時）

　このプロジェクトには随分心配させられたが，最終報告会でのプレゼンとデモは (心配させられた分だけという説があるかもしれないが) PMにとって衝撃だった．当日は3人の共同開発者のうち，大野君が来れなかったのだが，彼の顔が3次元形状として聴衆の前に現れたからである (山崎 図5〜7)．大野君はこのために10秒間じっとまばたきをしないで撮影されていたとのこと．ちなみに，カメラは大野君から少し離れて30センチぐらい横にゆっくりスイングしただけである．これだけで，3次元形状復元ができてしまっている．(白いベールを被っているように見えるのは，背景との干渉によるものらしい)．人間の手で動かしているから，カメラの軌跡はまるで不規則だということに注意しておこう．

山崎 図5　大野正面

山崎 図6　下向き

山崎 図7　希望のまなざし

　報告会では，その場で人の顔のデモ撮影が行なわれた．撮影10秒，復元40秒など，要するに1分あまりで自由に3次元ブラウズできるモデルが帰ってきた．やはり，リアルタイムのデモは説得力がある．

　大野君の3次元画像は抜群の品質とはもちろん言えないが，中間時点での画像 (山崎・図2〜3) に比べると圧倒的に品質が向上したことが一目瞭然である．約2ヵ月間でよくここまで進展したものだと感心する (しかも処理時間が約1桁短くなっている)．

　PMは採択理由や中間コメントで，一体このシステムにどんなキラー的な用途があるのかを繰り返し述べていたが，これくらいの品質のものがこれくらいの時間でできることがわかったら，十分に遊べるものができそうだ．報告会場に来ていた多分ベンチャー系の人の発言「これが携帯に載れば，若者に絶対受けます．ぜひ頑張ってください」に山崎君たちは多いに力づけられたと思う．PMもなるほどそうかもしれないと思うようになった．若者の文化は若者にしかわからないところがある．

　2台 (あるいはそれ以上) の携帯による立体撮影のアイデアが会場から出ていた．これも見込みがありそうだ．実際，山崎君の説では3次元復元がかなり楽になるはずだという．いずれにせよ，原理的にある程度できることがわかったので，あとのところはメーカーの技術者に任せてしまうという方法があるかもしれない．もちろん，山崎君自身でさらなる改良を続けていくのもありだ．

　不安を裏切って，面白くなったプロジェクトだった．

★★ スーパークリエータ: 挫折するかと思われたプロジェクトを途中で見事に軌道修正して，短期間で誰が見ても面白いというところまで仕上げた．プログラミング能力だけにとどまらない基礎技術もあった．