IPA


開発成果一覧へ

 



2005年度下期 未踏ソフトウェア創造事業  採択案件評価書

 


1.担当PM

   長尾 確 (名古屋大学 情報メディア教育センター 教授)


2.採択者氏名

開発代表者

  川北 奈津 (フリー)

共同開発者

  鈴木 宣也 (情報科学芸術大学院大学 講師)


3.プロジェクト管理組織


  株式会社 リオ


4.委託金支払額


  4,872,390


5.テーマ名


  ブロック型表示インターフェースの開発における位置認識システムの研究  −からくりブロック−

 


6.関連Webサイト


  http://www.karakuriblock.com/


7.テーマ概要


 本研究はブロック型表示インターフェースの研究開発を通し、今後必要とされる要素技術の研究を目的としている。我々は2003年よりブロック型表示インターフェース「からくりブロック」の開発を行ってきた。
 「からくりブロック」は知育メディアとして有用であり、また、場所やシーンによってコンテンツを変えることができ、汎用性のあるシステムと言える。

 「からくりブロック」は、独立した2つのディスプレイ同士を並べて組み合わせると映像が表示され、ブロックのメタファを用いて映像を組み合わせながら体験できる。 また、2つのディスプレイを1つのつながったディスプレイとし同期させた映像を見せることができる、これまでにない新しい装置である。

 今後開発すべき項目として、平面的なブロックの配置から立体的にブロックを積み上げる立体化への展開とブロックの位置関係や向きの認識あるいは互いの通信処理、 2つ以上のブロックよる複数化など上げられる。 今回のプロジェクトでは、「からくりブロック」に必要となる要素技術の一部を取り上げ開発の提案をする。

1.
平面から立体化へ展開
2.
ブロックの位置関係の認識あるいは通信処理の開発研究


8.採択理由


 物理的なオブジェクトを操作することで、情報処理が連動し、文脈と関連したコンテンツを表示するシステムは、これまでにも数多く提案されてきた。ただし、それらのほとんどが、ディスプレイ装置が埋め込まれたテーブルの上でのみ操作可能なものであった。その点を改善し、物理オブジェクト自身が表示機能を持ち、場は位置関係などの文脈情報しか持たないという点が新規である。今後は、オブジェクトの組み合わせに応じて多様に変化するコンテンツをいかに容易に作成し、インタラクティビティを強化するか、という問題に力点を置いて欲しい。ハードウェアの開発から、コンテンツやツールなどのソフトウェアの開発に大きくシフトすることを条件に採択とする。

 





9.開発目標


本研究はブロック型表示インタフェースの研究開発を通し、今後必要とされる要素技術の研究を目的としている。我々は2003年よりブロック型表示イ ンターフェース「からくりブロック」の開発を行ってきた。「からくりブロック」は知育メディアとして有用であり、また、場所やシーンによってコンテンツを変えることができ、汎用性のあるシステムと言える。「からくりブロック」は、独立した2つのディスプレイ同士を並べて組み合わせると映像が表示され、ブロックのメタファを用いて映像を組み合わせながら体験できる。また、2つのディスプレイを1つのつながったディスプレイとし同期させた映像を見せることができる、これまでにない新しい装置である。

「からくりブロック」のインタフェースは複数のマス目を持つ基盤と2つのブロックから構成される。ブロックを基盤に配置すると、画面に映像が映し出される。「「からくりブロック」」の特徴は、2つのブロックを互いに隣接する位置に配置した場合、2つの画面の映像がつながり、画面の大きさが2倍になり、2つの画面を1つの画面に見立てて映像が表示されることである。図5−1のように、基盤上に2つのブロックを並べて置くと、映像がつながって見える。また、ブロックの向きを4方向に回転することができ、位置関係だけではなく、向きに対応したコンテンツの表示も可能である。

「からくりブロック」で使用できるブロックは、2つの実装を実現している。また、ブロックの向き情報の取得ができ、90度ずつ4方向にブロックの状態を把握できる。これらのブロックの特性を更に活かす為、立体化、複数化、基盤形状の自由化(ブロックのみでの動作も含め)などが課題である。

 

 

図5−1「からくりブロック」の操作

 

従来の映像表示装置は1画面に対して一つのコンテンツを表示している。これに対して、「からくりブロック」では、2画面、3画面と複数の画面をつないで映像をみていく仕組みである。「からくりブロック」の面白さは、複数の画面の位置関係によって、表示する映像も変化させることができる部分にある。

位置関係や状態変化に応じて変化する環境を操作したり、編集したり、プログラムしたりすることによって、人と環境との相互作用を作るような情報技術が考えられる。しかし、この概念の一部として、独立したコンピュータ同士がそれぞれの位置やつながりに応じて映像を変化させるシステムを構築することで、物と物同士のコミュニケーションによって作られる創発的な創造的空間の実現を目指す。その第一段階として、独立した複数のディスプレイの関係によって生み出される映像・コンテンツを実現する。本プロジェクト以前の「からくりブロック」では既存のソフトウェアを使用しコンテンツの作成と再生を実現してきたが、この新しい概念に対応するコンテンツ作成ソフトウェアが必要とされる。

また、従来の「からくりブロック」では、上記のことを擬似的に行ってきた。本プロジェクトでは、独立した複数のコンピュータの位置関係を認識して、コンテンツを表示するための一連のシステムと新しい概念に基づいた映像作成ソフトウェアを開発する。このソフトウェアを使用し、一般ユーザーがコンテンツを作成でき、また、そのコンテンツを体験することを目指す。

 


10.進捗概要


本プロジェクトでは、使用したデバイスに対応した専用のコンテンツ作成ソフト(以下 KBEと呼ぶ)の開発と同時に、コンテンツの表示再生ソフト(以下 KBPと呼ぶ)、および位置認識システム(以下 KBSと呼ぶ)を開発することによって、複数のディスプレイを組み合わせて映像がつながるようなシステムに必要となるツールの開発を行う。

「からくりブロック」の設計全体図を以下に示す。

 

 

図5−2.「からくりブロック」の設計全体図

 

位置認識システム(図5−3)にRFIDを使用し、PCにタグをつけRFIDリーダーにかざすと、サーバソフトがそれを監視し、各PCに位置とIDの情報を伝えPCの画面に映像が表示される。タグを複数のPCにつけることによって、各PCの位置情報を取得することが可能になる。この位置認識システムでは、PCの位置情報を取得することが可能であるため、お互いのPCの位置に応じて映像の表示を変えることができる。よって、複数の画面を隣接に配置した場合はお互いの画面の映像がつながるようなコンテンツを表示するためのプレイヤー(KBP)が必要である。また、複数の画面の映像がつながるようなコンテンツを作るためのエディタ(PBE)が必要となる。エディタは複数のディスプレイを介して映像がつながるようなコンテンツを作成する機能を持ち、このエディタによって作成されたコンテンツのデータはXML形式でファイルに保存される。XMLファイルをプレイヤーに読み込ませると編集したコンテンツを再生することができる。

 

 

図5−3.位置認識システム

 

図5−23に示したシステムとソフトウェアを開発した。ただし、映像表現においては、基本機能は実装できたが、細部の表現方法に関しては、実装しきれていない。

 


11.成果


1.RFIDを使用した位置情報システムの開発(KBS

 

RFIDを使用して、PCの位置情報を認識するためのシステムを開発した。

 

<設計>

・ネットワーク接続可能なRFIDリーダーを使用

・各RFIDリーダーの情報を統括するサーバソフト

・位置情報を各PCにネットワークを介して伝達するサーバの機能

 

<実装>

位置認識システムには、RFIDを取り入れることによって、ハードウェアを開発する負担を軽減した。今回、RFIDは株式会社 ラステーム・システムズのLCNV-RFID3を使用した。

(参考web: http://www.rasteme.co.jp/product/network/lcnv-rfid3/lcnv-rfid3.html)

 

KBSRFIDリーダーの仕様に合わせ、TCP/IP接続にて各リーダーと接続を保ち監視する。リーダーはIDが読み込まれるとKBSにそのID情報を送る。リーダーはIDの読み込みに関しては反応するが、リーダーからPCが外れたかどうかの検出をすることはタグから検出することはできないが、入出力デバイスの機能を備わっており、焦電センサにてPCがリーダーの上にあるかどうかを検出する機能を付加した。これにより読み込まれたタグと状態を監視することができる。

リーダーは固定IPを指定する必要があり、またそのIPリストをファイル(server.txt)に列挙することで何台のリーダーでも増減することが可能である。

図5−4 RFIDリーダー                図5−5 組み込んだ焦電センサ(左:RFIDアンテナ、

:焦電センサ)

 

またKBSは各PCに状態を伝達するための機能を実装した。RFIDリーダーとの通信にはTCP/IPを選択したが、各PCとの通信はUDPを使用した。UDPを選択した理由は、KBSKBPとのやり取りと同時に、KBP同士、映像の同期を得るためにも通信する必要があり、それと仕様を合わせたかからだ。またPCとタグとの対応関係をファイル(card.txt)に列挙することで、対応付けすることができ、またPCの台数の増減を指定することができる。

よって、KBSRFIDリーダーを統括し、KBPへ情報を配信するハブの役目を果たす。またRFIDリーダーはIPの個数に応じ増減することができ、またKBPの動くPCの増減にも自在に対応することができる。

 

<評価>

RFIDを用いたことによって、位置関係の取得が容易になった。

RFIDリーダーの増減が可能になり、自在に形を作ることができる。

PCの個数に限定することなく、複数のPCの位置認識に対応できる。

・コンテンツの表現の方法に応じて、インターフェースの位置関係を自由に変更することができる。

 

2.コンテンツ編集ソフトウェアの開発(KBE

 

「からくりブロック」におけるコンテンツ編集ソフトウェア

 

<設計>

・映像制作のための素材画像の登録

    1画面でのアニメーション

-ディスプレイ(A)を1つ配置したときに再生されるループアニメーション

    2画面でのアニメーション

-ディスプレイ(A)(B)を2つ配置したときに再生されるアニメーション

    3画面でのアニメーション

-ディスプレイ(A)(B)(C)を3つ配置したときに再生されるアニメーション

    アニメーションの書き出し

 コンテンツの編集後、XML形式のファイルへ保存。

 

<実装>

アニメーションの素材画像の登録:イメージを任意の場所から読み込み、ステージ上に配置する。素材画像として背景やキャラクタなどの登録が可能である。

 

アニメーションの作成:

>1つのディスプレイを配置したときのアニメーションは、1つの画面の状態でキャラクタを配置し、フレームを追加し、キャラクタの位置を動かすことで、連続した動きを作る。

 

アニメーションの保存:

XML形式のファイルに書き出す。アニメーションの記述形式については4.4で述べる。

以下に、KBEの具体的な操作手順を説明する。

 

@KBEを立ち上げると図5−6の画面になる。

 

図5−6エディタの初期画面

 

 

A素材画像を読み込み、その素材をステージ上に配置し、背景をつくる。

 

図5−7イメージの登録

 

 

B1つのディスプレイ上で再生する場合のアニメーションの作り方(A):

ステージの1画面の状態で背景を制作後、キャラクタを配置しアニメーションを作成。

図5−8 1画面の編集(左)

 

C1つのディスプレイを配置した場合のアニメーションの作り方(B):

ステージの2つ目の画面を編集する。Bと同様に1画面の状態で背景を配置後、キャラクタを配置しアニメーションを作成。

図5−9 1画面の編集(右)

 

D2つのディスプレイを配置した場合のアニメーションの作り方(AB):

ステージの2つの画面を連結した状態で、キャラクタを動かす。

図5−10 2画面の編集

 

Eアニメーションの保存

編集終了後に保存すると、@〜D以上で編集したアニメーションはXMLの形式でファイルに書き出される。このタグ名をKBPMLとする。(図5―11

 

このシステムで使用する主要タグを以下に示す。

[主要タグ]

<cast>           イメージの登録:キャラクタや背景などステージ上で扱う素材

<position>       PCの位置:RFIDで取得した位置情報との連携

<background>            背景の配置:各位置に対して背景を決定

<action>        アクションの記述:キャラクタのアクション

 

位置関係に応じたアニメーションの定義には以下のタグを指定する。

<loop>        1つのディスプレイを配置したときのアニメーション

<left>         2つのディスプレイの位置関係において、左側にディスプレイがある場合

<right>       2つのディスプレイの位置関係において、右側にディスプレイがある場合

<lr>           2つ以上のディスプレイを配置し、かつ、両側にディスプレイがある場合

<top>          2つのディスプレイの位置関係において、上側にディスプレイがある場合

<bottom>     2つのディスプレイの位置関係において、下側にディスプレイがある場合

<tb>            2つ以上のディスプレイを配置し、かつ、上下にディスプレイがある場合

 

    <pos x=”数値” y=”数値”/> キャラクタの位置:キャラクタの位置座標(x,y)を指定することでキャラクタを動かすことができる。

 

このようにXML形式でアニメーションの状態を記述すると、次に説明する再生ソフトウェアでkbpml.xmlを読み込むことによって同コンテンツの再生が可能になる。

 

図5−11 XML形式で書き出されたファイル”kbpml.xml

 

3.    コンテンツ再生ソフトウェアの開発(KBP

 

「からくりブロック」のコンテンツ再生ソフトウェア

 

<設計>

KBEで作成したコンテンツの再生(XMLファイルの読み込みとアニメーションの再生)

KBSからの位置情報の取得

・各PCと映像の同期のための通信

 

<実装>

XMLファイルを読み込みタグに応じたアニメーションの再生機能を実装した。KBSと各PC

との連携のためUDPによる通信を実装するため、以下のプロトコルを設計し実装した。

 

KBSとのプロトコル

RFIDのカードに反応:          Cxy           x=card ID, y=card Reader (x=0,1,2... y=0,1,2...)

RFIDのカードがいない:        CxR           x=card ID (x=0,1,2...)

 

PCの同期プロトコル

アクションを起こす同期: Sxyz          x=card ID, y=story ID, z=action ID

 

<評価>

2で編集したアニメーションをPC上で動作を確認することができる。

KBEで作成したXMLファイルをKBPで読み込むと、作成したアニメーションが再生される。

アニメーションは場面ごとに同期し、キャラクタがディスプレイ間を移動しているように見える。

 

図5−12 KBPでの動作確認(ひよこと鶏が移動している)

 

<実行結果>

位置認識システムを使用して、動作させると次のようになる。

例えば、4つのディスプレイを図5−15のように配置すると4つの画面に映る映像が相互につながる。

図5−13 1つのディスプレイを配置した場合

図5−14 2つのディスプレイを配置した場合

図5−15 4つのディスプレイを配置した場合

 

 


12.プロジェクト評価


物理的なオブジェクトを操作することで、情報処理が連動し、文脈と関連したコンテンツを表示するシステムは、これまでにも数多く提案されてきた。ただし、それらのほとんどが、ディスプレイ装置が埋め込まれたテーブルの上でのみ操作可能なものであった。開発者らは、その点を改善し、物理オブジェクト自身が表示機能を持ち、場は位置関係などの文脈情報しか持たないという新しい手法でデバイスを開発し、そのデバイスのためのコンテンツのオーサリング環境を開発した点は評価できる。それらのシステムのすべての機能の有用性を検証するには至っていないが、実験を繰り返すことで本質的な機能が明確になっていくと思われる。

 


13.今後の課題


今後の課題は以下の通りである。

○データベースサーバの構築

KBEKBP間の連携をリアルタイムに行う

現バージョンではKBEで作成したコンテンツのXMLファイルを手動で移動し、KBPで再生しなければならない。この問題は、XMLファイルのデータベースを構築することによって解決できる。また、データベースサーバを通じて、XMLファイルをリアルタイムに編集し、再生することも可能である。

 

・コンテンツのデータ交換を行う

各ユーザーが作成したイメージやキャラクタの交換、ストーリーの交換を行うことができるようなデータベースを構築することが大きな課題である。コンテンツのデータ交換を行うシステムを構築することによって、複数のユーザーが一緒にコンテンツを作成することも可能になり、また同じデータをシェアすることにより、共同作業や素材の統一、素材の差し替えがスムーズに行える。

.16 今後の展開

 

○複数のディスプレイに対応するアニメーションの作成

・創発的なアニメーション

本システムでは、アニメーションの作成方法が2通り考えられる。1つ目は、配置するディスプレイの数を決定して、その個数に対応したコンテンツを作る方法である。2つ目は、ディスプレイが1個、2個、3個と増加した場合に、ディスプレイの数に限定せず、アニメーションが自動生成するようなコンテンツを作る方法である。前者は、現バージョンでほぼ対応することができるが、ディスプレイが増える毎に階乗にアニメーションの場合分けが必要となり、作成すべきコンテンツ量が極端に増加し、3個ないし4個以上のディスプレイに対応する映像を制作するのは現実的に難しい。後者は、位置情報や配置順序の情報によって創発が生じ、アニメーションが生成されるようなコンテンツを作ることで解決できると思われる。

 

○アニメーション作成機能の拡張

・表現方法の拡張

現バージョンでは、基本機能は達成している。今後の課題として、既存のソフトウェアに搭載されているような機能、例えば、モーショントゥーインなどの表現方法を取り込むことがある。これによって、より高度なアニメーションを作ることが可能になる。

 




  ページトップへ   

 

 

 


  Copyright(c) Information-technology Promotion Agency, Japan. All rights reserved 2004