IPA


開発成果一覧へ

 



2005年度下期 未踏ソフトウェア創造事業  採択案件評価書

 


1.担当PM

   中島 秀之 (公立はこだて未来大学 学長)


2.採択者氏名

開発代表者

  近藤 秀樹  (中京大学大学院 情報科学研究科 博士課程)

共同開発者

 小出 洋   (九州工業大学 情報工学部 助教授)


3.プロジェクト管理組織


  株式会社 創夢


4.委託金支払額


 7,200,000


5.テーマ名


  履歴の高度利用のための3次元GUIベースの情報環境の開発

 


6.関連Webサイト


  http://www.mind.sccs.chukyo-u.ac.jp/~hkondo/necologger.html
  http://k-www.mickey.ai.kyutech.ac.jp/cosmo/


7.テーマ概要


 計算機上での活動の履歴を高度に活用する3次元GUIベースの情報環境を実現する。このシステムは履歴の中で時間軸上に分散している活動の情報をつなぎ合わせ、一連の意味のあるまとまりとして取り出し、3次元的に視覚化することで、人が直面するさまざまな問題解決に役立てるものである。

 計算機上での活動履歴の中には、当面の問題解決に役立つ情報が多く含まれており、適切な手段でこれらを取り出して、人の活動を支援することの有用性はこれまでにも示されている。本提案の前身の一つであるNecoLoggerでは、アプリケーションにとらわれずに履歴を蓄積し、活動環境全体に分散していた情報を関連付け、一連の関係する活動を取り出すことができていた。しかし時間的に離れた一連の活動を関連付け、まとまったものとして扱って、そこから有益な情報を取り出すことは難しかった。また、取り出した履歴情報の表示手法も、平面上に検索結果のリストや画面イメージを並べるといったものであったため、大量の断片的な情報を適切に扱えるものではなかった。
 本開発では、履歴の中から一連の関連する活動を自動的、半自動的に取り出し、それらの活動をまとめて3次元的に視覚化し大量の履歴をより見やすく提示して、履歴の効果的な活用を実現する。


8.採択理由


 本提案は2004年度第2回(下期)の二つのプロジェクト「計算機上での活動履歴を利用する記憶の拡張」と「三次元GUIスタイルの提案とその開発環境の整備」が合体した発展形である.前者の弱点であったデータの検索システムを後者の成果を使うことにより補強することが提案のベースになっている.しかしながら提案はそれに留まらずスケジューラとの有機的合体による記憶補助,記録によるスケジュールの補助などに発展している.また,テキストデータの格納により検索可能範囲を広げると共にデータ量の実用レベルまでの削減を可能にするなど,新たなアイデアも盛り込まれている.

 


9.開発目標


計算機上での活動の履歴を高度に活用する3 次元GUI ベースの情報環境を実現する。このシステムは履歴の

中で時間軸上に分散している活動の情報をつなぎ合わせ、一連の意味のあるまとまりとして取り出し、3 次元的に

視覚化することで、人が直面するさまざまな問題解決に役立てるものである。

計算機上での活動履歴の中には、当面の問題解決に役立つ情報が多く含まれており、適切な手段でこれらを取り出して、人の活動を支援することの有用性はこれまでにも示されている。しかし従来の履歴利用の手法は、関連する情報をキーワード検索などで断片的に取り出すことが主なものであった。そのため、有益な情報が取り出しにくく、履歴の中の情報を十分に活用できない場合があった。本提案の前身の一つであるNecoLogger では、アプリケーションにとらわれずに履歴を蓄積し、活動環境全体に分散していた情報を関連付け、一連の関係する活動を取り出すことができていた。しかし時間的に離れた一連の活動を関連付け、まとまったものとして扱って、そこから有益な情報を取り出すことは難しかった。また、取り出した履歴情報の表示手法も、平面上に検索結果のリストや画面イメージを並べるといったものであったため、大量の断片的な情報を適切に扱えるものではなかった。画面の切り替えや絞込検索などを併用しなければならず、効果的なブラウジングは困難であったため、有益な情報を得るのに時間や手間がかかり、時には必要な情報を見落とす場合があった。

本開発では、当面の活動に関連する断片的な履歴をひとまとまりの活動として取り出すことを可能にする。履歴を一つの連続した活動としてつなぎあわせることにより、旧来の履歴活用システムを用いるだけでも二つの利点がある。一つは、ブラウジングが劇的に容易になることである。これまでの履歴活用システムRetrospector では、時間軸に沿ってブラウズできることが重要なポイントであったが、履歴データが関係のない活動に切り替わった場合、適切にスキップすることができなかった。活動のまとまりで履歴を再構成することにより、関係のない活動を飛ばして、注目している活動だけを追うことができる。もう一つは、キーワード検索に活動の文脈を設定できるようになることである。これまでの検索は単純なキーワードマッチであり、言葉が用いられている文脈は考慮されなかった。そのため、ユーザが必要としていない情報が大量に出力されることになり、有益な情報を取り出すことが困難になっていた。履歴を再構成して特定の一連の活動だけを検索の対象にすれば、関係のない情報を大幅に

抑制できると考えられる。

本提案ではさらに、それらの再構成された履歴を新たに3 次元的に視覚化し、効果的に履歴情報を活用できる環境を実現する。3 次元的な視覚化には、本開発の前身の一つであるコスモスケジューラD の開発成果を利用する。時間軸上に履歴のデータを対応付けて表示し、関連する活動全体をすばやく把握できるような環境を構築し、情報のブラウジングをよりスムーズに行えるようにする。

まとめると,本プロジェクトの目的は、従来は断片的にしか取り出せなかった活動をタグ付けなどによって構造化し、併せて3 次元表示を用いたブラウジングなどによって、一連の活動のまとまりを取り出し易くし、これまで以上に履歴を有効活用できる環境を実現することである。そのために、以下のような特徴を実現する。

(1) 履歴にタグを付けて構造化し、一連の活動をまとまりとして取り出せるようにする。

(2) 3 次元的に情報を視覚化して提示する。

(3) 画面上に表示されているすべてのテキスト情報を記録してキーワード検索そのものを強化する。


10.進捗概要


ほぼ予定通りに進み,初期の目標を達成した.

 


11.成果


() 履歴記録システムの拡張

 

(1) タグ付けによる活動履歴の構造化

大量の履歴情報をさまざまな手法で統一的に構造化するため、活動履歴にタグを付与することを基本設計に採用した。本開発では、活動履歴に付与するタグを1.手動での明示的なタグ付け、2.活動を振り返る履歴を利用したタグ付け、3.スケジュール情報との関連付けによるタグ付け、4.タグ付けされた情報を利用した知的な推定に基づくタグ付け、の4 種類とした。

タグを使った構造化には、定型的な情報を高速に扱う必要がある。そのため、SQL ベースのリレーショナル・データベースを採用した。具体的には、SQLite という組み込みデータベースエンジンを利用した。SQLite C で記述された組み込みデータベースライブラリであるが、非常に多くの言語から利用できるインタフェースが用意されており、その中にはJava .NET も含まれている。どちらの言語からも簡単にデータベースを利用でき、タグ機能を予定通りに実現することができた。動作も大変高速なものになった。

 

(2) 画面上のほぼすべてのテキストの記録

OS のシステムコールをフックすることで、画面に描画されるほとんどすべてのテキスト情報を記録した。画 面に文字列を描画するシステムコールをフックしておけば、全てのウィンドウに再描画メッセージを送ることで、ウィンドウに表示されるべきテキスト情報を横取りすることができる。

既存のNecoLogger に実装されていた画面ダンプを行うオブジェクトを拡張することで画面テキストの撮影を実装した。この部分の実装にはVisualBasic .NET を利用した。OS のシステムコールをフックするモジュール

は、文献を参考にして開発を行った。この部分はVisual C++で実装した。

 

             

 

(3)全文検索の高速化

本開発では画面テキストを記録するようになったため、これまで以上に多くの履歴情報を検索できるようにしなければならない。そのために全文検索エンジンをベースにした履歴データベースを設計した。

高速に履歴を検索可能にするために、全文検索エンジン Lucene.NET Retrospector に組み込んだ。本プロジェクトでは、履歴を3 次元的に視覚化する機能をJava で開発しており、活動履歴データベースを.NET Java の双方から同時にアクセスできる必要があった。Lucene.NET Java で実装された全文検索エンジン Lucene .NET 環境に移植したものであり、検索データベースをJava .NET から同時に共有することができるという特徴がある。そのため本プロジェクトの目的に適している。履歴は長期間記録するほどに役立つという性質があると思われるが、このエンジンは100 万件以上の文書の検索にも対応しているため、履歴探索システムには適している。そのため、Lucene を中核として活動履歴データベースを実装した。

テキスト情報をすばやく扱うことができるようになったため、それを応用した「検索キーワード提案機能」を試作 した。この機能はユーザの最新の活動から頻出するキーワードを自動的に取り出し、キーワード検索のために提案するものである。

 

                  

検索を補助するために、システム側からキーワードを抽出して提案する

 

(4) 履歴探索システムのユーザインタフェースの刷新

現実にRetrospector を長期間利用しているユーザに対して非公式にインタビューし、大雑把ではあるがウィンドウの推移を中心として操作のプロセスを分析した。その結果、ウィンドウを統合し、検索結果を最初からビジュアルに表現したほうがよいことが分かった。そのため、これまで分割して提供されていたウィンドウを統合した新しいビューを設計した。

また、過去をサムネイルのブラウズによって振り返るときに、24 時間表示以外はほとんど使われていないことがわかったため、コマンドボタンの階層構造を変更した。カレンダーもほとんど使われないことがわかったため、表面から隠し、シンプルな画面デザインを行った。また、連続する活動を検索結果上で折りたたむことで、見かけの検索件数を減らす設計を行った。

データベースアクセスや情報の表示などの基本的な機能は既存のコードを再利用した。しかしユーザインタフ ェースについては新規に開発を行った。

実際のユーザの利用を通じてインタフェースを改善することができた。平面的な情報の提示であっても、現 実の利用にあわせてインタラクションを最適化することで、増大した情報量にある程度対応できるようになった。開発したシステムの画面イメージを以下に示す。

 

       

 

    

   

   

() 3 次元視覚化機能の実現

従来のRetrospector で採用されている2D Widget ベースのGUI では、表示されている内容が時間の流れとは直接は関係がないため、ユーザが自分で時間の流れのイメージを持ちながら操作する必要があった。一方、CosmoScheduler D の放物線で表される時間軸上で動きを伴って表される3D ベースのGUI では、時間の流れのイメージを掴みやすい。

そのため、今回のプロジェクトでは、NecoLogger における強力な活動履歴記録機能、Retrospector における強力な活動履歴集計機能と、CosmoScheduler D のエモーショナルな3D インタフェースを結びつけることにより、

ユーザに時間の流れのイメージを掴みやすくした。

Cosmo Scheduler D にサムネイル表示機能、サムネイルメモ機能、プロセス履歴視覚化機能の3 つの機能を追加拡張した。

 

   

(1) サムネイル表示機能

NecoLogger が記録して、Retrospector が処理して作成した画面イメージを、自由な操作感をもって閲覧できるようにした。Retrospector が予め作成してある任意の時刻の画面イメージのサムネイル画像をCosmoScheduler D の放物線軌道の一番外側に配置し、必要に応じて詳細な画面イメージを表示するようにした。

 

l        任意の時刻のサムネイルを表示

表示するサムネイル画像の時刻の指定の仕方を以下のように複数用意し、自由度を向上した。

・ サムネイル画像が表示されている軌道からポップアップするパイメニューにより、時刻から30 分過去に戻ったり、30 分先に進んだりすることができる。

・  日付パネルにおいて、右クリックに割り付けられたダイヤルにより時刻を指定できる。

・  予定(惑星)からポップアップするパイメニューにより、その予定が登録されている時刻を指定できる。

 

   

l        紙幣の束をめくるような操作感

マウスカーソルで重なって並んでいるサムネイル画像をなぞるとサムネイル画像が一瞬上がり、徐々に戻る動きをつけた。これにより、紙幣の束(札ビラ)や文庫本を指で連続的にめくるエモーショナルな操作感を実現

し、サムネイル画像をすばやく閲覧できるようにした。

l        タグ表示機能

タグがつけられている時刻のサムネイル画像に目印となる色付きの線を付けた。これは自分が覚え易い色にマウスホィールを回転させることにより変更可能とした。タグが付与されたサムネイル画像は遠くからでも非常に見付け易く、分り易い。

l        拡大表示機能

サムネイル画像により選択した時刻の画像を詳細にみたい場合、その画像を左クリックするだけで、メインビューワに詳細画像を大きいサイズで表示できるようにした。

3D GUI を操作して、近付いたり、左右上下に視点移動したりすることにより、詳細画像を容易かつエモーショナルに観察できる。

 

   

 

l        表示/非表示の切り換え機能

サムネイル画像の表示が必要の無いときには、後で述べるプロセス履歴表示の邪魔にならないように、太陽や軌道からポップアップするパイメニューにより、表示/非表示を簡単に切替えられるようにした。

 

  

(2) サムネイルメモ機能

ユーザが重要なサムネイル画像を保存できるようにするため、表示中の任意のサムネイル画像のコピーを作り、Cosmo Scheduler D 3D 空間内に奥行きを含めて自由に配置できるようにした。

この座標情報は Retrospector と共有のリレーショナル・データベースに保存され、例えばRetrospector のカテゴリ分類などに役立てることができる。Cosmo Scheduler D 立ち上げ時にこの情報が読み込まれ、サムネイ

ル画像のコピーが元通りに再配置される。

 

(3) プロセス履歴視覚化機能

Cosmo Scheduler D に登録されている予定(惑星)と関連付けて実際に何をしていたのか閲覧するため、Retrospector が集計した一日分のプロセス実行履歴を可視化する機能を実装した。

このプロセス履歴可視化機能は、日付パネルからポップアップされるパイメニューから起動される。起動時 間が長かった上位幾つかのアプリケーションの実行履歴を縦方向に並べ、Cosmo Scheduler D の軌道の外側に1時間おきに小さい球で表示される。その球はアプリケーションがその時刻で実行中であったとき色が付けられる。カーソルが球に合わさったとき、アプリケーション名と時刻を表示する。

 

   

さらにパイメニューにより当該時刻のサムネイル画像を表示することができる。

 

() ユーザビリティ評価・検討

ソフトウェアの評価には開発と同程度の工数が必要であると考えている。このため、開発初期段階から、問題はあるが機能する版を頻繁にリリースし、実際に使っていく中で問題点を検討することとした。機能が追加されたりバグが解消されたりしたら、そのつどチーム内にリリースし、日常的に利用する体制でテストを行った。ユーザビリティ上の改善点などもバグトラッキングシステムなどで管理することとした。

プロジェクト全体として、問題報告用のML wiki を用意しておき、簡易に報告ができる体制とした。また、ソフトウェアをリリースするたびに開発関係者全員にアップデートすることを強く要請して、問題点をメイリングリストで集約した。データ整理を担当する作業者がその情報を整理して、wikiにまとめた。


12.プロジェクト評価


本プロジェクトは前年度の未踏プロジェクト、すなわち、(1)画面履歴の保存と利用、(2)3次元ユーザインタフェ

ース、の二つを合体させることにより、画面履歴の有機的検索活用を可能とすることが目標であった。その目標

は十分に達成されたと考えている。

画面全体にわたるテキスト情報の取得が実現できた。これによって、人がPC 上に展開している活動をテキスト情報として環境全体に渡って記録することができるようになった。これにより、ユーザの活動の場面を画面イメージ以外の手段で記録できるようになり、履歴を活用する手法の幅が広がったといえる。検索機能に関しても,従来のRetrospector に比べて、最低でも10 倍以上、速い場合で100 倍程度に高速化することができ、ストレスなく履歴を検索することができるようになった。また、テキスト情報をすばやく扱うことができるようになったため、それを応用した「検索キーワード提案機能」を試作することができた。

また、3次元UI 実装の結果、紙幣をめくる操作感を実現することができた。

本プロジェクトの成果をまとめると以下の2点になる。

 

(1) ユーザが自分で活動履歴を構造化できるようになった

手動タグ付け、メタ履歴によるタグ付け、スケジュール情報との関連付け、という3 つの手法によって、時間軸上で飛び飛びに記録されている活動をつなぎ合わせることを実現した。特に、スケジュール情報と関連付けて活動を構造化することにより、既存のシステムよりも現実的に過去の活動を参照することが示された。

一方で、後で取り出した活動履歴の一部にも新たなタグを付与しておけば、もう一度同様の問題に遭遇したとき、そのタグを手がかりにして活動を取り出せる。本開発では以下に示す機能でこのことを支援した。

 

- 手動タグ付け

手動で特定の場面にタグをつける手法が実現されている。例えば、プリンタが不具合を起こした場面に「プリンタがおかしくなった」というタグを付与しておけば、次回からプリンタが不調になったとき、このタグを頼りにして活動を再利用することができる。

 

- メタ履歴

人が振り返った活動履歴に自動的にタグを付与することで、次回以降の探索を容易にする手法である。プリンタのトラブルを解決しようとして過去の活動を振り返っている場面を検討する。キーワード検索やブラウジングによって、過去の活動を取り出した結果、1000 枚以上の画面イメージが取り出されることも少なくない。これらの活動をすべてブラウズするのは非現実的であるが、数十枚の画像をブラウズした時点で、当面の問題解決が達成できたとする。このときブラウズした画面イメージや関連するテキス

ト情報にタグを付与しておけば、次回以降、最初からその数十枚だけを探せばよいことになる。当然、ブラウズの過程で関係のない活動を開くこともあり、ノイズも含まれることになるが、相対的には有用な情報の密度が濃いものとなる。

 

- サムネイルメモ

有用な活動の場面そのものを切り離してまとめておき、後で読む手法が3次元環境に実現されている。活動を振り返っている最中に、有用そうな活動だがあとでまとめて検討したい、というような場合がある。プリンタの問題解決を振り返っているとき、当面の問題解決に役立ちそうに思える場面を見ても、それが本当に即座に役立つかどうかは確信が持てないことが珍しくない。そのような「疑わしい」活動はとりあえずまとめておいて、後からゆっくり吟味するほうが簡単で自然である。改良版Cosmo SchedulerD では、3 次元空間に提示されている活動を直接マウスで取り出し、適当な空間に並べておくことができる。関連する活動や後で見直したい活動を空間に配置することで、人が自然だと思う形で活動を整理しておき、再利用することができる。

 

(2) 構造化された履歴を3 次元的に視覚化した

活動履歴を3 次元的に視覚化したことにより、過去の活動の分布を簡単に理解できるようになり、画面イ   

   メージに近寄れば詳細を調べることができる。去年参加した学会にもう一度参加しようとしたとき、関連する活動に合計でどれくらい時間を使ったのか、そのときどこに苦労したのか、などといったことが理解できるようになり、今年の締め切りと照らし合わせて、どの程度の時間を割くべきか、あるいはどの程度前から活動し始めるかを決めることができるようになる。

一方、3 次元視覚化が有効に働くのは、一連の活動が思うように構造化されている場合だけではない。具体的には、スケジュールにのっとって論文を書く活動をしていて唐突にプリンタが不調に陥ったような場合を考えることができる。この事例は、本プロジェクトの前身で履歴が有効に働いた場合の事例に似たものである。このときユーザは、連続的に異なる活動に移行する。ユーザ自身は論文執筆の活動が破綻したことに気づかず、そのままプリンタの不調を解決しようとし始める。プリンタが不調になることはスケジュールされたことではないため、適切なスケジュールのラベルに切り替えることもない。そのまま適当な区切りがつくまでプリンタの診断を続けるだろう。そして別の活動のあと、再度診断をはじめるかもしれないし、代わりのプリンタを買ってきてセットアップするかもしれない。このとき、一連の活動には「第5 回認知科学国際会議」というタグがついているが、「プリンタのトラブル解消」というタグはついていない。プリンタのトラブルは自分で解消しているので一度限りのものであると考えるのが自然である。わざわざタグをつけて整理しておくべき理由もないため、手動のタグ付けもされていない。

この場合、ユーザは時刻を手がかりにして検索条件を絞り込むことができるかもしれないが、最終的には多くの画面イメージを順に見ていくことで問題解決活動を取り出すことになる。これまでのRetrospector では平面に格子状に大量のイメージが並ぶが、時間軸を折り返して配置しているため、自分で時間の流れをイメージしながら画面をスクロールさせる必要があった。それに対してCosmo Scheduler D では、滑らかな放物線で連続的に多くのイメージを並べることができる。そのため、従来Retrospector で行われていたブラウジング主体の使い方であっても、より多くの活動を一度にスムーズにブラウズでき、結果として目的とする活動を取り出しやすくなる。改良版CosmoScheduler D では、さらに、サムネイルをマウスでなぞることで次々にサムネイル画像をめくりながら閲覧する機能を盛り込み、すばやく活動全体をプラウズできるようになっている。


13.今後の課題


現状でほぼ実用可能なため、特に積み残した課題はない。現状では1年間のデータをすべて格納するのに

100GB オーダーの記憶容量を必要としている。100GB クラスのポータブルタイプのHDD が出始めている今、こ

のままで使用することも可能である。しかしながら、欲を言えばもう少し画像データを圧縮し、必要記憶容量を減ら

せばより気軽に利用できるようになろう。

また、Google などの企業と提携し、オンラインでサーバに記録を格納するサービスも考えられる。

 

  ページトップへ   

 

 

 


  Copyright(c) Information-technology Promotion Agency, Japan. All rights reserved 2004