未踏IT人材発掘・育成事業：2023年度採択プロジェクト概要（泉PJ）

1．担当プロジェクトマネージャー

• 稲見 昌彦（東京大学 総長補佐・先端科学技術研究センター 教授）

2．採択者氏名

• 泉 和哉（筑波大学人間総合科学学術院人間総合科学研究群情報学学位プログラム）

3．採択金額

• 2,736,000円

4．プロジェクト名

• 視線とキーボードで完結する高速なGUIポインティングシステム

5．関連Webサイト

• なし

6．申請プロジェクト概要

我々はグラフィカルユーザインタフェース（GUI）を通してPCとの対話を行なうことが多い。その操作にはマウスを始めとするポインティングデバイスが主に使用されるが、GUIでの操作においてポインティングの対象を認識し、マウスカーソルを移動させ、選択するという流れには少なくない時間が要求される。これはモニタの数や解像度が増えるとより顕著なものとなる。一方でランチャのようなプロンプトベースのツールや、Vimのような特定のキーバインドによってGUIの操作を行えるようにしているツールなど、キーボード入力を用いた効率的なGUIの操作手法がある。これらを用いることで、キーボード入力よってポインティングデバイスを用いた場合と比べてより効率的なGUIでの操作を可能にする場合があるが、ドラッグ＆ドロップに代表されるような複雑化したGUIでの操作は、キーボード入力だけでは効率的には行えない。

そこで本プロジェクトでは、ユーザの視線を組み合わせることによるマルチモーダルなインタラクションに着目する。ユーザの見ている点（注視点）を推定し、それをポインティングに活用することで、GUIにおける操作を効率化する。視線推定技術を活用したインタフェースはユーザが手を使わずに高速なポインティングをすることを可能にする一方で、その導入コストと精度の限界が普及の障壁となっていた。本プロジェクトではこの課題を解決するため、次の2つのシステムの構築を行う。

1. スマートフォンを用いたアイトラッキングシステム：スマートフォンをアイトラッカーとして導入し、専用のハードウェアを必要とせず、手元のデバイスだけでアイトラッキングを実現する。

2. ユーザの注視点とキー入力を組み合わせるGUI操作システム：ユーザのモニタ上の注視点とキーボード入力を組み合わせることで、要素やウィンドウの選択・フォーカス、ドラッグ＆ドロップなど、日常的なGUIでの操作を効率的に行うこと可能にする。また、現状の視線インタフェースにある精度や使いづらさの問題を解決するインタラクションの設計を目指す。

7．採択理由

視線インタフェースの歴史は古い。しかしながらカメラや計算能力の向上により、従来よりも簡便なシステムでそれなりの精度で視線検出を行うことが可能となりつつある。提案者は従来のポインティングデバイスに代えて視線を用いるインタフェースの実現を目指している。先行事例を挙げることはたやすいが、歴史を踏まえつつもカメラ付きのPC/スマートフォンが普及し機械学習機をカジュアルに使える現在の技術インフラで、誰もが使いたくなるようなインタラクションデザインにどこまでチャレンジできるかに期待しつつ採択とした。