未踏IT人材発掘・育成事業：2026年度採択プロジェクト概要（林PJ）

1．担当プロジェクトマネージャー

• 稲見 昌彦（東京大学 総長特任補佐 先端科学技術研究センター 副所長・教授）

2．採択者氏名

• 林 俊太（石川工業高等専門学校 電子情報工学科）

3．採択金額

• 3,024,000円

4．プロジェクト名

• 手の動作認識を用いたゲーム、及び、手に刺激を与えて没入感を向上させるデバイスの開発

5．関連Webサイト

• なし

6．申請プロジェクト概要

本プロジェクトでは、「手遊び」を主題としたコンピュータゲームを制作する。ここでいう手遊びとは、手を使って対象を表現したり、何かに見立てて動かしたりする行為を指す。本作では従来のコントローラを用いず、ユーザ自身の手を直接入力インタフェースとして利用する。ゲームはオープンワールド型を想定しており、操作の中心は手による「移動」と、手を別の存在や機能に見立てて扱う「バーチャル・ゼスチャ」である。
ゲーム内では、ユーザの手はデジタルツインとして空間内に再現され、探索や課題解決を行う。チュートリアルで提示されるのは基本的な移動操作に限られ、それ以外のジェスチャや活用方法は、プレイヤー自身が試行錯誤を通じて発見していく設計とする。これにより、あらかじめ定義されたコマンドを覚えるのではなく、手の表現とシステムの反応の関係を体験的に学ぶゲーム体験を目指す。
あわせて、没入感を高める専用デバイスも開発する。このデバイスは、手の形状や動きを高精度にモーションキャプチャし、ゲーム内の手のデジタルツインへリアルタイムに反映する。また、送風機構や超音波ハプティクスなどを用いて、移動時の空気抵抗、浮遊感、衝撃といった感覚を手にフィードバックすることで、視覚だけでなく触覚を含めたインタラクションを実現する。
多くのゲームは、チュートリアルによる操作学習と、その応用による攻略を基本構造としている。一方、本プロジェクトでは、幼児が環境との相互作用を通じて自然に学習する過程にならい、手遊びに対するシステムの応答を手がかりに、直感的に操作を獲得できる仕組みを目指す。発見と反応の反復によって学習が進む、新しいインタラクティブ体験の提案である。

7．採択理由

ハンドトラッキングを用いた直感的な入力と、それに連動する触覚フィードバックを統合したインタラクションは、VR/ARの体験品質を左右する基盤技術として研究が続いている。一方で、市販のグローブやコントローラに留まらない体験を、家庭環境で常設可能な形で提供する試みは、限定的な成果に留まっている。
本提案は、近接赤外線によるモーションキャプチャと機械学習を組み合わせて手の動作を高精度に認識し、さらに非接触で手に触覚を提示するデバイスによって没入感を補強することを構想している。机上に置いて日常的に体感できるゲーム体験を志向する姿勢には、提案者ならではの設計哲学を感じた。
ジェスチャ操作の競合は多く、生成AIによるアプリ開発加速で参入障壁も下がる中、未踏性の主張は容易ではない。それでも、家庭で楽しめる「触れる」ゲームの新たな体験が世に出ることを期待し、採択と判断した。