未踏IT人材発掘・育成事業：2022年度採択プロジェクト概要（長沢PJ）

1．担当PM

• 田中 邦裕（さくらインターネット株式会社　代表取締役社長）

2．採択者氏名

• 長沢 瑛史（静岡大学大学院総合科学技術研究科 工学専攻）

3．採択金額

• 2,736,000円

4．テーマ名

• リアルタイムな動画内物体認識技術を用いた物探しシステム

5．関連Webサイト

• なし

6．申請テーマ概要

スーパーなどの店舗で買い物をする際、買いたい商品がなかなか見つからないことがある。既にその商品が視界に入っていてもその存在に気付けないことも多く、時には広い店内を探し続けて時間を浪費してしまうこともある。

そこで本プロジェクトでは、ユーザの探したい商品をリアルタイムに探し出すスマートフォンアプリケーション（以降、「アプリ」）を開発する。ユーザはまず、探したい商品の画像をインターネットから取得してアプリに登録する。すると、アプリはカメラを通じて周囲を観察し始める。ユーザが店内を移動し、登録しておいた商品がカメラに映ると、アプリは即座にそのことを認識し、商品の存在をユーザに通知する。本アプリを利用することで、ユーザは探したい商品を見落とすことなく素早く発見できるようになる。また予め複数の商品を登録しておき、本アプリに購入の有無を管理させることで、買い忘れを防止するといった使い方もできる。

本アプリは商品に限らず、様々な物体の探索に応用可能である。例えば、道路標識を登録しておけば運転者が標識を見落とすのを防ぐことができ、自動車の安全運転支援として応用できる。このようにユーザがより豊かな生活を送ることができるようなアプリを開発することが本プロジェクトの目的である。

本プロジェクト実現に向けての技術的なチャレンジは、登録した商品がスマートフォンのカメラに映った時に、そのことを正しく認識する技術を開発することである。置かれる場所、角度、照明などによって物体の見え方は様々に変化する。そのような変化に対して頑健な物体認識技術を深層学習によって構築する。

7．採択理由

本プロジェクトでは、カメラをかざすだけで、探し物が画面上でハイライトされるという、探し物が苦手な人間にとって画期的なプロダクトを作ることを目標としている。

ディープラーニングの登場によって、画像認識の精度は飛躍的に向上し、様々な産業分野で利用されるようになったが、人間を補完する機能がアプリとして提供されることも増えており、人の目を拡張しQoLを向上させるプロダクトとして、とても有用性の高いものの一つになると考える。

手法としては、探している風景の画像と、探し物の画像を、ResNet50に入力させ、それぞれ2048次元の特徴ベクトルに変換し、それを10層の結合層を通して、0か1が出力されるモデルを構築し、風景画像に探し物の画像があれば1と出力するような学習を繰り返す。

これにより、新しい探し物の画像があったとしても、その画像自体を事前学習させる事なく、探したいものをすぐに探せるというUI/UXを実現することが特徴的である。

もちろん、汎用的なデータセットをもとに、事前学習していない画像を探し出すことが果たして精度良くできるのかが課題ではあるが、それが未踏性のある部分でもあり、既にある程度の実装を通じて動くシステムも作り始めており、実現可能性は充分にあると判断して採択することとした。