デジタル人材の育成

未踏IT人材発掘・育成事業:2015年度採択プロジェクト概要(和家PJ)

1.担当プロジェクトマネージャー

石黒 浩

  • 大阪大学 大学院基礎工学研究科 システム創成専攻 教授(特別教授)
  • ATR石黒浩特別研究室室長(ATRフェロー)

2.採択者氏名

  • 和家 尚希(東京大学 大学院情報理工学系研究科 知能機械情報学専攻)
  • 伏見 遼平(東京大学 大学院学際情報学府 学際情報学専攻 先端表現情報学コース)
  • 鈴木 良平(東京大学 大学院情報理工学系研究科 コンピュータ科学専攻)
  • 宗像 悠里(多摩美術大学 美術学部 情報デザイン学科)

3.採択金額

  • 2,304,000円

4.テーマ名

  • 空間知覚拡張のための“聞こえる化”デバイスの開発

5.関連Webサイト

  • なし

6.申請テーマ概要

本プロジェクトでは、カメラを通して得られる視覚情報を神経科学および機械学習の知見に基づいた手法で音響へと変換・提示することで、聴覚による空間構造の知覚機能を拡張させるウェアラブルデバイスを開発する。
デバイスは、カメラ、コンピュータ、ヘッドフォンから成る。コンピュータビジョンの手法により入力映像から特徴量を抽出した後、これらをパラメータとして 音声信号を合成する。映像を音に変換するデバイスは過去にも多く提案されているが、我々は近年急速に進展した物体認識技術および神経系の感覚情報処理に関 する知見を駆使することで新規的かつ実用的な変換手法を提案する。
我々のゴールは、本システムによって「眼という視覚感覚器官の入力なしに、音のみによって新たに得た空間知覚の経験はどのようなものか」という問いに答えることである。さらに、我々の提案する技術は擬似共感覚エンタテインメント、視力補助機器、X線・超音波等の不可視光の可聴化といった産業用途への幅広い アプリケーションも期待することができる。

7.採択理由

画像を音に変換して、聴覚でも環境を認識するシステムを開発する提案である。提案者らの開発能力は高く、提案内容に対するモチベーションも高い。それ故、プロジェクト期間内に一定の成果を上げることは十分に期待できる。しかしながら、画像を音に変換するアイデアは過去にもたくさんあり、それらの調査が十分にできていない。そして、それら過去の取り組みが実用化に至っていないのは、超えなければならない技術の壁があるためである。是非その壁を打ち破って、実用的な視覚聴覚変換デバイスを開発してほしい。