デジタル人材の育成
石黒 浩
本プロジェクトでは、カメラを通して得られる視覚情報を神経科学および機械学習の知見に基づいた手法で音響へと変換・提示することで、聴覚による空間構造の知覚機能を拡張させるウェアラブルデバイスを開発する。
デバイスは、カメラ、コンピュータ、ヘッドフォンから成る。コンピュータビジョンの手法により入力映像から特徴量を抽出した後、これらをパラメータとして 音声信号を合成する。映像を音に変換するデバイスは過去にも多く提案されているが、我々は近年急速に進展した物体認識技術および神経系の感覚情報処理に関 する知見を駆使することで新規的かつ実用的な変換手法を提案する。
我々のゴールは、本システムによって「眼という視覚感覚器官の入力なしに、音のみによって新たに得た空間知覚の経験はどのようなものか」という問いに答えることである。さらに、我々の提案する技術は擬似共感覚エンタテインメント、視力補助機器、X線・超音波等の不可視光の可聴化といった産業用途への幅広い アプリケーションも期待することができる。
画像を音に変換して、聴覚でも環境を認識するシステムを開発する提案である。提案者らの開発能力は高く、提案内容に対するモチベーションも高い。それ故、プロジェクト期間内に一定の成果を上げることは十分に期待できる。しかしながら、画像を音に変換するアイデアは過去にもたくさんあり、それらの調査が十分にできていない。そして、それら過去の取り組みが実用化に至っていないのは、超えなければならない技術の壁があるためである。是非その壁を打ち破って、実用的な視覚聴覚変換デバイスを開発してほしい。