デジタル人材の育成

未踏IT人材発掘・育成事業:2016年度採択プロジェクト概要(和田PJ)

1.担当プロジェクトマネージャー

  • 五十嵐 悠紀(明治大学 総合数理学部 先端メディアサイエンス学科 専任講師)

2.採択者氏名

  • 和田 夏実(慶應義塾大学大学院)

3.採択金額

  • 2,304,000円

4.テーマ名

  • 手の動きに特化したコミュニケーションツールの開発

5.関連Webサイト

  • なし

6.申請テーマ概要

手話という言語は、視覚言語かつ身体言語として音声言語と異なる性質を持つ。例えば現実空間における物を手でそのままに模倣して表現することができたり、空間という3次元性に加え時間軸が存在するため4次元的であったり、ビジュアルのイメージで会話をしたりすることが可能である。手話は人間が日常生活で物や人に対して行う振舞がもとになっている表現が多く、それらの物を無意識的にどう扱って来たか、どのように接して来たかということが基本文法となっており、伝えたい物の質量、材質、軽さ、形状、熱いか冷たいか、等をイメージし、そのものに対しての振舞を表現することでコミュニケーションを図るため、情報空間に対しても物質的な感覚を持ち込むことを可能にするとともに、各国の言語を超えてコミュニケーションをする手段としても有効である。
本プロジェクトでは、画像処理と機械学習を用いて手の動きの「らしさ」と創造性を獲得して表現するコミュニケーションツールを開発する。現在、耳が聞こえない子どもたちは、耳が聞こえる両親の元に生まれ普通学校で育つ割合が多く、手話を覚えるための手段、機会を持つことが難しい。本ツールにより、耳が聞こえない子どもたちが楽しみながら手話の文法を学ぶ機会が提供できるようになることが期待される。加えて、本ツールを用いた表現の共有を可能とする場を提供することで、耳が聞こえない子どもたちだけでなく、より多くの人々に対して、言語の壁を越えたコミュニケーションを可能とさせることが期待できる。

7.採択理由

本提案は手話を用いたコミュニケーションを支援するシステムの開発で、手話を第一言語として育った彼女ならではの意見・構想が盛り込まれており、採択に値する。すでにプロトタイプの実装も始めており、本人の経験や能力は高い。視覚言語から生み出される、これまでにない表現や創造性をぜひ切り開いていって欲しい。一方で、提案している手話認識手法が十分に安定するか、手話の普遍文法が作成可能なのか、など課題も残る。本システムができた暁には、障がい者と健常者が意識することなく同じ立場でコミュニケーションをすることができるツールになるであろうと期待できる。また、手話だけでなく、ろう者の意図を表現できるメディアにもなり得る可能性を秘めている。