未踏IT人材発掘・育成事業：2023年度採択プロジェクト概要（髙橋PJ）

1．担当プロジェクトマネージャー

• 稲見 昌彦（東京大学 総長補佐・先端科学技術研究センター 教授）

2．採択者氏名

• 髙橋 亮太（慶應義塾大学大学院理工学研究科開放環境科学専攻）

3．採択金額

• 2,736,000円

4．プロジェクト名

• 手話認識による逆引き検索が可能なクラウド型手話辞典の開発

5．関連Webサイト

• なし

6．申請プロジェクト概要

クリエータは参加していた手話サークルでの活動を通して、手話の初学者が「ろう者が使う手話の意味を自分で調べることが出来ない」という問題により、ろう者と上手くコミュニケーションが取れずに挫折してしまうことが多いことに気がついた。つまり、既存の手話辞典やクラウドサービスには手話から日本語の意味を調べる、所謂逆引き機能が十分備わっていないということであるが、逆引き機能を実現するには解決しなければならない課題が2 つある。

1 つ目はデータセットの規模の課題である。手話動画から単語の意味を予測する手話認識ついて、近年のディープラーニングベースの手法では、精度を高く保つには大規模なデータセットが必要であることが分かっている。さらに日本手話の公開データセットも少ないため、日本手話の逆引き機能の実装は大規模データセットの収集が高コストとなって実用には至っていない。

2 つ目は手話の多様性の課題である。手話は日本語以上に地域差や個人差が大きく、手話辞典に記載されている標準形の動作以外にも様々な動作が実際には使用されている。その為、調べたい手話動作が標準形とは異なるため手話辞典が対応していないという場合がある。紙の手話辞典やディープラーニングベースの手法で標準形以外の手話動作を全て網羅することは現実的でなく、この問題は多くの手話学習者を悩ませてきた。

そこで、本プロジェクトでは逆引き検索が可能なクラウド型手話辞典を作成する。姿勢推定技術と手話言語学の知見を取り入れることで頑健な手話認識ができるシステムを開発し、集合知を活用したアルゴリズムと統合することで、あらゆる手話動作から意味を逆引き出来るようにする。また、手話辞典の性質上、誤った知識を提供しないようにすることは必須であるため、ユーザが常に正しい内容を学習できるよう出力を工夫する。

7．採択理由

英和辞典と和英辞典が存在するように、手話翻訳にも順引きと逆引きがある。提案者は大学の手話サークルに所属し、手話理解の困難さが初学者にとっての大きなボトルネックとなっていることに気付いたとのことである。手話は残念ながら日本手話、アメリカ手話、イギリス手話など地域ごとに分かれている。さらには同じ日本手話でも差があると言われており、プロジェクトの実現のためのハードルは高い。しかしながら、提案者は手話認識・翻訳するためのシステムをライフワークとしてでも取り組みたいという強い熱意を有しており、その熱意を応援する気持ちも込めて採択した。