未踏IT人材発掘・育成事業：2024年度採択プロジェクト概要（青原・ 伊藤PJ）

1．担当プロジェクトマネージャー

• 五十嵐 悠紀（お茶の水女子大学 理学部 情報科学科 准教授）

2．採択者氏名

• 青原 光（名古屋工業大学 大学院工学研究科 工学専攻 メディア情報プログラム 博士前期課程）
• 伊藤 朝陽（名古屋工業大学 大学院工学研究科 工学専攻 ネットワークプログラム 博士前期課程）

3．採択金額

• 2,880,000円

4．プロジェクト名

• スムーズな多言語交流を実現するためのARによる会話支援システム

5．関連Webサイト

• PredicTalk

6．申請プロジェクト概要

本プロジェクトでは、ユーザが話している文章の続きの候補をARグラスで視界内に表示することで、スムーズな多言語間の会話を支援するシステムを開発する。

既存の様々な翻訳アプリケーションは、ユーザの代わりに会話をしようとするものが多い。例えば、翻訳した文章をお互いに見せ合ったり、合成音声でユーザの代わりに発話をしたりするものがある。これらのアプリケーションは、異言語間で正確な情報交換ができるという利点がある一方、ユーザ自身が発話をする機会を奪ってしまっている。さらに、情報交換に遅延が生じるため、会話と比較して情報量が少なく、密度も低いコミュニケーションとなる。

そこで本プロジェクトではユーザの会話を邪魔することなくサポートするシステムを開発する。本システムでは、ユーザが会話をしている途中で単語や文法が思いつかず詰まってしまった際に、次に続く文章を言語モデルによって予測し、それをモバイルアプリケーションと連動したARグラスに表示することで、ユーザが会話を継続できるようにするサポートをする。

本システムはARグラスを用いて視界上に会話のヒントを表示することにより、ユーザは相手の顔を見ながら会話することができ、コミュニケーションを妨げることがないという点で、従来の翻訳アプリケーションよりも優れている。また、ユーザが話した文章の続きを生成するため、アプリケーションに全てを委ねるのではなく、ユーザ自身の語学力を活かした会話ができることも本システムの利点である。さらに、会話が途切れた際に、次に何を言うべきかが画面に表示されるので、特定の言語でのコミュニケーションに自信がないユーザでも、安心してその言語を使用して話すことが可能になると期待される。

7．採択理由

本プロジェクトは、外国語で会話をする際に「対面で目を見て会話をしたい」という人間の本当にやりたいことを人間に残し、「次の言葉が出てこない」といった不足する語学力の問題を技術で支援するツールを開発するというものである。次に続く文章を言語モデルで予測し、ユーザが会話を継続できるようサポートする、という枠組みは、英会話だけでなく多言語への発展や、母語同士であっても会話のサポートを可能にするなど、様々な展開が期待できるとして採択した。新たなユーザ体験を提供するためのインタラクションデザインにも注力しながら取り組んで欲しいと期待する。