未踏アドバンスト事業：2021年度実施プロジェクト概要（上田・中村PJ）

1．担当プロジェクトマネージャー

石黒 浩

• 大阪大学　大学院基礎工学研究科　システム創成専攻　教授（特別教授）
• ATR石黒浩特別研究室室長（ATRフェロー）

2. 採択者氏名

• 上田 陽太（東京大学大学院 情報理工学系研究科）
• 中村 泰貴（東京大学大学院 情報理工学系研究科）

3．契約金額

• 10,000,000円

4．プロジェクト名

• 自分の声を自在に操るウェアラブル音声変換機の開発

5．関連Webサイト

• なし

6．実施プロジェクト概要

ささやき声は、通常の声帯を振動させる有声音と異なり、発音において声帯を振動させず無声化した時の声である。ささやき声の音量は有声音よりも小さく、より小さい音量で相手とコミュニケーションをする際に用いる。「ひそひそ声」と表現されるように、秘匿性の高い会話や、周辺環境に配慮しなければならない状況での会話で用いられる。

音声変換は入力された音声を特定の人の音声へ変換する技術であり、特定のキャラクターの音声へ変換できることから、エンターテインメントの創出が期待される。音声翻訳は入力されたある言語の音声を特定の言語の音声へ変換する技術であり、国際的なビジネスでの活用が期待される。

しかし、音声変換、音声翻訳のいずれも、話し手の音声が相手に伝わってしまうといった技術的課題を解決できていない。そこで我々は、相手に話し手の音声が伝わりにくいささやき声の特性を利用し、ささやき声で駆動する音声変換および音声翻訳の実現を目指す。ささやき声を利用することで、話し手の音声が相手に伝わりにくく、より自然な音声変換、音声翻訳を用いたコミュニケーションが実現できる。

具体的には、ささやき声で駆動する音声変換システムおよび音声翻訳システムの開発、さらに音声変換と音声翻訳をウェアラブル端末へ導入した、「自分の声を自在に操るウェアラブル音声変換機」の開発を行う。ユーザーに、ウェアラブル音声変換機を通して、身体的および言語的な壁を超える体験を提供する。

7．採択理由

声の変換技術は、近年盛んになりつつある技術であるが、対面場面で利用することが難しかった。本提案はささやき声を基にした声の変換や翻訳技術を開発することで、対面場面における声変換技術を可能にするものであり、声変換技術の新たな応用を生む可能性がある。

一方で、具体的なビジネス化においては十分な検討がなされておらず課題が残されている。そのため未踏アドバンスト期間中は、特に実用的な応用システムやそのビジネス化を中心に、イノベータ達を指導していく。