デジタル人材の育成

未踏IT人材発掘・育成事業:2016年度採択プロジェクト概要(古川PJ)

1.担当プロジェクトマネージャー

石黒 浩

  • 大阪大学 大学院基礎工学研究科 システム創成専攻 教授(特別教授)
  • ATR石黒浩特別研究室室長(ATRフェロー)

2.採択者氏名

  • 古川 翔一(早稲田大学大学院)

3.採択金額

  • 2,304,000円

4.テーマ名

  • 音声に合う口の動きを実現した吹替え映像を容易に作成するソフトウェア

5.関連Webサイト

  • なし

6.申請テーマ概要

近年、海外から発信された映像コンテンツに触れる機会が著しく増加しているが、他言語の映像コンテンツを楽しむ上では、言葉の壁が障害となる。この障害を取り除く方法の一つとして吹替え処理が挙げられる。吹替え処理は「映像に集中できる」「音声から感情を読み取りやすい」等のメリットがあることから、他言語映像作品を観る上で一般的な手法である。しかし、吹替え処理には、口の動きと吹替え音声が一致していないという大きな問題がある。この口と音の不一致は視聴者に違和感を与え、吹替え映像を楽しむ上で大きな障害となる。また、耳が不自由な人は口の動きから音声を推測していることから、吹替え処理が施された映像を字幕なしに楽しむことができない。
そこで本プロジェクトでは、より多くの人々が違和感のない吹替え映像を享受できるように、入力された動画の口の動きを吹替え音声に一致させることで、吹替え動画を簡単に作成することができるアプリケーションを開発し、吹替え映像のユニバーサルデザイン化を目指す。本システムにより、従来の映像から感じられた違和感がない吹替え映像を作成できるようになることに加えて、翻訳家が思い描くニュアンスを最大限に表現した映像も作成できるため、翻訳業界に対して新しい吹替え映像の在り方を示せるものと見込んでいる。加えて本システムは、吹替え映像に限らないエンターテインメントへの応用や、オンラインビデオ電話ツール等の実用的なアプリケーションへの応用も期待できる。

7.採択理由

外国語映画の日本語吹替において、リップシンクが不完全であることが映像メディアの質を下げていることは明らかで、その問題を解決しようとする実用性の高い提案である。現在の画像処理技術であれば、十分にそれを実現できる可能性があり、是非とも実用レベルのシステムに仕上げてほしい。また、映画だけではなく、同時翻訳機能付きのテレビ会議システムなどへの応用も視野に入れると、さらに実用性は高くなる。