未踏IT人材発掘・育成事業：2018年度採択プロジェクト概要（梅澤PJ）

1．担当プロジェクトマネージャー

五十嵐悠紀（明治大学総合数理学部先端メディアサイエンス学科専任准教授）

2．採択者氏名

梅澤章乃（公立はこだて未来大学大学院システム情報科学研究科システム情報科学専攻情報アーキテクチャ領域）

3．採択金額

2,304,000円

4．テーマ名

顔の外見を変える顔拡張マスクの開発

5．関連Webサイト

なし

6．申請テーマ概要

本プロジェクトでは、対面でのコミュニケーションにおける顔拡張マスクを構築する。この顔拡張とは、実世界における対面での会話において、装着者の顔情報を詳細かつリアルタイムに認識し、装着者の顔全体を任意のアバタに置換することである。顔拡張マスクを実現するために、装着者の表情を認識し他者が見る装着者の顔を表示するハードウェアと、装着者の顔を実時間かつ高精度に認識し、多種多様なアバタへ自由自在に変換するソフトウェアを開発する。
顔拡張マスクが持つ機能と具体的な活用先としては、以下のようなものが想定される。

顔の誇張
何らかの疾患で顔の表情をつくるのが難しい患者の微小な顔の動きを認識し、装着者の表情を誇張する。
顔の変化
医師の顔を子供の好きなキャラクタに変えることで、子供の患者の処置において、患者の恐怖心を軽減する。
顔の増殖
演説や旅行ガイドにおいて、自身を取り囲むたくさんの人とアイコンタクトをとりながら説明する。
顔の移動
料理中など目や手が離せない状況において、後ろにいる子供と緩くコミュニケーションをとる。

本プロジェクトでは、開発した顔拡張マスクが有効に機能する以上のようなコンテンツの追及も行っていく。

7．採択理由

対面コミュニケーションにおける顔拡張マスクの提案である。マスク装着者の顔情報をリアルタイムに認識し、装着者の顔全体を任意のアバタに置換することを行う。提案者はすでにプロトタイプシステムを実装しており、技術力も意欲も十分に評価できる。提案には、表情のセンシングと表情生成の2つの要素がある。どちらも技術課題があり、どのように仕上がるのか未知数ではあるが、前衛的で挑戦的なテーマである。実際に想定利用シーンでプロトタイプシステムをユーザに使ってもらいながら、本当に使えるシステムへと仕上げていって欲しい。