未踏IT人材発掘・育成事業：2021年度採択プロジェクト概要（新井・小泉PJ）

1．担当プロジェクトマネージャー

• 岡 瑞起（筑波大学 システム情報系 准教授）

2．採択者氏名

• 新井 康平（株式会社メルカリ ソフトウェアエンジニア ）
• 小泉 裕之介（株式会社メルカリ ソフトウェアエンジニア）

3．採択金額

• 2,736,000円

4．テーマ名

• 服のサイズ感がインタラクティブに分かるAR試着モバイルアプリケーション

5．関連Webサイト

• なし

6．申請テーマ概要

EC（Electronic Commerce）は人々の生活に根ざした存在となっている。コロナ禍をきっかけとしたニューノーマルにおいてショッピングのあり方は変容し、ECの重要度は今後さらに増していくと考えられる。しかしファッションECには、商品を事前に試着できないという課題が存在している。AR試着はそのソリューションの一つとして注目されているが、既存の事例はサイズ感の表現の限界や使用デバイスの制約などの課題があり、広く普及するには至っていない。

本プロジェクトでは、スマートフォン上で洋服のサイズ感がリアルに分かるAR試着アプリケーションを作成し、この課題の解決に取り組む。具体的には、ユーザの身体の3Dメッシュを生成し、それに対して洋服の3Dデータを着せてリアルタイムで物理シミュレーションすることで、ユーザの身体に応じた生地の余裕や動きをAR上で表現する。

また、洋服のメッシュがAR上で現実にはあり得ないような変形をした際に、ハプティクスでユーザに通知した上で、生地が伸びすぎている部分をUIで表示する。これにより、AR上でリアルかつインタラクティブに洋服のサイズ感を試着シミュレーションできる。加えて、本アプリケーションは鏡に写った自分をスマートフォンのカメラで写すというUXを想定しており、誰もが持っているものだけで実現できる。外部装置を一切使わずにいかに試着をリアルに再現できるかが重要だが、機械学習を用いた人体の3Dメッシュの生成や姿勢推定をうまく組み合わせることで、その実現を目指す。

7．採択理由

服のサイズ感や生地の伸びがわかり誰でも家で簡単に使えるAR試着アプリの提案で、アパレル業界のEC市場規模が拡大する中、注目すべき分野である。競合が多数存在する中、優位性をどのように打ち出していけるかが課題になるが、提案者らのモチベーションがはっきりしていて、やるべきことも明確である点を高く評価し採択とした。