未踏IT人材発掘・育成事業：2021年度採択プロジェクト概要（原・田丸・平城PJ）

1．担当プロジェクトマネージャー

• 田中 邦裕（さくらインターネット株式会社 代表取締役社長）

2．採択者氏名

• 原 拓也（東京大学 大学院 学際情報学府 学際情報学専攻 総合分析情報学コース 修士2年）
• 田丸 裕己（東京大学 大学院 学際情報学府 学際情報学専攻 総合分析情報学コース 修士2年）
• 平城 裕隆（東京大学 大学院 学際情報学府 学際情報学専攻 総合分析情報学コース 修士2年）

3．採択金額

• 2,736,000円

4．テーマ名

• 全身の姿勢推定が可能なイヤーアクセサリの開発

5．関連Webサイト

• なし

6．申請テーマ概要

近年、人間の全身姿勢推定技術が、スポーツの採点や医療におけるリハビリ支援、アニメーション制作などの分野で広く用いられている。そのために、全身の姿勢推定が可能なウェアラブルデバイスが求められてきたが、従来のデバイスは高額な導入コストや社会的な受容性の低いデザインに課題があり、日常的に利用することは難しかった。

そこで本プロジェクトでは、人々に受容されやすく日常的に利用可能なイヤーアクセサリで、場所や動作の制約のない全身の姿勢推定を実現する。本アクセサリは、ユーザの全身映像を撮影する小型カメラと、カメラ位置を補正する加速度センサから構成される。本アクセサリを両耳に装着すると、左右のカメラで取得した2つの全身映像と加速度データから、深層学習によって全身の3次元骨格座標が取得できるようにする。加えて、本アクセサリと連携し、自らの過去の姿勢の振り返りや、現在の自分の姿勢に応じたリアルタイムな音声フィードバックなどが行えるアプリケーションを開発する。

本アクセサリが普及することにより、ユーザの運動データを膨大なライフログとして蓄積できるようになり、既存のスマートデバイスで取得される心拍数などの生体データと合わせて、ヘルスケアの分野で有効活用されることが見込まれる。また、スポーツ中の選手の姿勢データの取得と共有が可能になれば、より効果的なオンラインコーチングの実現が期待できる。

7．採択理由

全身の姿勢推定は有用な情報ソースであり、スポーツにおけるフォームのチェックなどのスポーツDXや、リハビリ支援や高齢者の見守りなどのヘルスケアの分野のほか、さまざまな分野で利用されている。そのため、近年姿勢推定技術は大きく進化してきたが、外部カメラを使ったり、全身に多くのセンサーをつけたりという手法は、手軽な姿勢推定からは程遠く、日常的に計測するにはハードルが高かった。

今回の提案では、イヤーアクセサリに内蔵されたカメラやジャイロなどのセンサーを用いて、全身の姿勢推定を実現し、それを元にしたさまざまなアプリケーションを開発することにしている。応用範囲は非常に広く、これまで大きな設備や、多くのセンサーを使って実現していた状況から、劇的なUX改善を進められる可能性を秘めており、技術的に解決すべきことは多いものの、大変有益な取り組みであると評価している。