未踏アドバンスト事業：2023年度実施プロジェクト概要（水野・山本恒輔・海老原PJ）

1．担当プロジェクトマネージャー

• 藤井 彰人（KDDI Digital Divergence Holdings株式会社 代表取締役社長／KDDI株式会社 執行役員 ソリューション事業本部 グループ戦略本部 副本部長）

2. 採択者氏名

• 水野 史暁（慶應義塾大学大学院 政策・メディア研究科 特任教員）
• 山本 恒輔（東京大学大学院工学系研究科電気系工学専攻）
• 海老原 祐輔（東京大学大学院工学系研究科電気系工学専攻）

3．契約金額

• 14,400,000円

4．プロジェクト名

• テレプレゼンス技術のための低遅延IP映像伝送システムの開発

5．関連Webサイト

• なし

6．プロジェクト概要

人が持つ技能の展開に関する課題は、技能というソフトウェアと、人間の肉体というハードウェアが不可分であることから発生している。例えば今日の日本の建設業界では2025年に約95万人もの労働者が不足するとされている。これは、建設現場で必要な技能が職人と不可分な状態となっているため、高齢化で移動が難しくなった職人が、現場に参画できないことが原因の一つである。

この不可分性に起因する課題は建設業界のみならず、製造業、インフラ産業、医療など多くの分野で顕在化しており、「遠隔臨場」「遠隔支援」「遠隔操作」などのテレプレゼンス技術を用いた改題解決に多くの企業が取り組んでいる。こうしたテレプレゼンス技術では、映像伝送による遠隔化を行うことで技能と肉体の不可分性の克服を試みているが、特に遅延に関する技術的な課題によって実現に至っていない場合も多い。

現状の映像伝送技術では概ね200ms以上の遅延が発生しており、これは、テレプレゼンス時の操作感や存在感へ多大な違和感を与える。本プロジェクトではこの問題を解決するべく、テレプレゼンス技術のための低遅延IP映像伝送システムを開発する。

現状、無圧縮で映像伝送することで数ms程度の遅延が実現されているが、その帯域は720p60Hzで1.2Gbpsを超える。そのため複数同時に映像伝送を行う際、インターネット網、無線区間を含めたEnd-to-Endで十分な帯域を確保するのは難しい。一方でH.264/H.265等のフレーム間圧縮を用いることで帯域を数十Mbps程度まで削減できるが、数百～数千ms程度の遅延が発生するという問題がある。

本プロジェクトではカメラセンサの信号入力からディスプレイ信号出力までのI/Oレベルでアーキテクチャを最適化し、ハードウェア上に実装することで、Glass-to-Glass(カメラ～ディスプレイ間)遅延が15ms未満かつ帯域10-100Mbps程度を目指す。

本技術は自動運転車・ドローン等移動体の遠隔操縦、テレプレゼンスロボット、遠隔医療など今後ロボットを用いたシステムを社会実装していく上で必要不可欠な要素であり、それらの根幹を成す基礎技術である。将来的にさまざまなシステムへの応用が期待される技術である。

7．採択理由

人材不足やコロナ禍での経験により、建築、交通、医療など様々な分野において、遠隔での作業支援を実現する、テレプレゼンス技術が注目されている。建築現場での特殊建機操作などはその代表といえるが、そのニーズは高く様々な企業が遠隔操作ソリューションの実現にチャレンジしている。ただ現実には、遠隔化したい高度な現場技能こそ、身体操作感覚と映像や操作遅延、ゆらぎによる課題に直面し、実用には至らないというケースが多い。
本プロジェクトでは、この問題を解決するべく、テレプレゼンス技術の中でもとりわけ重要な映像伝送技術に着目し、低遅延 IP 映像伝送システムを開発する。特に、カメラからディスプレイまでの Glass-to-Glass遅延に着目し、 1 フレーム以内(約 15 ms)の IP 映像伝送システムを開発することを目標としている。
本提案は、未踏IT人材発掘・育成事業におけるレースドローンでの無線映像伝送技術の開発から学び発展したものであり、テレプレゼンスの現場適用を大きく前進させうると考えている。さらには、5G/6Gの通信基盤上で活用できれば、さらに大きな市場でのビジネスも有望であると考え、採択とした。