2024年度未踏IT人材発掘・育成事業「スーパークリエータ」
SUPER CREATOR
石山 遼 いしやま りょう
所属：九州大学 大学院システム情報科学府 情報理工学専攻 修士課程
-
略歴
2001年7月 熊本県生まれ
2022年3月 熊本高等専門学校 人間情報システム工学科 卒業
2022年4月 九州大学 工学部 電気情報工学科 3年次編入学
2024年3月 九州大学 工学部 電気情報工学科 卒業
2024年4月 九州大学 大学院システム情報科学府 情報理工学専攻 入学 -
受賞歴
2024年6月 「基盤」と「応用」の相乗効果で未来を拓く高度AI人財育成プログラム (K-BOOST) 予約採用
2024年8月 画像の認識・理解シンポジウム (MIRU2024) オーディエンス賞受賞
-
担当プロジェクトマネージャー
稲見 昌彦
開発テーマ名
ユーザとモノのネットワーク体験を創作するためのARシステム
概要
「Monokko」では、日常生活のモノをエージェント化し、ユーザーがそれらを通じて愛着を育むためのインタラクション基盤の構築を目指した。具体的には、生活空間内の任意のモノを画像解析技術で検出し、大規模言語モデル（LLM）により対話可能なエージェントとして機能させる手法を採用した。ユーザーがシームレスにモノとの対話を始められることを重視し、エージェント化の手順は可能な限り簡易にする必要があった。一方で、高精度な物体検出には通常多くのデータと学習コストを要するため、精度と簡便性にはトレードオフが存在する。この課題に対しては、YOLO WorldとImage-to-Captionの併用により、準備画像を最小限に抑えつつ十分な検出性能を実現した。また、エージェント同士の会話も可能とし、継続的会話による内容の冗長化を防ぐために、メタ的に会話内容を評価するエージェントを導入し、自然な終了制御を行っている。
図1: コップに宿るエージェントの作成過程
図2: 人間とエージェントの会話の様子
-
2024年度 未踏IT人材発掘育成事業 成果報告会（MITOU2024 Demo Day）動画
PMの評価
本プロジェクトでは、バーチャルエージェント「Monokko」システムのバックエンド開発全般を担当した。具体的には、システムの中核となるサーバサイドシステムの設計・実装、YOLO Worldなどを活用した物体認識・追跡技術の実装と最適化、大規模言語モデル（LLM）のAPIを用いた会話システムの設計と実装を行った。また、サーバ部分のインフラ管理も担当し、技術的観点からプロジェクト全体の方向性に大きく貢献した。
石山氏の最も優れた点は、高度な技術的知識と実装能力を持ちながらも、それを単なる技術的卓越性のためではなく、人間にとって意味のあるインタラクションを実現するためのツールとして活用する姿勢である。PMや芸術工学部に所属する他のメンバーとの対話を通じて、「高度な技術をどのように扱い、どのように人間にとって面白いと感じさせるか」というメタ的な思考を育み、技術と表現の両面から価値を創出する力を示した。また、高専時代寮長を経験したためか、人格的にも優れメンバー間の適切な調整役にもなっていたようである。
以上の理由から、石山氏は「スーパークリエータ」としての基準を十分に満たしていると判断する。
クリエータからひとこと
現在は、未踏期間中に取り組んだ内容の論文化を検討しており、メディア表現における技術的実装アプローチに対して関心を持っています。本プロジェクトでは、コンピュータビジョン技術を主軸にインタラクティブシステムへ応用する実践的な試みに取り組み、その創造的価値について考察する機会を得ました。あわせて、自身の専門であるコンピュータビジョンの応用研究にも継続して取り組んでおり、現在は記号認識に関する研究を多角的に進めています。今後は博士課程への進学を予定しており、プロジェクトを通じて得られた知見を自身の研究活動へと織り込むかたちで昇華し、新たな価値の創出を模索します。
