未踏アドバンスト事業：2025年度上期実施プロジェクト概要（辻󠄀・杉山PJ）

1．担当プロジェクトマネージャー

• 村上 明子（むらかみ あきこ）

• SOMPOホールディングス株式会社 執行役員常務 グループCDaO
• 損害保険ジャパン株式会社 執行役員CDaO
• AIセーフティ・インスティテュート 所長

2．採択者氏名

• 辻󠄀 知希（株式会社リチェルカセキュリティ セキュリティサービス部／株式会社Ikotas Labs）
• 杉山 優一（株式会社リチェルカセキュリティ セキュリティサービス部／東京大学大学院 情報理工学系研究科 創造情報学専攻）

3．契約金額（税抜）

• 16,000,000円

4．プロジェクト名

• AIチャットボットを安全にするAI駆動セキュリティ診断プラットフォーム

5．関連Webサイト

• なし

6．プロジェクト概要

近年、大規模言語モデル（LLM）を活用したAIチャットシステムが急速に普及する一方、プロンプトインジェクションなどLLM固有の攻撃手法による新たなセキュリティリスクが顕在化している。たとえば、内部プロンプトの上書きによって機密情報が漏洩したり、生成されたテキストが意図せずコードとして実行されることでクロスサイトスクリプティングやリモートコード実行が発生する事例が報告されている。LLMは極めて多様かつ動的な表現を生成するため、従来のキーワード検知や静的なルールに基づく防御策では、こうした巧妙な攻撃を防ぎきれないのが実情である。
本プロジェクトでは、LLM特有の脆弱性を自動かつ継続的に診断するSaaS型プラットフォームを開発し、誰もが安全にAIチャットを活用できる社会の実現を目指す。このプラットフォームの核となるのは互いに連携する二つのAIである。第一の「攻撃AI」は攻撃者の思考パターンを模倣して多様な攻撃プロンプトを自動生成し、対象システムに対して継続的に疑似攻撃を仕掛ける。第二の「検証AI」は、その応答を多面的に解析し、未知の脅威を即座に検出するとともに、リスクを正確に分類・定量化する。
本プラットフォームは直感的な管理画面と自動レポーティング機能を備え、専門知識がなくても自社のAIチャットの脆弱性を容易に診断できる。将来的には、機密情報や社内データを外部に送信できないケースを想定し、オンプレミスで動作するローカルLLMへの対応も視野に入れる。これにより、高度なセキュリティ要件を持つ企業でも安心して利用できる包括的な脆弱性診断ソリューションとして展開していく。

7．採択理由

生成AIを中心としたAIの普及に伴うリスク増大は喫緊の課題である。本提案は、提案者らの日本語特有攻撃知見、国際会議での実績といった高い技術力があることが見受けられる。AIによる疑似攻撃自動化は、従来の手法では困難な網羅的かつ継続的な脆弱性評価を実現し、AI安全確保に極めて価値が高いと判断した。そのため、未踏アドバンストに相応しく、採択と判断した。