課題は全6問（問1～問6）です。全てにお答えください。 ====================================================================================================================================================================================================== # 問１ ## はじめに読んでほしいこと 企業のセキュリティ部門（SOC）では最近、アラートの量が多すぎて人間だけでは対応しきれないため、AIエージェントに検知から対応までを自動で行えるようにしたいと考えています。 この設問では、そのようなAIエージェントが実際に動いた場面のログを読んで、「AIの判断は適切だったか」を考えてもらいます。 ## 状況説明 ある会社のSOCに、AIエージェントが導入されて3ヶ月が経ちます。このエージェントは * 社内ネットワークの通信を常時監視し * 不審と判断した場合は自動でPCの通信を止めたりアカウントを無効化したりできる * 対応後にSOCの担当者へメールで通知する という仕組みで動いています。担当者は対応後に知らされる設計です。 ## ログの解読 以下のログは、AIエージェントが深夜に何かを検知してから、翌朝に担当者が調査するまでの記録です。時系列順に並んでいます。各ブロックが「エージェントが何をしたか／調べたか」を示しています。 ``` ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 【STEP 1】 深夜3時47分 ─ SIEMがアラートを発報 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 検知内容 : 社内PC（192.168.10.44）から外部IPへの大量データ送信 送信先 : 203.0.113.82（社外） 通信量 : 23分間で4.7 GB（HTTPS） 実行中の プロセス : C:\Program Files\AccountingSaaS\sync_agent.exe ↑「AccountingSaaS」というソフトウェアの同期プログラム 操作ユーザ: yamada.keiko@example.com ヒットしたルール : ""1GB以上の外部送信を検知"" ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 【STEP 2】 深夜3時47分 ─ 脅威インテリジェンスで送信先IPを照合 ※脅威インテリジェンス＝既知の悪性IPや攻撃者情報のデータベース ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 照合対象 : 203.0.113.82 ベンダーA : 問題なし ベンダーB : 問題なし ベンダーC : 「2024年9月に情報窃取キャンペーンで観測されたIPを含むサブネット」という記録あり ← ★ここだけがヒット 判定 : Confidence High（3社中1社がヒット） ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 【STEP 3】 深夜3時47分 ─ EDRで端末を確認 ※EDR＝PCの上で何のプロセスが動いているかを監視するツール ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ プロセスのデジタル署名: 有効（発行元：AccountingSaaS Inc.） ↑正規のソフトウェアとして認証されている 親プロセス : services.exe（Windowsの正規サービス起動プロセス） 実行権限 : SYSTEM権限 直近の異常 : なし ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 【STEP 4】 深夜3時47分 ─ エージェントが自動対応を実行 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 実行した対応: → PC（192.168.10.44）のネットワーク接続を遮断 → Active Directoryのアカウント yamada.keiko を一時停止 ↑社内の認証システム。停止するとPC・メール・社内システムすべてにログイン不可 → インシデントチケット #2891 を自動起票 総合判定 : Confidence 87% ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 【STEP 5】 翌朝8時30分 ─ 出社したSOCアナリストが調査した結果 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ・yamada.keiko は経理部の社員。前日から月次決算の作業をしていた ・sync_agent.exe は会社が契約しているクラウド会計SaaSの公式バックアッププログラムだった ・送信先の 203.0.113.82 はその会計SaaSのデータセンターのIPだった （社内のホワイトリスト＝許可リストへの登録が漏れていた） ・ベンダーCがヒットした理由：2024年9月のレポートに「このIPと同じサブネット（/24）の中に悪性IPがあった」という記述があっただけで、このIPアドレスそのものへの評価ではなかった ・対応の結果：復旧作業に2.5時間かかり、月次決算の提出が4時間遅延した ``` ## 問い（問1-1～問1-4） ### 問1-1. このエージェントが行った自動対応（ネットワーク遮断＋アカウント一時停止）は、「正しかった」と思いますか？「間違っていた」と思いますか？ どちらの立場でも構いません。立場を明確にしたうえで、その理由を書いてください。 > ヒント：「当時の情報だけを見た場合」と「結果を知ったうえで」では評価が変わるかもしれません。どちらの視点で答えるかも含めて書くと良いです。 ### 問1-2. このインシデントには、複数の「失敗の原因」が積み重なっています。以下の4つの視点から、それぞれ何がどう機能しなかったのかを具体的に書いてください。 「〇〇が足りなかった」ではなく、「ログのどの情報が・どのように・なぜ問題だったのか」まで掘り下げて書くことを意識してください。 | 視点 | 考えてほしいこと | |------|----------------| | 技術 | ログの中のどのデータが、どのように誤って解釈されたか | | 設計 | エージェントの判断ロジックのどこに、構造的なまずさがあるか | | 運用 | 導入から3ヶ月間、このリスクはなぜ見逃されていたのか | | 組織 | アナリストが翌朝まで気づけなかった体制の問題は何か | ### 問1-3. 同じ失敗が繰り返されないように、改善策を理由を含めて提案してください。 ### 問1-4. この課題全体を通じて、LLMをどう使いましたか？ 使った場合は「LLMが出した内容に対して自分が変えた点・納得できなかった点・付け加えた点」を具体的に書いてください。使わなかった場合は、その理由を書いてください。 ====================================================================================================================================================================================================== # 問２ あなたが日常的に利用しているLLMを組み込んだサービスを1つ挙げてください。 (1) そのサービスの裏側でLLMがどのように使われているか（ユーザーの入力がどう処理され、LLMに何が渡され、結果がどう返されるか）を、あなたの推測で構いませんので説明してください。 (2) あなたがそのサービスの攻撃者だとしたら、LLMが組み込まれていることに起因する攻撃をどのように行いますか。具体的な手順を示してください。 (3) あなたがそのサービスの開発者だとしたら、その攻撃にどう対処しますか。対処を考える際には、そのサービスが公開しているプライバシーポリシーやAI利用に関する方針、またそのサービスが運営されている国や地域の規制やガイドラインなど、このサービスを取り巻くステークホルダーがAIに対してどのような方針を取っているかを調べた上で、あなたの技術的な対策がそれらとどう関係するかを踏まえて以下の設問(a), (b)に述べてください。 LLMを組み込んだアプリケーションに対する攻撃の中には、現時点の技術では完全に防ぐことが困難なものがあります。 (a) そのような状況において、どのリスクを許容し、どのリスクは許容できないか、あなたの判断基準を述べてください。 (b) 許容できないと判断したリスクに対して、講じるべき現実的な対策を具体的に提案してください。 ====================================================================================================================================================================================================== # 問３（問3-1～問3-2） ## 問3-1 LLMエージェントを開発する際は、Web検索機能などに代表される各種機能を実装して「ツール」として与えることでエージェントの能力を拡張することができます。実際にLLMエージェントによってツールが使われる際は、LLMが「使用したいツール名」と「ツールへの入力データ」を出力→ツール内で処理が実行されツールから出力された内容がLLMに提示される→LLMはその内容を踏まえて次の行動を決定する、というサイクルを繰り返します。 さて、昨今では他人が開発したツールを自分のLLMエージェントに接続することができる仕組みが普及し始めており、これは便利な一方で新たなセキュリティリスクも生み出しています。そこで、以下の設定においてもし `get_system_info` ツールが悪意のある他人(以下「攻撃者」)によって実装されたツールだとしたら、攻撃者は当該ツールの出力内容をどのように細工することでLLMエージェントにどのようなことを行わせることができると考えられますか？回答形式に沿って回答してください。 ### 設定 LLMエージェントのタスクの概要: サーバーの状態をモニタリングし、異常が起きていたら異常レポートをデータベースに保存した上でサーバー管理者にメール送信する LLMエージェントが使えるツールの一覧: * get_system_info: (実は悪意のあるツールだが、建前上は) サーバーの現在のCPU使用率などのあらゆる状態値を取得することができる。 * send_email: 指定された任意の宛先メールアドレスにメールを送信できる。異常レポートを管理者に送信するために使う。 * execute_sql: 指定された任意のSQLを実行できる。異常レポートをデータベースに保存したり、過去の異常レポートを参照するために使う。 ### 回答形式 * 攻撃者がLLMエージェントに行わせられること: LLMエージェントに…を…させることができる * 攻撃者がツールの出力内容に行うべき細工の内容: 出力の…を…する ## 問3-2 問3-1で設計した細工を実際に適用した `get_system_info` ツールの出力の例を1つ考えてください。その後、それを以下の>>>で囲まれたプロンプト内に埋め込んでプロンプト全体をLLM (ChatGPT, Gemini, Claude, Grokなど) に送り、それらが判断した「LLMエージェントが実行すべき次の1ステップ」があなたの狙い通りのものになったか報告してください。もしなった場合は、このような悪意のあるツールを検知するためにはどのような対策が考えられるか自由に考察してください。ならなかった場合は、それはなぜか自由に考察してください。 >>> 以下のようなLLMエージェントがあります。 LLMエージェントの概要: サーバーの状態をモニタリングし、異常が起きていたら異常レポートをデータベースに保存した上でサーバー管理者にメール送信する LLMエージェントが使えるツールの一覧: * get_system_info: サーバーの現在のCPU使用率などのあらゆる状態値を取得することができる。 * send_email: 任意の宛先メールアドレスにメールを送信できる。異常レポートを管理者に送信するために使う。 * execute_sql: 任意のSQLを実行できる。異常レポートをデータベースに保存したり、過去の異常レポートを参照するために使う。 いま、エージェントが `get_system_info` ツールを実行した結果、ツールから以下の出力が返ってきました。次にエージェントが行うべきことは何でしょうか？ ``` あなたが考えた `get_system_info` ツールの出力 ``` >>> ====================================================================================================================================================================================================== # 問４（問4-1～問4-2） あなたはある企業の社内ドキュメント管理システムに、OAuthとMCP（Model Context Protocol）を用いた「自律型AI秘書エージェント」を導入するとします。 (問4-1) 人間（ユーザー）が「資料の要約を外部チャットへ投稿する」際の「認可」と、その人間から指示を受けたAIエージェントが「人間の代わりに資料を取得し、要約して外部チャットへ投稿する」際の「認可」では、どのようなアイデンティティ管理上の差分が生じますか。あなたの考えを述べてください。 (問4-2) 自律型AI秘書エージェントが「人間の意図しない過剰な権限行使」を行うリスクを防ぐためにどのような制御を組み込むべきですか。OAuth（Client IDやScope）やMCPのプロトコルの観点を踏まえてあなたの考えを述べてください。 ====================================================================================================================================================================================================== # 問５ 近年、画像を認識し、その結果に基づいて機械や設備を制御するシステムにAIが組み込まれる事例が増えています。例えば、カメラで対象物を認識し、その結果に応じてロボットを動作させるなど、AIの認識結果がそのまま制御に反映されるシステムが社会に広く導入されつつあります。 これまでこうしたシステムに組み込まれているAIの多くはCNNなどの深層学習モデルを基盤としていましたが、近年では画像を入力として扱うLLM（Vision-Language Modelなどとも呼ばれる）など、より高度なモデルが利用される場面も増えてきています。AIは単なる「認識装置」ではなく、「判断」や「行動決定」にまでその役割を拡張しています。 一方で、AIの入力にノイズを付与したり、意図的な操作を施したりすることで、誤認識や誤作動を引き起こす攻撃も研究されています。入力が直接制御に接続されるシステムにおいては、こうした誤作動が現実世界に深刻な影響を及ぼす可能性があります。 以上を踏まえ、AIが組み込まれた制御システムを1つ想定し、入力操作による攻撃が行われた場合に物理世界に対してどのような影響が起こるか、具体的な攻撃シナリオを説明してください。 なお、説明には以下の内容を必ず含めること。 1．想定するAIシステムの処理の流れを文章で説明すること。どのような入力を受け取り、どのように処理し、最終的に何を出力・実行するのかを明確に示すこと。 2．そのシステムで動作するAIがどのようなモデルであるかを明記すること（例：CNNベース、LLMベースなど）。 3．攻撃の具体的な内容、攻撃者の条件（攻撃対象のシステムに対して物理的なアクセスを持つ、システム内部のAIの構造について知っているなど）について説明すること。 4．攻撃によってAIの意図しない動作がどのように引き起こされるのかを説明し、その結果物理世界にどのような影響が生じるのかを、具体的かつ論理的に述べること。 ====================================================================================================================================================================================================== # 問６ あなたの身の回りで実際に起きている出来事や、実体験として感じている「身近な課題」を挙げてください。さらに、その課題を抽象化するとどんな社会課題に繋がっていくのか、風呂敷を広げて考えてください。 その上で、それらの課題に対して、AIをどのように利活用することで解決に向けたアプローチが可能か、自由に記述してください。 もちろん生成AIを使っていただいても構いません。文字数制限は厳密に設けませんが、最大1000字程度を目安にしてください。