# 問1(実践 LLMアプリケーション・セキュリティ) ## 攻撃者の気持ちで以下の問に答えてください。 GPTやGemini等の大規模言語モデル(LLM)と連携したシステム「LLMアプリケーション」には様々な脅威が存在します。LLMアプリケーションを開発・運用する企業にとって最も大きな脅威となる攻撃シナリオを「OWASP Top 10 for LLM Apps」を参考にしてお答えください(実害の大きなシナリオを考えると分かりやすいかもしれません)。 * OWASP Top 10 for LLM Apps https://owasp.org/www-project-top-10-for-large-language-model-applications/ ## システム運用者の気持ちで以下の問に答えてください。 上記の攻撃シナリオに対し、あなたはどのように対策をとりますか。 ----- # 問2(クラウドソーシングによる学習データ作成と品質管理) 近年、不適切な学習データを利用したことにより、AIがよろしくない振る舞いをしてしまうことが問題となってきています(品質問題や、プライバシー、バイアス・公平性の問題など)。そのような事例をいくつか調べ、まとめてください。 また、個々の事例について、どのようにすれば問題が起きることを防げたか、自分なりの対策を記述してください。 ----- # 問3(生成AIで考える、信頼できるAIとは?) ## 生成AIの開発者・運用者の気持ちで以下の問に答えてください。 大規模言語モデル(LLM)は有用である反面、誤った情報を学習する・学習データの不足等が原因で、誤った情報をまことしやかに生成する"幻覚問題"が課題になっています。幻覚問題を解消する方法の一つとして、「高品質の学習データ」を用意し、LLMに学習させることが挙げられますが、誤りのない(または限りなく少ない)高品質の学習データを大量に収集しようとすると、非常にコストが高くなってしまいます。 低コストで信頼できるLLMを作成することはできるのか? また、作成できるとしたら、どのような仕組みで行うのか具体的に回答してください(技術・非技術問わず考えてみてください)。 ----- # 問4(LLMとRAGで作るサイバーセキュリティ支援ツール) 大規模言語モデル(LLM)は有用である反面、"幻覚"によって誤った情報をまことしやかに提示する場合があります。サイバーセキュリティ対策にLLMを活用する場合、"幻覚"を放置することで誤った対策が提示され、インシデントに繋がる可能性があります。 "幻覚"のリスクを回避・低減するために何をすれば良いですか?具体的な対策をお答えください。 ----- # 問5(これからのAIにとってのセキュリティを考える2024) 生成AI(画像生成、文章生成、音声・音楽生成等)の登場により、我々利用者は大きな恩恵を受けています。 例えば、知りたい情報を(検索するよりも)早く入手することや、レポート・小説・企画書・プログラムコード等の自動生成、また、オリジナルのアニメ画像や(実写と見紛うほどの)モデル画像、音楽の自動生成等、生成AIは社会のあり方を大きく変えてしまう可能性を秘めています。ところで、生成AIの恩恵を享受する人々がいる一方で、アナリストや小説家、アニメーターやモデル、声優、作曲家等、生成AIに仕事が奪われる(と言われている)人々も少なからずいます。 そこで、以下の3つの問に答えてください。 1. あなたが考える、社会のために役立つ生成AIの使い方は何ですか? 2. 1を行うことで不利益を被る人々は誰ですか?(職種等)不利益を被る人々がいない場合は、いないと判断した理由を詳しくお答えください 3. 生成AIの「利益を享受する人々」と「不利益を被る人々」がWin-Winになれる方策を詳しくお答えください(2で不利益を被る人がいないと回答した人は、3は空欄でも構いません)