English
デジタル人材の育成
セキュリティ・キャンプ2024 全国大会【専門】Dクラス
公開日：2024年4月8日
D【AIセキュリティクラス】
近年多数の実装や利活用が進むAI、機械学習。しかしまだ課題は多く、たまたまうまく行ってるだけ、というようなものも少なくありません。AIそのもののセキュリティについては実装面、アルゴリズムなど検討と整理は進んでいますが、対策も含めて体系的に定着しているとは言えません。そして開発の定石も確立してきてはいますが、特にセキュリティ面でのデバッグはまだまだ開発研究の余地があり、AIシステムが社会的に重要な役割を担うようになりつつある今、喫緊の課題でもあります。
このクラスではAI開発に必要なモデル化の思考パターンやフェイク、偽装の考え方や攻撃のアイディア、手法に触れながら、安全なAI、機械学習システムの作り方を実践的に学びます。また、現在の世界のトレンドに触れつつ、安全の範疇を拡げて社会制度や法律、倫理の課題についても検討・議論していきながら、危ないシステムを企画したり、作ったりしないような感覚を身に付け、セキュリティを確立するためのアイディアを出せるようになっていくことを目指します。
D1『実践LLMアプリケーション・セキュリティ』
- 開催日時
-
8月13日(火曜日) 8時30分～12時30分
- 講義概要
-
本講義では、「LLMアプリケーションに対する攻撃手法と防御手法」を実践形式で学びます。
OpenAIのGPTに代表される大規模言語モデル（LLM）の普及に伴い、LLMと連携したシステム（LLMアプリケーション）を開発する企業が増えています。OWASP Top 10 for LLM Appsによると、LLMアプリケーションは有用である一方で、既存システムとは異なる新たな脅威が数多く存在することが指摘されています。そこで本講義では、受講生の皆さんに検証用LLMアプリケーションに対する攻撃と防御を実践してもらうことで「LLMアプリ特有のセキュリティ・リスクと対策方式」を学んでいきます。
本講義はLLMの知識が必要になりますが、充実した事前学習コンテンツを用意いたします。
また、本講義は複数回（数日）にわたって開催されますが、初回で攻撃や防御が上手くいかなかった方でも、次回の講義までに講師陣がサポートしますので、安心してご参加ください。
D2『クラウドソーシングによる学習データ作成と品質管理』
- 担当講師
- 開催日時
-
8月13日(火曜日) 13時30分～17時30分
- 分野・キーワード
-
- アノテーション
- クラウドソーシング
- データ品質管理
- 能動学習
- Human-in-the-loop
- 講義概要
-
機械学習モデルを開発する際には、高品質な学習データが不可欠である。一般に、学習データの作成には人間がデータに対して情報を付与するアノテーションという作業が必要になる。アノテーション作業を行う専門人材の確保には困難が伴うため、近年ではクラウドソーシングを活用しアノテーションを行うことが多い。クラウドソーシングとは、インターネット等を通じて不特定多数の人間に作業を依頼することであり、その作業者をクラウドワーカーと呼ぶ。クラウドソーシングによるアノテーションは様々な分野で活用されている一方で、クラウドワーカーの作業品質には大きなばらつきがあり、高品質な学習データを得ることは容易でない。本講義では、クラウドソーシング等を活用した場合のアノテーション品質管理手法を扱い、より良い学習データを作成するための方法を学ぶ。また、クラウドソーシングでアノテーションを行う際の倫理的な問題についても取り扱う。
D3『生成AIで考える、信頼できるAIとは？』
- 開催日時
-
8月14日(水曜日) 8時30分～12時30分
- 講義概要
-
生成AIは瞬く間に世界を席巻しましたが、ある意味非常に「便利」である反面、幻覚問題など100％信頼できるものと言い難くしてしまっている課題も見えて来ています。そもそもデータを収集する仕組みの中でノイズが入ってしまうことは避けがたく、精度を高めるには収集するデータを選別しなければならないという、便利さと精度を共存させようとすると非常な高コスト構造になってしまいます。
本講義はそのような宿命を負った現代の生成AIについて議論し、信頼できて、かつ低コストなAIをどのように想像（創造）するか、検討していきます。
D4『LLMとRAGで作るサイバーセキュリティ支援ツール』
- 担当講師
- 開催日時
-
8月14日(水曜日) 13時30分～17時30分
- 講義概要
-
2022年12月のChatGPTのリリース以降、大規模言語モデル（LLM）の応用に大きな注目が集まっています。しかし、LLMは完璧ではなく、特に特定の専門分野の質問に対して適切な回答を生成するのが難しい場合があります。これには様々な要因がありますが、1つの原因として、学習に用いるデータが不正確であるために、誤った出力が生じることが挙げられます。
このような課題を解決するために、LLMとは別のデータソースから関連情報を検索し、その情報に基づいて回答を生成するRAG（Retrieval-Augmented Generation）技術が登場しました。RAGを利用することで、専門的な文献を効率的に検索し、検索した情報をテキスト生成のプロセスに組み込むことができます。
これにより、特定の専門分野においてLLMよりも詳細で、正確な情報を生成することができます。RAGは、セキュリティをはじめとする様々な分野で注目されています。
この講義では、セキュリティ業務の自動化・効率化を例に、RAG技術を活用したWebアプリケーションの開発を実施します。参加者は、実際のセキュリティ関連文書をデータソースとして使用し、RAGを利用したアプリケーション開発を経験することで、最新のAI技術を活用した問題解決能力を養うことができます。
D5『実践LLMアプリケーション・セキュリティ』
- 開催日時
-
8月15日(木曜日) 8時30分～12時30分
- 講義概要
-
本講義では、「LLMアプリケーションに対する攻撃手法と防御手法」を実践形式で学びます。
OpenAIのGPTに代表される大規模言語モデル（LLM）の普及に伴い、LLMと連携したシステム（LLMアプリケーション）を開発する企業が増えています。OWASP Top 10 for LLM Appsによると、LLMアプリケーションは有用である一方で、既存システムとは異なる新たな脅威が数多く存在することが指摘されています。そこで本講義では、受講生の皆さんに検証用LLMアプリケーションに対する攻撃と防御を実践してもらうことで「LLMアプリ特有のセキュリティ・リスクと対策方式」を学んでいきます。
本講義はLLMの知識が必要になりますが、充実した事前学習コンテンツを用意いたします。
また、本講義は複数回（数日）にわたって開催されますが、初回で攻撃や防御が上手くいかなかった方でも、次回の講義までに講師陣がサポートしますので、安心してご参加ください。
D6『これからのAIにとってのセキュリティを考える2024』
- 開催日時
-
8月15日(木曜日)13時30分～17時30分
- 講義概要
-
本講義では、社会実装が加速している生成AIとの「付き合い方」を法律や倫理の観点も含めて考えていただきます。
生成AIにまつわるトピックを冒頭30分ほどレクチャーした後、諸問題をいくつか提示しますので、受講生の皆様には検討及び発表をしていただきます。
この講義により、生成AIに関わる様々な課題への解決策やその糸口を考えていただく予定です。
