プレスリリース
公開日:2024年9月18日
最終更新日:2024年10月1日
AIセーフティ・インスティテュート
独立行政法人情報処理推進機構
AIセーフティ・インスティテュート(AISI、所長:村上明子)は、AIシステムの開発者や提供者がAIセーフティ評価を実施する際に参照できる基本的な考え方を提示するため、「AIセーフティに関する評価観点ガイド」を公開しました。AIシステムの開発・提供管理者が本書を参照することで、AIセーフティ評価の要点を確認することができ、AIセーフティに配慮したAIシステムの開発・提供を行うことができます。
AIに関連する技術の発展と社会全体への普及が急速に進み、生成AI、特に基盤モデルの登場によりイノベーションが加速する一方で、AIシステムの悪用や誤用、不正確な出力の懸念など、いわゆるAIセーフティ(注釈1)についての関心が国内外で高まっています。AIセーフティを確保し続けることは、AIが社会の持続的な発展に寄与するための前提であることから、AISIはAIシステムの開発者や提供者がAIセーフティ評価を実施する際に参照できる基本的な考え方を提示するため、「AIセーフティに関する評価観点ガイド」(以下、本書)を公開しました。
本書では、本年4月に公表された「AI事業者ガイドライン」に加え、海外文献や関連ツール等に関する調査を踏まえ、AIセーフティ評価の観点や想定され得るリスクの例、評価項目例、評価の実施者や評価実施時期に関する考え方、評価に関する手法の概要などを提示しています。本書の主な想定読者は、AI開発者・AI提供者、特に、「開発・提供管理者」や「事業執行責任者」であり、想定するシステムは大規模言語モデル(LLM)を構成要素とするAIシステム(LLMシステム)です。本書の構成は次のとおりです。
本書では、AIセーフティの観点として、AI事業者ガイドライン「C. 共通の指針」において各主体が取り組む事項とされているもののうち、「人間中心」、「安全性」、「公平性」、「プライバシー保護」、「セキュリティ確保」「透明性」を重要要素としています。本書ではこれら6つの重要要素に関連するAIセーフティ評価の観点を、昨今の技術的潮流を踏まえて導出しました(「有害情報の出力制御」、「偽誤情報の出力・誘導の防止」、「公平性と包摂性」、「ハイリスク利用・目的外利用への対処」、「プライバシー保護」、「セキュリティ確保」、「説明可能性」、「ロバスト性」、「データ品質」、「検証可能性」の10項目)。
評価の実施者は、主にAI開発およびAI提供における開発・提供管理者であり、いずれの役割の者が実施するかは、AIシステムに関するライフサイクルによって異なるとしています。評価実施時期は、LLMシステムの開発・提供・利用フェーズにおいて合理的な範囲、適切なタイミングで繰り返し実施することとしています。
本書の5章では、評価に関する手法として技術的評価とマネジメント的評価を挙げ、技術的評価の概要としてツールを用いた対策の検証、ツール以外も取り入れたレッドチーミングによる検証などを概説し、6章では評価に際しての留意事項を示しています。
AISIは、AIシステムを安全安心に利用するための評価への理解を促進することで、社会全体でのさらなるAI活用が進むことを期待しています。
「AIセーフティに関する評価観点ガイド」と概要説明資料は、AISIのウェブサイトからダウンロード可能です。
AIセーフティ・インスティテュート事務局 北村、多賀
お問い合わせの受け付けは、外部サービス(PRオートメーション)を利用しています。
2024年10月1日
「AIセーフティに関する評価観点ガイド」のURL変更に伴い、リンク先修正
2024年9月18日
プレスリリース公開