IPA テクニカルウォッチ
製品の品質を確保する「セキュリティテスト」に関するレポート
〜修正費用の低減につながるセキュリティテスト「ファジング」の活用方法とテスト期間に関する考察〜
2012年9月20日
独立行政法人情報処理推進機構
IPA（独立行政法人情報処理推進機構、理事長：藤江 一正）は、製品開発企業の経営者・品質保証部門の部門長(*1)などに向けて、製品の修正費用の低減につながるセキュリティテスト「ファジング」の活用方法を分析した技術レポート（IPAテクニカルウォッチ 第11回）を公開しました。
製品の品質を確保するセキュリティテストには、「ファジング（英名：fuzzing）(*2)」という手法があります。このファジングは米マイクロソフト社など、主に国外の大手ソフトウェア製品開発企業が採用しており、品質の確保に十分な成果をあげています。
わが国でも、制御システムに関連する複数の国内企業等の協力により設立された「制御システムセキュリティセンター（CSSC）」(*3)で取り組まれている、制御システムセキュリティの標準化および評価・認証において、ファジングがその要件の一つに含まれています。また、2010年に制御システムを標的としたコンピューターウイルス「スタックスネット（Stuxnet）」が未知の脆弱性も攻撃に悪用しており、CSSCではファジングなどを活用した未知の脆弱性の検出技術も研究されています。
IPAにおいても、ファジングを実践しながらファジングの普及を促進する「脆弱性検出の普及活動」を実施しています。2011年8月から2012年6月末の約1年間に、組込み機器17機種(*4)に対してファジングを実践し、合計24件の脆弱性を発見して製品開発者にそれらの脆弱性を報告しています。また、実際にファジングを導入している国内の企業5社の協力を得て、ファジング活用方法、効果などのヒアリングを行いました。そこから「ファジング導入による費用対効果が分かりづらい」、「ファジングには、どれだけの期間を掛ければよいか」、「なぜファジングツールごとに発見できるバグや脆弱性が異なるのか」といった各企業の課題が浮かび上がってきました。
今回公開したテクニカルウォッチ「製品の品質を確保する『セキュリティテスト』に関するレポート」は、これらの課題を解消すると共に、ファジングの効果をあらかじめ示すことで、ファジング導入への取り組みを促進してゆきたいとの考えにもとづき、前述の「脆弱性検出の普及活動」で培った検証結果をレポートとしてまとめたものです。
本レポートでは、主な読者として製品開発企業の経営者・品質保証部門の部門長などを想定しています。IPAとしては、本レポートが製品開発ライフサイクル(*5)へのファジング導入の検討材料として活用され、さらに、導入へと結びつく一助となることを期待します。
本レポートではファジング導入における2つの検討課題「ファジング導入・運用に掛かる費用」、「テスト期間への影響」を考察しました。この考察結果をもとに、ファジング導入に向けた2つのアプローチを紹介しています。
1st ステップ：オープンソースソフトウェア等を活用したファジング
2nd ステップ：商用製品を活用したファジング
また本レポートにおいて、ファジング導入の検討課題およびファジング導入に向けたアプローチを検討するうえで、実例および実測値（主な情報を以下に掲載）を重視しました。
- ● 費用面からみたファジング導入の判断（4.2.1節）
- ファジングの導入には数百万円から数千万円の負担を要するとされますが、ファジングを導入することで、改修費用の削減やテストに関連する費用の削減が見込めます。本レポートで引用している事例では、ファジングツールを導入して3年間運用した場合の投資収益率（ROI：Return on Investment）が176%となっています。「製品出荷後に問題が発生してその対応に掛かる費用」が非常に大きい場合、品質を保証するテストとしてのファジング導入が考えられます。
- ● バグや脆弱性発見までのテスト工数（4.2.2節）
- ファジングでは、製品ごとにテスト工数を見極めることが重要です。IPAの「脆弱性検出の普及活動」において、ブロードバンドルーターに対して実施したファジングでは、テスト開始から1、2日目でほとんどの脆弱性を発見しています。また、例えば、Codenomicon社(*6)の提供するサービスでは、テスト開始から9日前後でバグや脆弱性の発見件数が増えなくなります。つまり、ファジングにおける脆弱性発見のピークを見極めることで、費用対効果の高いセキュリティテストが可能になります。
- ● ファジングツールごとに発見できるバグや脆弱性の違い（4.5節）
- 商用製品2種、オープンソースソフトウェア1種の計3種を比較すると、網羅的にテストできるファジングツールもあれば、特定の箇所に絞って集中的にテストするファジングツールがあることが分かります。ファジングツールごとの特徴を理解したうえで、テストの目的（まずは網羅的にテストしたい、実施中のテストで不足しそうな箇所を集中的に検査したいなど）に応じたファジングツールを活用することで、効果的なセキュリティテストを実施できます。
本レポートが活用され、製品出荷前により多くのバグや脆弱性が解消されることを期待します。
今後IPAでは、インターネットにつながるデジタルテレビや制御システムなど、脆弱性対策状況の把握が必要でありながら個人および一企業ではそれが難しい製品に対してファジングを実践していき、活動で得られた知見を公開していく予定です。
レポートのダウンロード
(PDFファイル 1.71MB)テクニカルウォッチ概要のダウンロード
脚注
(*1)製品開発ライフサイクルの[テスト]工程に責任を持つ方を想定しています。
(*2)製品などに何万種類もの問題を起こしそうなデータ（例：極端に長い文字列）を送り込み、製品の動作状態（例：製品が異常終了する）からバグや脆弱性を発見する技術（テスト）です。
(*3)技術研究組合 制御システムセキュリティセンター（CSSC）。2012年3月設立。
http://css-center.or.jp/
(*4)機器を制御する専用のコンピュータシステムを搭載した産業機器や家電製品などを指します。本プレスリリースで組込み機器といった場合、特に家電製品を指します。
(*5)製品における企画から開発、運用、廃棄（サービス終了）までの一連の流れを、大きな作業のかたまり（プロセス）に分けて考える開発モデル。各プロセスには「開発」や「テスト」などがあります。
(*6)ファジングツール「Codenomicon Defensics」を開発している企業です。同社は、ソフトウェアをアップロードすることで、それらに対してファジングを実施するファジング代行サービス「Fuzz-o-Matic」も提供しています。
本件に関するお問い合わせ先
IPA 技術本部 セキュリティセンター 小林／金野／勝海
Tel: 03-5978-7527 Fax: 03-5978-7518 E-mail: 
報道関係からのお問い合わせ先
IPA 戦略企画部 広報グループ 横山／佐々木
Tel: 03-5978-7503 Fax: 03-5978-7510 E-mail: 