「情報処理システム高信頼化教訓集（ITサービス編）」 2016年度版公開

概要

　IPA/SECは、ITサービスを担うシステムに発生した障害の再発防止や再発時の影響範囲縮小を目的に、障害事例の情報を収集・分析し、対策を整理・体系化した上で、業界・分野を越えて共有するための取組みを行っています。その取組みの一環として、障害事例から得られた経験やノウハウを「教訓」として普遍化し、「情報処理システム高信頼化教訓集（ITサービス編）」として 2014年5月13日に初版を公開後、毎年、新たな「教訓」を追加して、最新化を行ってきました。
　今回、教訓の更なる活用推進を図るため、本教訓集の内容を拡充した教訓集2016年度版を公開しました。教訓集2016年度版では、2016年度に作成した最新の教訓や、事例から見えてくる傾向について「ヒューマンエラー」および「システムの高負荷／過負荷」の観点から分析し、原因や対策について考察した結果を追加しています。

　※2018年3月26日に「情報処理システム高信頼化教訓集（ITサービス編）」2017年度版を公開しました。
　※「情報処理システム高信頼化教訓集（組込みシステム編）」はこちら

背景

　ITシステムは、今や私たちの生活や社会・経済基盤を支えるあらゆる重要インフラ分野^(*1)のサービスに深く浸透しています。社会に大きな影響を与える大規模システム障害の発生件数は増加傾向にあり、新聞やテレビなどのメディアでも以下のようなシステム障害に関するニュースを目にする機会が増えています。

　この背景には、システム障害の原因分析や発生防止対策などの情報が業界内で共有されておらず、類似の障害が繰り返し発生してしまう実状があります。障害が発生しても被害状況等の外から見える情報以外の詳しい情報が公開されず、関係企業のみによって内々に対処されることが多く、一部の大規模障害についてはシステム内部の情報が公開されることがあるものの、その情報が特定の事例に限られた対応策となっている場合が多いため、参考として他社のシステムに活かされにくいことなどが考えられます。

　この問題に対してIPA/SECでは、ITサービスの障害情報の収集・分析と対策の検討を行い、その結果を普遍化した「教訓」として取りまとめ、「情報処理システム高信頼化教訓集（ITサービス編）」として公開しています。

本教訓集の特徴

　この教訓集は、実際に発生したシステム障害を題材に、その原因や再発防止策を検討した結果を以下の観点で取りまとめたもので、幅広い分野において利用できることを目指した内容になっています。

1. 複数の重要インフラ分野等の有識者・専門家による「重要インフラITサービス高信頼化部会」において多方面から考察を行い、業界横断的に利用可能な要素を抽出する。（図1）
2. 所定の機密保持ルール（教訓集PartⅠ付録A参照）に従って収集した、これまで一般には未公開であった事例や情報も素材として原因や対策について考察する。
3. 有識者・専門家の豊富な経験に基づく知見と、IPA/SEC の10年以上の活動で蓄積されたソフトウェアエンジニアリングに関する検討の成果をもとに取りまとめ、技術領域に加え、ガバナンス／マネジメント領域も対象に教訓を整理する。

図1　事例の収集・教訓化の体制と流れ

教訓の例

各教訓は、内容により技術領域、ガバナンス／マネジメント領域の2つの観点で分類して掲載しています。（表1）

表1　掲載された教訓

※太字は2016年度追加分

　教訓集では、実際の事例から分析した原因、再発防止策を個別の教訓に詳しく記載したのち、発生しうる障害とその原因を一覧で示すことにより、障害と原因の関係性を明確化しています。

　 一例として、表1の教訓T23「障害監視は、複数の観点から実装し、障害の見逃しを防げ！」を紹介します。この事例で取り上げる障害は、24時間365日サービス提供するオンラインシステムにおいてシステム障害が発生した際に、4重化してあったDBサーバに備わっていた2種類の監視機能がそれぞれ監視漏れと監視ミスを発生させた結果、全DBサーバが停止し、システムが停止したというものです（障害概要を図2に示します）。障害の直接原因は、DBサーバ間の通信の際に使用するネットワークスイッチのキャッシュメモリ障害でしたが、根本原因は、ネットワークスイッチを含んだDBサーバの障害監視が適切でなかったことでした。本事例では、以下の3点を再発防止の対策とすることにより、運用監視で起きる障害検知ミスを減らすための教訓としています。

• 個々の機器の監視を複数のツールで行う。
• 複数の監視機能の組み合わせで動作に問題ないか確認する。
• 十分な保守時間の確保

図2　教訓例：T23の障害概要

効果

　ITシステムの構築・運用やその管理は、社会や技術の進展にともなって複雑化・多様化しており、一人一人の作業者や個別の企業で対応できる範囲には限界があります。そして、その限界は今後ますます顕在化していくものと考えられます。一方、求められる対応は今後一層複雑化・多様化していきます。したがって、システムの構築・運用及びその管理に関わる課題を解決するために、より多くの人々・企業の経験を社会全体で共有・伝承することが求められています。

　本教訓集の内容が、ITサービスの責任者のもとで、システムの構築・運用及びその管理における指針などとして活用されること、また、高信頼なシステムを構築・運用するための基準などに組み込まれることを期待します。

普及・展開

　IPA/SECでは2014年度から、本教訓集の活用に向けた普及展開活動を行うとともに、障害情報の分析に基づく教訓の共有の仕組みを幅広い業界・分野に展開しています。具体的には、業界団体の協力を得ながら、業界ごとなど、より精度の高い形での情報共有の仕組みの構築を目指しています。（図3）
　これにより、障害情報に基づく「教訓」が業界・分野を越えて幅広く共有され、国民生活や社会・経済基盤を支える重要インフラ分野などにおけるシステムの信頼性向上が期待できます。

図3　障害情報に基づく教訓の共有による信頼性向上のしくみ

　また、本教訓集をより有効にご活用いただくために、自社内で発生したシステム障害事例や再発防止策などを自らで「教訓」として作成し、それらを企業間や業界内でも共有・活用可能とするためのガイドブック2編（下記リンク）を公開しています。


※「情報処理システム高信頼化教訓作成ガイドブック（ITサービス編）」及び 「情報処理システム高信頼化教訓活用ガイドブック（ITサービス編）」を公開

脚注

ダウンロード

この教訓集には、旧版に記載された教訓がすべて掲載されています。

• 「情報処理システム高信頼化教訓集（ITサービス編）」2016年度版 PART1：教訓[7.78MB]
• 「情報処理システム高信頼化教訓集（ITサービス編）」2016年度版 PART2：障害対策手法[1.52MB]
• 「情報処理システム高信頼化教訓集（ITサービス編）」2016年度版 PART3：障害分析手法[1.1MB]

• サービスやシステムの信頼性を高めるための教訓集ダイジェスト（2016年度版）[PDF：2.28MB]

教訓のリンク集（ITサービス編）

情報システム高信頼化教訓集（ITサービス編）に収録されている教訓一覧から個々の教訓を直接照会できるようにしています。
「情報処理システム高信頼化教訓集（ITサービス編）」各教訓のリンク集
このリンク集には、教訓集に掲載された教訓に加えて、新規に作成した教訓も随時登録を予定しています。

「注意すべき観点」に基づいた障害事例の分類

　教訓およびSEC journal連載記事の障害事例について、短い時間でポイントや全体像をつかめるよう、「注意すべき観点」に基づいて分類した障害事例の一覧を用意しました。
　・「注意すべき観点」に基づいた障害事例の分類

更新履歴