WEBデータに基づく企業のDX活動の自動分析・評価システム「WISDOM-DX」を開発

公開日：2021年10月6日

最終更新日：2024年10月11日

アンケート調査や専門家に依存せず大規模かつリアルタイムで企業のDX活動を評価

独立行政法人情報処理推進機構（以下、IPA）と国立研究開発法人情報通信研究機構 (以下、NICT) は、WEBデータに基づく質問応答システムを用いて企業活動を自動的に分析・評価する実験システム「WISDOM-DX」を開発しました。

企業のデジタルトランスフォーメーション（DX）を推進するIPAは、機構の調査事業をデジタル技術により変革し、エビデンスに基づいた効果的な施策立案と迅速な評価を実現するために、AI技術と大規模データを活用した自動分析・評価技術の開発をNICTと共同で進めています。「WISDOM-DX」は、企業や組織が取り組んでいるテーマについて、その活動状況をAI技術によって自動的に分析・評価するシステムです。
今回、企業のDX活動の自動分析について実験評価しました。従来アンケート調査に基づいて、専門家によって行われていた評価を質問応答の形式でモデル化し、WEBデータに基づく質問応答システム（WISDOM X(脚注1)）を用いてアンケート結果に相当するDX摘要を自動的に生成します。DX摘要などWISDOM Xの出力からDX活動を評価するスコア関数を定義し、学習データによってスコアを最適化することによりDX評価の自動化を実現しました。企業戦略の分析として、テキストマイニングによる企業の分類や、企業の置かれている状況（強み、弱み、機会、脅威）の分析などは行われてきましたが、総合的な評価を自動的に行うことはありませんでした。技術的な特徴は、以下のとおりです。

1．5W1Hによる質問のモデル化: 企業のDX活動に関して、質問展開テーブルに登録された5W1H（いつ誰が何をどこでなぜどのように）の形式で質問を生成し、さらに必要に応じてドメイン評価モデルに登録されたキーワード（戦略、ビジョン、ガバナンス等）に関する質問を追加します。

2．質問応答システム（WISDOM X）の活用: WISDOM X は、60億のWebページから深層学習によって、入力されるさまざまな形式の質問に対して内容を容易に把握できる端的な形で回答（応答結果）を提示します。

3．機械学習によるスコアの最適化: WISDOM X を用いて作成したDX 摘要をベースに DX 状況を評価します。具体的には、DX摘要に含まれる各質問に対する応答件数、各応答の信頼度、応答と優良事例との類似度をパラメータとするスコア関数を定義し、入力企業のランキングを最適化するように総合スコアの学習を行います。

図 1 WISDOM-DXシステム

WISDOM-DXをDX銘柄2021(脚注2)にアンケート回答した企業464社に適用し、専門家が選定した優良企業48社を正解として実験を行ったところ、AUPR(脚注3)が0.543であり、システムがランキングした上位48件の正解率は56.3%となりました。また、不正解とされた残りの上位企業についても一定水準以上のDX活動を行っていて、システムのランキングがDX状況を把握する上で有効であることを確認しました。
このような機能を実現したことにより、従来は半年近くかかっていた企業の活動状況の調査をリアルタイムでより大規模に自動化することが可能となります。また、専門家間で評価が異なる場合の判断指針として評価支援に活用することができます。現在、日本には中小企業含めて360万社以上存在します。大企業だけでなく日本企業全体のDXを促進するためには、企業の活動状況の調査・分析・評価が不可欠です。このような活動は、アンケートやヒアリングなどの調査に基づく専門家の分析・評価によって行われることが多く、日本企業全体から見ると限定的な範囲に留まっています。
本システムの開発により、より大規模かつ迅速に企業活動について分析・評価が可能となります。具体的には以下のような活用が考えられます。

1）データに基づくリアルタイムで大規模な多角的調査: 今まで分析や調査の対象とすることが困難であった中小企業を含む360万社以上に関してリアルタイムで評価可能となります。業界や業種、企業規模や従業員数、ユーザー企業やベンダー企業など多角的な視点から時系列的に活動状況を把握するデータを獲得することができます。そのデータに基づいて状況を把握して政策を立案し評価することが可能となります。

2）専門家の分析支援: 今後も専門家による分析は必須です。専門家の間でも意見が異なり調整に時間を要することが発生します。また、業種ごとに分かれて専門家が評価することが多く、業種横断的に比較評価することは困難な状況です。本システムが出力する各企業に関するDX摘要や1）で述べたデータは、専門家の評価を支援する有効な指針となり、評価の効率化に寄与することが期待できます。

今後、技術開発を進めて性能改善を図り、IPAが実施している各種調査事業の変革を通して、エビデンスに基づいた効果的な施策立案の実現に向けて推進してまいります。

本システムについては、2021年10月11日にオンラインで開催される「IPAデジタルシンポジウム2021」の展示エリア内「勝ち抜くための基盤構築」コーナーにて発表します。

IPA デジタルシンポジウム 2021

注釈

(脚注1)
WISDOM Xは、国立研究開発法人情報通信研究機構ユニバーサルコミュニケーション研究所で開発された質問応答システムです。WEB上に試験公開されていて利用可能です。
- WISDOM X(ウィズダムエックス)とは？
(脚注2)
DX銘柄2021は、2021年6月、企業価値向上につながるDX推進の仕組みを構築し優れたデジタル活用の実績が表れていると、経済産業省と東京証券取引所が選定した企業です。
- 「DX銘柄2021」「DX注目企業2021」を選定しました！
(脚注3)

AUPR（Area Under the Precision-Recall Curve）は、検索性能に関する評価指標。正解に対する適合率と再現率を示す曲線の下側の面積であり、数値が1に近いほど性能が高い。