WEBデータに基づく企業のDX活動の自動分析・評価システム「WISDOM-DX」を開発

企業のデジタルトランスフォーメーション（DX）を推進するIPAは、機構の調査事業をデジタル技術により変革し、エビデンスに基づいた効果的な施策立案と迅速な評価を実現するために、AI技術と大規模データを活用した自動分析・評価技術の開発をNICTと共同で進めています。「WISDOM-DX」は、企業や組織が取り組んでいるテーマについて、その活動状況をAI技術によって自動的に分析・評価するシステムです。
今回、企業のDX活動の自動分析について実験評価しました。従来アンケート調査に基づいて、専門家によって行われていた評価を質問応答の形式でモデル化し、WEBデータに基づく質問応答システム（WISDOM X(脚注1)）を用いてアンケート結果に相当するDX摘要を自動的に生成します。DX摘要などWISDOM Xの出力からDX活動を評価するスコア関数を定義し、学習データによってスコアを最適化することによりDX評価の自動化を実現しました。企業戦略の分析として、テキストマイニングによる企業の分類や、企業の置かれている状況（強み、弱み、機会、脅威）の分析などは行われてきましたが、総合的な評価を自動的に行うことはありませんでした。技術的な特徴は、以下のとおりです。

1．5W1Hによる質問のモデル化

企業のDX活動に関して、質問展開テーブルに登録された5W1H（いつ誰が何をどこでなぜどのように）の形式で質問を生成し、さらに必要に応じてドメイン評価モデルに登録されたキーワード（戦略、ビジョン、ガバナンス等）に関する質問を追加します。

2．質問応答システム（WISDOM X）の活用

WISDOM X は、60億のWebページから深層学習によって、入力されるさまざまな形式の質問に対して内容を容易に把握できる端的な形で回答（応答結果）を提示します。

3．機械学習によるスコアの最適化

WISDOM X を用いて作成したDX 摘要をベースに DX 状況を評価します。具体的には、DX摘要に含まれる各質問に対する応答件数、各応答の信頼度、応答と優良事例との類似度をパラメータとするスコア関数を定義し、入力企業のランキングを最適化するように総合スコアの学習を行います。

WISDOM-DXをDX銘柄2021(脚注2)にアンケート回答した企業464社に適用し、専門家が選定した優良企業48社を正解として実験を行ったところ、AUPR(脚注3)が0.543であり、システムがランキングした上位48件の正解率は56.3%となりました。また、不正解とされた残りの上位企業についても一定水準以上のDX活動を行っていて、システムのランキングがDX状況を把握する上で有効であることを確認しました。
このような機能を実現したことにより、従来は半年近くかかっていた企業の活動状況の調査をリアルタイムでより大規模に自動化することが可能となります。また、専門家間で評価が異なる場合の判断指針として評価支援に活用することができます。現在、日本には中小企業含めて360万社以上存在します。大企業だけでなく日本企業全体のDXを促進するためには、企業の活動状況の調査・分析・評価が不可欠です。このような活動は、アンケートやヒアリングなどの調査に基づく専門家の分析・評価によって行われることが多く、日本企業全体から見ると限定的な範囲に留まっています。
 本システムの開発により、より大規模かつ迅速に企業活動について分析・評価が可能となります。具体的には以下のような活用が考えられます。

1）データに基づくリアルタイムで大規模な多角的調査

今まで分析や調査の対象とすることが困難であった中小企業を含む360万社以上に関してリアルタイムで評価可能となります。業界や業種、企業規模や従業員数、ユーザー企業やベンダー企業など多角的な視点から時系列的に活動状況を把握するデータを獲得することができます。そのデータに基づいて状況を把握して政策を立案し評価することが可能となります。

2）専門家の分析支援

今後も専門家による分析は必須です。専門家の間でも意見が異なり調整に時間を要することが発生します。また、業種ごとに分かれて専門家が評価することが多く、業種横断的に比較評価することは困難な状況です。本システムが出力する各企業に関するDX摘要や1）で述べたデータは、専門家の評価を支援する有効な指針となり、評価の効率化に寄与することが期待できます。

今後、技術開発を進めて性能改善を図り、IPAが実施している各種調査事業の変革を通して、エビデンスに基づいた効果的な施策立案の実現に向けて推進してまいります。

本システムについては、2021年10月11日にオンラインで開催される「IPAデジタルシンポジウム2021」の展示エリア内「勝ち抜くための基盤構築」コーナーにて発表します。

• IPA デジタルシンポジウム 2021

注釈

1. (脚注1)
   WISDOM Xは、国立研究開発法人情報通信研究機構 ユニバーサルコミュニケーション研究所で開発された質問応答システムです。WEB上に試験公開されていて利用可能です。

   • WISDOM X(ウィズダム エックス)とは？
2. (脚注2)
   DX銘柄2021は、2021年6月、企業価値向上につながるDX推進の仕組みを構築し優れたデジタル活用の実績が表れていると、経済産業省と東京証券取引所が選定した企業です。

   • 「DX銘柄2021」「DX注目企業2021」を選定しました！
3. (脚注3)
   AUPR（Area Under the Precision-Recall Curve）は、検索性能に関する評価指標。正解に対する適合率と再現率を示す曲線の下側の面積であり、数値が1に近いほど性能が高い。

関連情報

• Webデータに基づく質問応答システムを用いた情報処理技術者試験応募法人の推定（第22回情報科学技術フォーラム（FIT2023） 2023年9月8日）（PDF）
• WISDOM-DX: An Automatic DX Assessment System Using a QA System Based on Web Data（情報処理学会論文誌デジタルプラクティス 2023年7月）
• Webデータに基づく企業活動評価システムWISDOM-DXによる女性活躍推進企業の評価（2023年度 人工知能学会全国大会（第37回） 2023年6月8日）（PDF）
• Webデータに基づく企業のデジタルトランスフォーメーション 活動評価システム WISDOM-DXの検証（第15回データ工学と情報マネジメントに関するフォーラム 2023年3月7日）（PDF）
• WEBデータに基づく企業のDX活動の自動分析・評価システム「WISDOM-DX」を開発（NICTから公開）
• WEBデータに基づく質問応答システムを用いた企業のデジタルトランスフォーメーション活動の分析と評価（情報処理学会研究報告 2021年9月3日）（PDF）