平成１２年度未踏ソフトウェア創造事業


採択案件評価書

１．担当ＰＭ 　４．黒崎　守峰
２．採択者氏名 　高田　哲司　（電気通信大学IS研究科）
３．ﾌﾟﾛｼﾞｪｸﾄ実施管理組織 　株式会社アイティーファーム
４．委託金支払額 　2,923,233円
５．テーマ名 　「見えログ：情報視覚化とテキストマイニングを用いたログ情報解析支援システム」
６．関連Webサイトへのリンク
７．テーマ概要

　本プロジェクトは計算機および通信機器が動作状況の通知のために出力しているログ情報を人間が閲覧し、調査・解析する支援を行うシステムの開発である。

　 現在、システム管理者は定期的なログの調査により機器の作動状況を把握し管理している。システムの問題発生時においてもログ解析はその根幹をなす復旧行為である。

情報機器の普及、ネットワークの高度化に伴い、この業務の重要性はます一方であり、かつ解析を必要とする情報の量も、発信される情報のフォーマットも加速度的に増加している。さらに今後一般家庭までが完全にネットワーク化された状況では通信上での不法侵入に対する監視が不可欠になることは絶対である。しかしながら、このログから必要情報を取り出す行為は時に単調であり、増加する情報量に対し重要情報の捕獲率、あるいは捕獲効率は低下する一方である。

　 本プロジェクトは上記のニーズに応えるべく、異なるフォーマットをとる複数のログを一元的に処理することを可能とし、異常性の高い（＝重要度の高い）情報の自動抽出機能に併せ、監視者の直感的な異常発見を支援するログ表示法をインプリメントしたソフトウエア・システムの開発を実施する。


（開発項目）

本プロジェクトにおいて開発する見えログはLinux(RedHat 6.2)を動作環境として開発を行なう．見えログの開発において必要と思われる機能項目を以下に挙げる．


A. ログファイルの記録形式変換/統合処理

(a) ログ変換処理

一括処理を行うコマンドとして作成．入力対象のログファイルは，UNIX系OSのsyslogdが出力するものを対象とする

(b) ログ統合処理

コマンドとして作成．前述のログ変換処理にて変換された複数のログ情報を時刻を基準として一つのログ情報に統合する


B. ログ情報の解析/特徴情報収集処理

対話処理を考慮に入れつつ，大規模ログ情報への対応を可能にする．処理能力の強化，高速化，省メモリ化の推進を行う．

(a) ログ情報が持つ特徴抽出

時刻情報，タグ(ログを出力したプログラム)，メッセージ長に関する情報収集

(b) ログメッセージの頻度解析

ログメッセージを構成する単語毎の頻度解析

(c) 膨大な量の情報を処理可能にするための情報保持方法の模索

必要情報の資源配置の考慮．対話処理との関連も含めて設計し，実装



C. ログ情報ならびに解析/特徴情報の視覚化処理

生ログおよび特徴情報および解析結果を含めたログ情報の視覚化．

(a) タグ情報表示領域部

(b) 時刻情報表示領域部

(c) アウトライン表示領域部

(d) 文字情報表示領域部

(e) 対話的処理に関連した視覚的効果



D. ユーザによる解析支援を目的とした対話処理

人間によるログの調査解析を支援するために有効と思われる対話的機能の実装

(a) 基本的対話機能

(b) フィルタリング処理
８．採択理由

ログの視覚化自体は、現在運用されているサーバ上でも効果が期待できるが、真価を発揮するのは将来ホームサーバが一般化したときである。模倣および競合に対しても組み込み機器に特化した形で作りこんでしまえば十分対抗できる。また、異種サーバのログを結合して見られるようにする機能はログ監視の効率化に非常に有効である。

　現時点で実装が予定されている抽出機能に加え、例えばアクセスの規則性を検出してポートスキャンを発見するなど追加すべき機能はたくさん考えられる。典型的なアタックの手口を研究することで不正アクセスの防止効果はさらに高めることができる。

　採択にあたって重要視された基準のひとつとしての実現性に対しても、現時点でデモを見せられるなど十分な根拠が示された。また、提示されたインターフェースのアイディアが魅力的であることもデモを通じ認識された。セキュリティーという観点から多様な機能を今後拡張的に埋めこむことも十分想定され、もうひとつの基準である発展性も見とめられる。現在のではなく、これからのニーズに対応する製品となり得、未踏ソフトの目的に合致している。

以上の理由より、本提案の採択を決定する。
９．開発評価



9-1．評価

操作性に関する一部の機能の開発が完了しなかったが、十分プロトタイプとしてベータ配布可能なレベルには仕上っている。開発当初の計画通りネットワークシステム管理効率向上に一役買える機能を正確に搭載した。同時進行した市場調査でも本プロジェクトの開発コンセプトに対し非常に前向きな興味が確認された。改善策の提案が市場から即座に得られたことも、この技術への期待の高さを示すものといえる。

　ただし、開発自体に契約期間のすべてを費やしたため、実際の管理者によるフィールドテストは、本プロジェクト外、ないしは来期継続の形で実施することになった。このフィールドテストからのフィードバックが得られれば、より事業化のシードとして完成度の高いものになる。



9-2．競合技術調査結果

　競合調査は、高田氏の学会参加による情報収集と、PMサポートであるIT-Farmの独自調査の同時進行により行われた。結果は開発者の成果報告書に「競合情報」としてまとめられている。同時に学会参加報告書も高田氏より提出されている。


9-3．市場調査結果

　市場情報は、PM黒崎、およびPMサポートであるIT-Farmによる関係者への訪問と、各種統計データの収集により行われた。この結果、開発者の成果報告書にある「システム管理の問題点」は実際に関係者に認識されるとおりであり、同報告書で提案される解決法（つまりはこのソフトウェアの機能）は十分に実作業者の興味を引くものであることが確認された。これを証明するものとして、大手3社がベータ使用を希望している。

　また、本ソフトウェアの主使用目的となることが予測されるネットワーク不法侵入探知の世界市場規模は1997年に$50M、1998年は$100M、1999年は$200Mと年率１００％という驚異的な成長率を持つ市場であることも確認された。ネットワーク管理市場全体はさらに大きい。IT-Farmの北米在住の顧問によれば、それを示す事象として現在シリコンバレーでは、不法ネットワーク侵入探知を中心としたログ解析のビジネスアイディアが多数ベンチャーキャピタリストに提出されているという。

　詳細情報についてはUS市場調査用にIT-Farmで作成した添付の英文プレゼンテーション資料「MieLog　Intuitive System log browser for network era」(mielog_s.ppt) を参照されたい。

　本プロジェクトは、こうした成長市場をターゲットとする新規性のみならず事業性においても十分な可能性を持っていることが確認された。


9-4．識者・技術者からのフィードバック


9-4-1　リアルタイムVS事後解析型

　将来のリアルタイム化が検討されているが、現場ではリアルタイムでなくても（現行の形式）でも十分な使用用途がある。一般企業の社内ネットワークでは歴史的な要因も含め多少のダウンタイムは、早急な復旧を前提としてではあるが、許容されている。こうした環境では24時間の完全モニターを要求するキャリア用の管理とはネットワークの監視への要求レベル・方法論が異なる。

　一般的（かつ最も普及している）ネットワーク環境をサポートするシステムインテグレーターは顧客からの問題発生を受け、復旧・解析にあたる。ここで、復旧を解析の先に書いたのには意味がある。往々にして復旧こそが至上命題であり解析が事後処理的に問題再発防止手段の選定のために行われることが多いからである。このようなワークフローにおいては、問題発生前後に関連機器・関連プロセスが排出したログすべてを集め、砂金堀り的に故障原因を特定するための情報検索＝ログ解析を行う。本システムはまさにこれをサポートするスペックである。


9-4-2　情報検索ガイダンス

　現在の非通常状態に着目するポリシーは興味深い。管理者としては、次に進むとすれば、イメージとしてはワープロの漢字変換の学習機能のように、管理者が過去に行った情報検索を、何に着目していかに重要情報に行きついたかを反復学習し、自動的にそれをたどり重要情報と思われるものを自動的に提示してくるような方向を期待したい。また、この情報検索ガイダンスは、「プロが見なければログがどんな重要なことを言っているか、または言っていないのか判断できない」という現況を、素人がみても「なにか変かもしれない」と思える環境まで変える可能性を持っている。


9-4-3　タグ情報

　複数システムで発生したログを扱うことに対する表示部のケアに改善余地がありそう。タグの情報としては、上位層でシステム名、その下の層にプロセス名という２階層を用意すべきだろう。



9-4-4　ログ解析方法

　頻度解析等が複数ログをマージした後に施されるが、フォーマット、メッセージスタイルのことなるログを混合した後に解析するのは統計情報として使いにくいかもしれない。ログ間の関連性は時間軸を持って判断し、頻度・周期等の解析は個別のログで行われたほうが適切かもしれない。もちろん、複数ログを同時に扱い相関関係で理解させるのは正しい。統計の母集合をどうとるべきかという問題である。

　現在の情報抽出にパターン認識をいれるべきであろう。今起こっている事象が過去に起こったか、起こったなら何時か、ということを関連づけられると非常に有用なツールになる。

　市場が対ネットワーク不法侵入にむいているので、これにアピールするにはLogin Attemptを捕まえるような機能が良いだろう。現在システムログに出てこないものも能動的にシステムに働きかけ捕まえるような仕組みがあると良い。


9-4-5　事業化（完成度・マーケティング・パートナーシップ）

　現状では他のソフトウェアソリューションのパーツとしてしか提案できない。つまり完成を他人・他社に委ねなければならない。さらに開発時間をかけ、パッケージとしてある程度の完成度まで仕上げておかないと、魅力が伝わらず埋もれてしまう可能性が高い。また、これだけで起業できるレベルにあるとは言えない。

　ライセンシーとして挙げられているネットワークシステムベンダーが一番のターゲットとなるだろう。ただし、競合の要素も存在するので、パートナーシップを提案するにしても完成度は重要なファクターとなる。

　また、ネットワークシステムベンダーというカテゴリーも旧来のCisco、Lucent、Nortelなどといったプロユースシステムのベンダーに加え、2000年の11月のComdexFallではSonyがVDSL,光ファイバーなどの高速通信環境に対応したギガビットルーターの試作機（BroadbandGate）を出展し、2001年1月には松下がLasVegasで開催されたCESで、家庭やSOHOで増加するネットワーク利用者の要望に対応した無線・電話線・Ethernetの3種類のインターフェースを搭載したブロードバンドルータ（ゲートウェイステーションＫＸ−ＨＧＷ１００）を出展するなど、日本の大手家電メーカーがホームアプライアンスとしてのBroadbandHome Server/Gateway をもって市場拡大とともに参入している。このように既に世界規模にあってなお新規事業に積極的な日本企業との連携こそが、日本発ベンチャー成長にとっては非常に重要な要素である。

　ターゲットとするマーケットがその必要性・重要性を即座にイメージするような商品名にすべき。見えログはコード名としておけば良いだろう。

　IP管理者である東京電力とのパートナーシップは事業展開上欠くことのできない最重要ファクターである。この協力関係においては出来る限り能動的な形で実現されることが望ましい。例えば、新規事業に対する資本参加、本プロジェクトによるプロトタイプを製品レベルにまで開発をすすめるための開発リソースの提供、のように具体性を持った参画を得られるか否かが事業化への大きな試金石になると考えられる。


9-5．まとめ

　開発としては非常に短期間かつ開発者一人という非常に限定されたものであったが、高田氏は計画通りの遂行で十分な成果を収めた。これにより、プロジェクト実施前では得られなかった実際的な意見を各方面から集めることが可能となった。このヒアリングの結果、開始以前にもまして、世界的に重要な分野であり、これから急成長がみこまれる技術分野であることも確認された。本プロジェクトで達成されたプロトタイプソフトウェアでもエクスパート用としては使用効果が期待できるものである。

　ただし同時に、この技術の潜在能力を十分に引き出すためには、このプロトタイプをもとに考えうる事業からトップダウン方式を持って仕様要求を定義しなおし、市場が求める時期に求める機能を提供することの出来る開発部隊を整備し、拡大的な継続をもつことが望ましいという結論に至った。

　以上の議論の結論として、開発者・高田氏に強い継続の意思があれば、PM黒崎およびIT-Farmとしては、第2期未踏ソフトウェア開発事業への継続をサポートする意向である。