1-28中尾

平成１４年度未踏ソフトウェア創造事業

採択案件評価書

１．担当ＰＭ	金出　武雄（カーネギーメロン大学　ワイタカー記念全学教授）
２．採択者氏名	代表：　中尾　恵　（京都大学大学院　情報学研究科　博士後期課程）共同開発者：　黒田　嘉宏（京都大学大学院　情報学研究科修士課程）
３．委託金支払額	18,000,000円
４．プロジェクト実施管理組織	財団法人京都高度技術研究所
５．テーマ名	実時間力学計算手法のライブラリ化と手術シミュレータの開発
６．関連Webサイトへのリンク	http://www.kuhp.kyoto-u.ac.jp/Official/medinfo/
７．プロジェクト概要　人体組織の力学や生理をモデル化した仮想臓器、さらには人体の機能などをすべて統合したデジタル・ヒューマンを用いて手術のシミュレーションを行うことが考えられる。人体組織の物理的な振る舞いをリアルタイムに再現する力学シミュレーションはデジタル・ヒューマンの実現に必要となる中心的な要素技術の一つである。本プロジェクトでは詳細な仮想人体あるいは仮想臓器形状に対して、実時間での変形・反力計算を可能とする有限要素計算フレームワークを開発し、関数のライブラリ化を行う。また、開発したライブラリを用いて大動脈触診の際の血管壁のリアルタイムな振る舞いをシミュレートし、心臓外科手術における重要な手技の１つである正常・病変部位の判別を目的とした手技トレーニング及び術前プランニングを可能とするシステムの開発を目指す。　開発した有限要素計算モデルは心臓や大動脈のような内腔を持つ拍動臓器を対象とし、内壁に対して時系列的に圧を適用できる機構を持つ。血流による内壁への圧とユーザからの押し込みによる外壁の変位が入力として与えられると、変形結果とユーザの手に返す反力が高速に計算される。シミュレーション実験を通して、汎用PCでも3000ノードから構成される詳細な仮想オブジェクトに対し、変形計算に関しては30Hz、反力計算に関しては1000Hzのリフレッシュレートを達成し、リアルなシミュレーション結果の提示に十分な機能を持つことを検証する。　また、人体組織の弾性率や物理的な拘束条件を有限要素モデル上に設定したり、計算に要する剛性マトリクスを自動的に導出する作業をサポートするためにGUIを備えた前処理ツールの開発を行った。本ツールは四面体メッシュ化された仮想人体あるいは仮想臓器の三次元形状を参照しながら、対話的にパラメータの付与を行うことができる。　有限要素計算モデルと前処理ツールを実装した汎用PCと2台の力覚提示デバイス、CRTディスプレイを用いて大動脈の触診トレーニングシステムの構築を行う。本システムはCTあるいはMRIデータから抽出してモデリングされた大動脈弓領域の四面体メッシュを対象とし、触診操作の際に大動脈壁に生じる変形をリアルタイムに表示し、力覚提示デバイスのマニピュレータを通してユーザの指に反力を提示する。力覚提示デバイスにはPHANToM（SensAble Technologies Inc.）を採用する。大動脈壁の弾性率は心臓血管外科に所属する熟練医に設定を行ってもらい、部分的に高い弾性率を適用した数例の硬化病変モデルの作成も行ってもらう。また、医学生に対する評価実験を通して、本システムが正常大動脈の硬さや硬化と診断すべき硬さの認識、触診のトレーニングに有用かどうかの検証を行う。
８．採択理由　人体臓器、特に心臓・大動脈を例に取り,その動き・変形・軟組織の有限要素法によりモデル化し、立体視と力覚提示による提示による手術シミュレーションを目指す提案である。拍動する臓器と有限要素法の高速化（実用できれば）によるリアルタイム性の目標に技術的新しさがある。モデルやライブラリをインターネットで配信する目標も良い。この点については、書面によるコミットメントを採択の条件とする。また　予算として大部分が力覚提示デバイスの購入費用となっているが、借用などの方策はないか。技術的質問として（１）提案中の有限要素リアルタイム変形モデルは、真の有限要素によるものか、それともマススプリングモデルか。（２）切開切除などによって、単なる剛性マトリクスの前処理計算とあるが、ノードのコネクションが変わればマトリクスも変わるのでは。（３）フォースフィードには、もとの速いループが必要であるが、考えられているか。をつめる必要がある。
９．開発目標　本プロジェクトの具体的な目標は次の5項目に要約される。（１）実時間変形・反力計算ライブラリの開発・評価　心臓や大動脈などの内腔を持つ拍動臓器をVR空間内に仮想臓器として表現し、ユーザが押し込んだりつまんだりした際に生じる臓器の変形とユーザが感じる反力を力学的にシミュレートできるモデルの開発を行う。特に、次の能力が重要である。　　有限要素法に基づいた高精度な変形・反力計算　　仮想臓器内壁への時系列的な圧の適用による自律的な拍動の表現　　実時間性（変形計算に30Hz, 反力計算に1000Hz のリフレッシュレートを満たすこと） (2) 前処理ツールの開発　有限要素法陽解法に基づいた変形・反力計算にはシミュレート対象となる臓器の三次元形状と弾性率などから定義される剛性マトリクスが必要となる。人体組織の弾性率や物理的な拘束条件を仮想臓器上に任意に設定でき、設定情報に基づいて剛性マトリクスを自動的に作成する前処理ツールの開発を行う。本ツールが満たすべき条件は　　仮想臓器の全体あるいは一部に対して任意の弾性率を設定できること　　仮想臓器への内壁情報の付加やその他の拘束条件の設定が可能であること　　設定した弾性率や拘束条件に基づいて剛性マトリクスを自動的に作成できること (3) 三次元形状・表面材質表示機能開発　ユーザにシミュレーション結果を視覚的に提示するためには、人体臓器の三次元的な形状とその表面材質をテクスチャマッピングによって体表の特長を表示するための機構が必要となる。特に手術シミュレータを想定する場合、実際の手術において参照される乳首や肋骨の位置を仮想人体に持たせることは必須である。本機構が満たすべき条件としては　　仮想臓器の形状及び変形などの振る舞いをリアルタイムに描画できること　　乳首や肋骨などの術中に参照される情報とその位置を表示できること (4) 心臓外科手術における大動脈触診シミュレータの開発及び評価　(1) から (3) において開発した手法を用いて、心臓血管外科において行われる手技の一つである大動脈触診の指でつまむ動作とそのときの血管壁の物理現象をシミュレートすることによって、VR環境内で仮想的に触診を行えるシステムの構築を目指す。本システムはこれまで難しかった拍動臓器を対象とした触診のトレーニング、胸部外科における術前プランニングの実現を目的とする。以下に、本システムが満たすべき要件等をまとめる。　　開発した有限要素計算フレームワークのシステムへの統合　　触診の際のつまむ動作をサポートする力覚提示デバイスの実装　　正常大動脈と部分的な硬化病変を持つ大動脈等のモデリングとパラメータの設定　　触診トレーニングシステムとしての妥当性と有用性の評価 (5) 実時間力学計算ライブラリ配信機構の構築　開発された有限要素計算手法をライブラリ化し、ウェブサイト上に公開する。ユーザ登録による配布を念頭におき、マニュアル群の整備を行う。
１０．進捗概要　成果で述べるようにこのプロジェクトでは目標とした機能をほとんど満たすソフトウエアを開発し、大動脈触診シミュレータとして京都大学において臨床実習に導入され、授業の一部として使われるところまで、進捗が見られた。
１１．成果上記目標の５項目のそれぞれに対応する能力を持つソフトウエアが成果として得られた。 (1) 実時間変形・反力計算ライブラリの開発・評価　大動脈壁に対する触診は、操作点と大動脈を示す三次元形状間の干渉判定と変形・反力生成アルゴリズムによってシミュレートされる。変形・反力計算には組織の形状とその硬さ、内圧の変化が考慮され、リアルタイムに有限要素計算が行われる。計算は実時間であり、触力覚提示デバイスのマニピュレータを通して、大動脈壁がつままれた際に壁がリアルタイムに変形してする。つまむ動作をサポートするためには2点接触の際の変形と反力の計算が必要となるが、3000ノード程度の詳細なモデルに対しても変形に関しては0.5msec, 反力に関しては0.08msecの高速な計算が可能である事が分かる。（※ 計測はすべてPentium 4 Xeon Dual 2.4GHz, Memory 1024MB下で） (2) 前処理ツールの開発　仮想臓器のリアルタイムシミュレーションを行う前に、三次元生体モデルに対して任意の弾性率を付与し、拘束条件などを設定する必要が生じる。本プロジェクトでは物理特性に関するパラメータ設定や剛性マトリクスの計算などの前処理を一括して対話的に行えるツール：MatrixBuilderを開発した。 MatrixBuilderを用いて、シミュレーションに適用される三次元形状を参照しながら、任意箇所のヤング率・ポワソン比を設定でき、ノードの固定や大動脈の血圧を適用するために必要な内壁ノードの設定を行うことができる。正常・硬化大動脈の形状は、患者から取得されるCTや MRIデータを領域抽出し、四面体メッシュオブジェクトへとモデリングを行うことによって作成する。正常部位は一様な硬さとし、画像から得られる硬化部位の領域には、正常部位よりもヤング率を高く設定することによって石灰化を表現する。設定されたパラメータに基づいて、剛性マトリクスの作成を行う前処理計算がなされる。前処理計算に要する計算時間として、3000ノード程度の臓器モデルであれば、約6分で計算が終了する。 (3) 三次元形状・表面材質表示機能開発　テクスチャマップによって、人体の特徴や皮膚の質感などを効果的に描画できる。描画ライブラリにはOpenGLを用いている。乳首や肋骨の位置は胸部手術において患部にアプローチする際のランドマークとして用いられるため、その正確な位置の描画は特に重要である。肋骨の位置は体表を透過させることによって視覚化を行う。 (4) 心臓外科手術における大動脈触診シミュレータの開発及び評価　構築した大動脈触診シミュレータは、(1) から (3) において開発したアルゴリズムはシミュレーションフレームワークとしてCPU: Pentium 4 Xeon Dual 2.4GHz, Memory: 1024MB を搭載したPCへ実装した。力覚提示デバイスには2台のPHANToM（Sensable Technologies Inc.）を採用した。輪ゴムによって指をPHANToMのマニピュレータに固定することによって2指でのつまむ操作をサポートする。システムのユーザインターフェースとして、空間描画ウインドウには力覚提示デバイスのマニピュレータの位置が表示され、大動脈弓モデルが三次元的に描画される。ユーザはこのウインドウを見ながら触診シミュレーションを行う。操作ウインドウでは、視点の切り替えや大動脈モデルの拍動状態の変更などを行うことができる。本システムを用いて、開発した力学計算フレームワークが生体の大動脈の硬さを再現できるかどうかを検証するために、5年以上の触診経験を持つ心臓血管外科医8名の参加のもとで、定性的な評価実験を行い、ヤング率を変えることで正常、及び硬化病変の例を提示できることを確認した。 (5) 実時間力学計算ライブラリ配信機構の構築　ライブラリ配信は、京都大学医学部附属病院のwebサーバ上にwebページを設置し、当該ページを通してユーザがライブラリファイルや開発ソフトウェアの実行ファイルなどをダウンロードできる環境を提供することによって行う。ダウンロードページへのアクセスはユーザ登録制とし、ユーザにメールアドレスや個人情報を入力してもらった後に、当該メールアドレスに対してアカウントとパスワードの発行を行う方式を採る。個人情報送信に配慮してSSLを導入することとし、PHPによってダウンロードページの作成を行った。公開するライブラリ及びソフトウェアは下記の通りである。
１２．プロジェクト評価　このプロジェクト結果はすばらしいものであると評価できる。　技術的には構造（トポロジー）の変化がない物体の有限要素法においては計算に必要な合成マトリックスをあらかじめ計算しておくことで字jつ時間性を得るという知られたテクニックによるが、大動脈壁に対する触診という有用な現実の問題を例に、反力計算、前処理、グラフィックス、力覚提示装置をすべて統合したシステムを作り、実際に大動脈触診シミュレータは実験的に臨床実習へと導入され、医学生が情報技術の医療応用の体験を目的とした授業の一部として使用されている状態にまで持っていき、かつ、実時間力学計算ライブラリのインターネット配信と実現点をPMはきわめて高く評価するものである。　開発者の、大学院生中尾恵氏と黒田嘉宏氏の力量は特筆に価する。
１３．今後の課題　今後の課題としては、開発者も指摘するように低侵襲化・ロボティクス化が顕著な胸部・腹部外科における術前計画・手術手技トレーニング技術の向上を目的として、裸眼立体視とフォースフィードバックデバイスを備えた包括的な手術シミュレーションの確立を目指すことが考えられる。具体的には、患者実測データから人体組織や臓器のモデリングを行い、三次元モデル上で想定される手術プロセス（切開・開創・触診など）をシミュレートできる環境を提供する。より理想的なシステム構築のためには、これまでに開発してきた基礎技術のさらなる発展・高度化が必要である。このためには。　実測患者データ（CT・MRI）からの三次元人体モデル構築の自動化　術中の処置に対する人体組織及び臓器の力学的・生理的な振る舞いの高精度な記述　ボリューム・ポリゴンレンダリングの統合による高精細かつリアルタイムな描画　組織切開、切除後の開創シミュレーションや複数臓器のインタラクションの表現などが技術的課題である。