IPA


開発成果一覧へ

 



2005年度下期 未踏ソフトウェア創造事業　　採択案件評価書

 


１．担当ＰＭ

   竹林　洋一　（静岡大学 情報学部 情報科学科　教授 ）


２．採択者氏名

開発代表者

：

　野口　喜洋　（作家：山之口　洋）

共同開発者

：

　なし


３．プロジェクト管理組織


　 ポトス株式会社


４．委託金支払額


　 8,897,786 円


５．テーマ名


　 「紙のキーボード」：デジタルペンのための新しい日本語入力方式の開発

 


６．関連Webサイト


　　http://www.pothos.to/paperkb.html


７．テーマ概要


　現在、デジタイザや超音波位置測定、パターン認識などの原理を用いて紙上におけるペン先の位置座標を取得し記録するペン型入力装置（デジタルペン）が複数開発されている。これらは、紙上にペンで文字や記号、図を書き、書いた筆跡データを後でパーソナルコンピュータに転送して利用するための装置である（つまり、記録時には単体で利用できる）。
　しかし、これらの技術では、それを用いて日本語文を書いても、記録されパーソナルコンピュータなどに転送されるのは紙の上にペンで記した筆跡のデータだけであり、文字コードとして表現された日本語テキストデータを得るには別途手書き文字認識などの技術を併用しなければならない。また、結局はすべての文字を紙に手書きするのだから、日本語文を効率よく入力する効果は期待できない。
　しかし、せっかくデジタルペンというＩＴ機器を手にして「書く」のだから、日本語文を書くためのより高度な支援が可能なはずである。本テーマは、「紙に文字を書く」「ワープロや携帯電話で入力する」という従来の方法に変わる（ないしはそれを補間する）第三の手段として、「紙」とデジタルペンを用いて文章の執筆を高度に支援できる日本語文入力方法を確立することを目的とする。

　 そこで我々は、デジタルペンによる入力を「筆跡」と「コード入力」の２通りに解釈し、漢字仮名まじりの日本語文の特質を活かした入力方法として「紙のキーボード」を開発し、最初のバージョンをすでに発表した。対象としたデジタルペンは２機種（デジタイザ方式、超音波位置測定方式）である。現状では、ひらがな、カタカナ、英数字や記号を文字コードで、漢字や図を手書きの画像として混在させたHTMLファイルを出力する機能を有する。また、漢字や図の「再利用」や、「ペン先のジェスチャ」による入力コードの制御といった、紙やワープロにない機能も実現している。

　 本テーマでは、この現行バージョンを改良し、つぎの２項目を実現することで、上記「第３の入力手段」の利便性・汎用性を高めることを目指す。
　　１．筆跡データを利用する漢字文字認識プログラムとの併用により、漢字部分まで文字コード化した完全なテキストデータ出力が得られるようにする。
　　２．パターン認識方式のデジタルペンに移植することにより、携帯性を高める。具体的には「文庫版、紙の手帳とペンだけの『紙のキーボード』」を実現する。


８．採択理由


　「紙」とデジタルペンを用いて日本語文章作成を支援する「文房具」の開発を目指している。従来型の日本語入力方式やペン型の入力装置とは異なり、漢字仮名まじりの日本語文の特徴に着目して「紙のキーボード」を発案し、効率的に日本語入力が行える方式を開発した。未踏性の高い提案である。一般ユーザでも使えるレベルまでシステム開発を進めることができれば広く普及する可能性があるので採択と判定した。





９．開発目標


　今回のプロジェクトでは、紙の上の筆跡を記録するデジタルペン装置を利用して、フィールドでの日本語文章執筆を支援する画期的なツールの開発を目指した。また、紙のメモ帳と同程度の書きやすさと携帯性を持ち、デジタル機器としては携帯電話やPDAを超える執筆性能の実現を目指し、下記の要素開発を行った。

　　①紙上でのキー定義とペンジェスチャの判別

　　②入力方式の特徴を活かした手書き文字認識と形態素解析処理

　　③執筆性能を向上させられるユーザ適応・カスタマイズ機能

　　本プロジェクトの究極の目的は、「紙」を再び採り入れることでデジタルな日本語執筆環境の守備範囲を拡大することであり、「歩きながら書く」ことを指向している。

 

　　今回のプロジェクトでは、その副次的な目標として、オンライン（PC接続）型の「紙のキーボード」の入力方式の実現を目指し下記の開発を進めることとした。

　　①中国語など他言語入力でキーボードを上回る執筆性能を実現する

　　②キーボードに不慣れな初心者やハンディキャップのあるユーザに適した入力ツールを提供する。


１０．進捗概要


　プロジェクト開始段階では、開発者にとってのプロジェクトの狙いは、デジタルペンと紙を用いて、「紙による執筆」と「キーボードによる執筆」に代わる「第３の日本語入力方式」を実現することであった。ところが、開発が進み、実現したツールを使用して文章作成（小説とそのためのメモ）をさまざまな環境で執筆する実験を重ねるうちに、「書く」ツールとして一度は捨て去った「紙」の要素を再び採り入れることで、日本語を執筆するための「環境」を再びデザイン可能であることに気づいた。その結果、７月の情報処理学会ヒューマンインタフェース研究会では、「紙とITのコラボによる執筆環境の再デザイン」というサブタイトルで研究成果を発表するまでに至った。

　　本プロジェクトは未踏性の高いテーマを扱っており、既に野口氏が開発し公開済の文字認識機能のない「紙のキーボード」をベースに開発を進め、下記のような項目の開発を行った。

　　①既存の手書き文字認識プログラムから本ツールに適したものを選定、ライブラリ化を委託した後、成果物を組み込んで文字認識機能を開発し（前半）

　　②パターン認識方式のデジタルペン装置に対応することによりメモ帳なみの携帯性を実現し（後半）

　　③独自の形態素解析処理と文字パターンカスタマイズ方式を実現することで文字認識性能を実用レベルに高めた（終盤）

　　当初、開発者は手書き入力のツールの開発を目指していたが、議論と開発を進めながら、より高次の文章作成を支援する環境のデザインという問題設定で考えるようになってきた。今回のペン入力のシステムは、関連技術や商品の供給の遅れなどがあり、開発スケジュールが遅れ気味の時もあったが、成果物として完成した。９月に入り、システムの公開とモニタによる評価実験を進め事業化を加速した。

 


１１．成果


　「紙のキーボード」のコンセプトは、手書き入力への作家としての山之口氏のこだわりと、自然言語処理研究者としての野口氏の想いのシナジー効果で生み出されたと考えることができる。図６は上段と下段にシステム構成と要素技術をまとめ、それらの関連を示す。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


図6　「紙のキーボード」システム構成と開発した要素技術

 

　　今回のシステムは、携帯型の執筆ツールの実現に向けて、必要な要素技術を揃え、それらを適切な形で連携させ、実用レベルの性能を達成した。ペンの位置検知というデジタルペン装置の基本機能に、多様なペンジェスチャ、キャリブレーション、手書き文字再利用などのアイデアを付加したのはもちろん、そのままでは実用レベルにない手書き文字認識の性能を、文法的解析やユーザに負担をかけないカスタマイズなど独自の要素技術で「使える」レベルの手書き入力ヒューマンインタフェースを実現した。

　　以下のその主要な成果について説明する。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


図７　デジタイザ方式の「紙のキーボード」の印刷面

 

　　「紙のキーボード」のユーザは、一人で長く使い続けるユーザであることを仮定している。このため、文字の書き方の癖を学習してゆくプロセスを組み込むこととした。その中でも重要なのが、新たなパターンを登録したり、誤った認識結果を適応させる、カスタマイズ機能である。しかし、この機能が、面倒な場合ユーザにとって敷居が高く、認識精度の向上に寄与できないこととなる。新開発のソフトキーボードでは、文字パターンのカスタマイズは、インクファイルを変換後に、誤認識した文字を訂正する操作の一部として行うようにした。ユーザが気軽にパターンの登録を行えることを優先させたからである。図8に、「画像と文字」モードで生成されたHTML文書の表示結果を示す。図９のように文書が生成された後、「文字パターンのパーソナライズ」画面を開くと、いま認識した手書き文字と認識結果の上位10文字までが一覧表示される。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


図８　「画像と文字」モードでの生成結果

 

 

図９　「手書き文字のカスタマイズ」画面

 

 

　　「紙のキーボード」とは、デジタルペンを用いて文章の執筆を支援する一連の技術であり、小説家としての観点から「紙のキーボード」を設計し、下記の成果が得られた。

　　①日本語文章の執筆作業の支援機能を備えたデジタルペンを開発し、その有効性を確認した。

　　②一部をキー入力など、「紙のキーボード」に固有の条件を活かして単語辞書検索や後接文字列連接解析、個人への文字パターンカスタマイズなどの技法を組み合わせることにより、手書き文字認識技術が実用レベルで利用可能なことを示した。

　　③従来のPDAや携帯電話の日本語入力にくらべて簡便で速いツールを実現した。

　　④パターン認識方式の「紙のキーボード」では加えて携帯性も向上させた。

　　⑤紙とITを連携させることで、テキストデータをPCへ集約する手間が大幅に軽減された。

 


１２．プロジェクト評価


　「紙のキーボード」の構想は小説家としての山之口氏の想いと問題意識をベースにして生まれ、自然言語処理研究者とプログラマとしての野口氏との共同作業により具現化された執筆活動を支援するヒューマンインタフェースである。

　　紙の「書き方における自由」を様々な側面から追求し、『奥の細道』のような紀行文学（旅日記）のように「場所の自由」の拡張を具現化したことの意義は大きい。「紙」には、折り曲げたり、巻き付けたり、組み換えたりできるという「形態の自由」もあり、現在のITツールにはない持ち味があるが、「いったん紙に書かれてしまったテキストデータ」の「編集の自由」については、「紙」と「IT」の優位性は逆転する。さらに、メールによって文書を授受したり、様々なメディアに記録したりという、「場所の自由」もITは強力である。

　　このような観点で、野口氏はITの欠点を補い、自由な「書く環境」を構築し、小説家としてさらに自由な「書く行動」を拡張するために、紙とITとのコラボレーションによって「書く環境」の再構築にチャレンジした。二律背反する両者の相乗効果を狙う前人未到のテーマであり、ペン入力インタフェースや文字認識ソフトウェアについては、企業や研究者と交渉し、自然言語処理や文字認識の学習方式などの要素技術を開発し、事業化の目処も立った。IPAの未踏プロジェクトとして相応しく、その成果は卓越しているといえよう。

 


１３．今後の課題


　「紙のキーボード」というコンセプトに基づき開発した今回のシステムは、実用レベルのシステムであり、究極のシステムには至っていない。文房具の未来形としての進化の検討が必要であり、文章作成の入力環境として高度化し本格的に普及させるには、①入力した文章を確認するための「ちょっと表示」の実現、②生涯教育や文芸作品の創作など応用分野の開拓、③他の情報技術やデバイス技術との連携による執筆支援機能の充実などが課題である。また、デジタルカメラの写真を時系列で文章と組み合わせて出力するなどの「デジタル旅日記」や、デジタルペンが持つバーコード読み取り機能を活かして書誌情報などの挿入機能など、ペン入力の豊かな応用についても検討が必要である。ユーザの拡大と評価改良とともに、紙とITのシナジー効果が増幅することを期待する。




　　ページトップへ　　　

 

 

 


　　Copyright(c) Information-technology Promotion Agency, Japan. All rights reserved 2004