個人に寄り添うポータブルな感情推定アプリには、リザバーコンピューティングがフィットする

「感情共有を促進する心拍フィードバック装置の開発」で2022年度の未踏アドバンスト事業に採択されたプロジェクトの西田翔平さんが高校の先輩で、そのプロジェクトの2人が立ち上げたイヤリング型脈拍フィードバックデバイス「e-lamp.」を開発する株式会社e-lamp.にアルバイトで関わるようになって、心拍と生体情報から感情推定するアプローチを知り、自分自身でも日常的に使えるものを作りたいと考えるようになりました。

私もe-lamp.代表の山本さんの出演しているYouTubeを見てe-lamp.に興味を持ち、アプリ開発に関わりたいとジョインしてモバイルアプリの開発を担当していました。アプリ開発が大好きで、小学校6年生からアプリ開発をしていて、実務として中学3年生頃から経験を積み、高校2年生の時にアプリ開発の会社を立ち上げたほどです。

当時e-lamp.で担当していたのはディープラーニングで感情を推定することがサービスとして可能かどうかの検証でした。その過程で、メジャーであるディープラーニングを利用した感情の推定には二つの大きな課題があることが分かりました。生体情報の個人差への対応が難しいこと、そして大きな計算コストが必要なため日常的な使用が困難なことです。
そこで個人に最適化でき、個人が手軽に利用できるモデルを作れないかと考えて、探している時に、リザバーコンピューティングに目をつけました。リザバーコンピューティングは、ディープラーニングと比べてモデルのサイズが小さいという特徴があります。そのため、ユーザーの端末で、ユーザーの生体情報を使って個々のユーザーに最適化したモデルの調整と実行を行える可能性があります。これにより、検証時に出ていた計算コストと生体情報の個人差の問題が解決できると考えました。
リザバーコンピューティングは、通常のディープラーニングとは異なり、「隠れ層」と呼ばれる中間層を固定します。これにより、学習時に調整するパラメータの数が大幅に減少し、少ないデータ量と短い時間で学習が行えます。結果として、スマートフォンのような小型デバイスでも動作する可能性があるところに着目しました。

身近に未踏アドバンストの修了生がいたこともあって、未踏には常に興味を持っていて、情報をチェックしていました。未踏ターゲット事業で2023年度からリザバーコンピューティングの分野が対象になったことを知り、公募開始に向けて開かれた技術セミナーに参加してみました。リザバーコンピューティングについてそれほど知見があったわけではないのですが、プロジェクトマネージャー（PM）からリザバーコンピューティングについての説明を聞いて、時系列である生体情報を扱う感情推定と相性がよいのではと直感的に考え、喜田に一緒に応募しようと話を持ちかけたのです。

リザバーコンピューティングのことは知りませんでしたし、機械学習もそれほど経験はありませんでしたが、リザバーコンピューティングであればローカルで持ち歩くことができて、ディープラーニングより費用等のコストが抑えられる可能性・ユーザーにとってより身近にできる可能性があることを聞いて、やってみようと思いました。

リザバーコンピューティングの最先端にいる田中PMとコミュニケーションできることが最大の楽しみでした。プロジェクトを進める中でとても励みになりましたし、情報の少ないリザバーコンピュータについて第一人者に聞くことのできる機会はありがたかったです。

2週間に１回ほど一緒にミーティングしてアドバイスや相談をもらっていました。

同期との交流も楽しみでした。私たちと性質が似ていたもう１つのチームのプロジェクトがリザバーコンピューティングをどのように扱うかはとても興味がありました。ランチをしながら意見を交わして、色々技術情報を共有するようにしていましたね。

リザバーコンピューティングの基盤づくりに取り組んでいたプロジェクトで、違う視点からのリザバーコンピューティングの使い方がよい刺激になりました。

10月にプロジェクトがスタートして、12月に中間報告会があり、3月には最終的な成果報告会というスケジュールが組まれていました。プロジェクト開始の10月の時点ではディープラーニングで感情推定ができていました。
1月までの4ヶ月間は、私がリザバーコンピューティングで精度の高い感情推定モデルを開発し、喜田がモデルを実際に動かすためのモバイルアプリを開発するといった形で役割分担して取り組みました。

12月頃までに基本的なユーザーインターフェイスはできあがったので、その後はモデルをアプリケーション上で動かすところを開発していきました。知見が少なく、リザバーコンピューティングのモデルをモバイル上で動かすオープンソースを開発している海外のグループに直接コンタクトするなど、積極的にリサーチしながら進めていきました。

肝である感情推定モデルの精度が思うように上がらなかったことです。学習データと適合しすぎてしまって、予測が上手くできなくなる過学習の傾向が強かったので、学習データを加工したり、心拍センサーで取得した生体情報を加工してからリザバーに送り込んだりして、田中PMと相談しながら過学習を抑えることにトライしました。
最初はリザバーコンピュータに適用・応用できるあらゆる手法をそれぞれ試していきました。しかし、どの手法が今回のプロジェクトに最も適合するかを探るうちに、それぞれの手法が生体情報の異なる側面を利用していることに気づきました。そのため、最終的にこれらの手法を統合するアンサンブル手法を使って発表しました。

フロントエンドの方では、当初、リザバーの環境を組み込むプログラムをAndroidとiOSで別々に開発していたのですが、片方では動かなかったり、制約があったりしました。そこで、1つのソースコードでAndroidとiOSの両方に対応できるようにFlutterを使って感情推定モデルをつなぎ込むことにしたのですが、その部分で苦労しました。結局未踏ターゲット事業の期間中はFlutterを使ってAndroid対応で実装する方針を固めて、1月からはアプリデザインの実装を行い、完成させていきました。

Webアプリをネイティブアプリと同じように使えるProgressive Web Appsを使ってみてはどうかという提案をいただいたりしましたね。しかし、私たちのプロジェクトでは心拍センサーとBluetoothで心電データを送信する必要があり、iOSではWebアプリのBluetooth機能に制限があることを考慮し、最終的にネイティブアプリで実装することにしていました。

リザバーコンピューティングについてはネット上でも情報が少ないこともあって、同期のプロジェクトの人たちと、どうモデルを作るのか、どんなライブラリーがあるのか、どうパラメータを調整するのか、といった具体的なことを質問しあっていました。
特にFPGAや量子コンピューティングでリザバーコンピュータのモデルを開発していた方々とは色々とモデルについて情報交換をさせていただき、大変ありがたかったです。

今回のプロジェクトで扱ったリザバーコンピューティングを使った感情推定について田中PMと生体情報や感情を扱っている芝浦工業大学の菅谷みどり先生にもアドバイスをいただき論文にまとめ、情報処理学会第210回ヒューマンコンピュータインタラクション研究会で発表いたしました。
今後もリザバーコンピューティングを利用した課題を解決するような開発・研究を続けていきたいです。

今回のプロジェクトで開発したリザバーコンピューティングをネイティブアプリに組み込む部分のオープンソース化も検討しています。すでにAndroidで実装できているので、制約のある部分を解消することで、他にも応用できるようにしていきます。それとフロント部分で作りきれていないところを詰め切って、より良いユーザー体験を提供していきたいですね。

自分自身が強迫性障害を持っているのですが、何度も何度も同じことを考えたりして、パニックを起こすようなことも多々あります。また、一人の空間にいると自分の感情が判断できなくなって、周囲に心配をかけてしまうこともあります。感情を可視化することで、自分にも相手にも自分の状況を伝えるきっかけにしていきたいですね。

生体情報から感情を推定することには客観性があります。人間は自分の本当の感情とは異なる行動に出てしまうこともありますが、客観的に自分の感情を見られることで、自分との新たな相互作用を起こすことができるのではないでしょうか。また、普段目に見えなく、間接的にしか感じられない感情を見えるようにする感情推定というものに個人的な面白さも感じています。

昨今では、大規模言語モデルをはじめとしたディープラーニングが流行していますが、リザバーコンピューティングを活用したエッジで動くモデルも、選択肢の一つとして必要だと思っています。少ない計算資源で、コストを抑えて機械学習ができるリザバーコンピューティングの可能性は大きく広がっていると感じています。また、個人的には生体情報を扱うタスクはリザバーコンピュータとの相性が良いのではないかと思っています。特に生体情報の個人差への対応という面で、ディープラーニングよりも気軽に行える点が気に入っています。