未踏IT人材発掘・育成事業：2020年度採択プロジェクト概要（妹尾PJ）

1．担当プロジェクトマネージャー

竹迫良範（株式会社リクルートテクノロジーズ執行役員）

2．採択者氏名

妹尾卓磨（慶應義塾大学大学院理工学研究科博士後期課程1年）

3．採択金額

2,736,000円

4．テーマ名

非専門家でも手軽に使えるデータ駆動型深層強化学習ライブラリの開発

5．関連Webサイト

なし

6．申請テーマ概要

近年、自律的に学習を行うことで人間が設計したアルゴリズムよりも高い性能を得られる深層強化学習が注目を集めており、ロボット制御や自動運転、システム最適化などの分野でブレークスルーを起こすことが期待されている。しかしながら、従来の強化学習ではAI自体が自律的に大量のデータを集める必要があり、事前にシミュレータを実装する必要があるなど、実応用は簡単ではなかった。そこで最新の研究では、学習データのみから深層強化学習を行う、環境とのインタラクションが不要なデータ駆動型深層強化学習の手法が提案され始めており、既に成功を収めている深層学習の枠組みに強化学習が導入できるようになることが期待されている。
データ駆動型深層強化学習は理論的要素が強いため、非専門家がツールとしてそれを利用するには敷居が非常に高い。そこで本プロジェクトでは、データ駆動型深層強化学習アルゴリズムを誰でも簡単に利用できるようにするライブラリを開発する。本ライブラリの大きな特徴は以下の3つとなる。

既存の深層強化学習実装は研究用途を意識して開発されており、実応用する際に手軽に利用することが難しかった。本ライブラリはscikit-learnのように簡単に利用することが出来て、すぐに実アプリケーションに組み込むことができるような簡易さを目指す。
学術的だけではなく実用性を重視することで、ユーザが意識しなくても最新の要素理論を組み合わせて高い性能が手軽に得られるアルゴリズムを提供する。
一般的な教師あり学習と同様に、テストデータセットを用いて学習したアルゴリズムを簡単に評価することができる。

7．採択理由

データ駆動型の深層強化学習ライブラリをオープンソースソフトウェアとして開発するという野心的な提案である。シミュレータ上でのオンライン学習を前提とした既存の強化学習ライブラリはドメイン特化のインテグレーション作業を必要とし、汎用性が低く、学習にも膨大な時間がかかる。本提案は少ないデータで強化学習ができる汎用のフレームワークを開発することに大きなモチベーションがある。研究分野の最先端のアルゴリズムを誰でも手軽に使えるような状態にできれば、実社会へのAI実装がさらに加速すると期待される。