1．は　じ　め　に

　近年，機械学習の発展が著しく，応用は様々な分野に広がっている．ロボティクスもその例外ではない．機械学習のロボットへの応用は，一般に“ロボット学習”と呼ばれ，身体制御から高次の認知機能まで様々なレベルで機械学習技術が応用されている．ロボティクス分野のトップカンファレンスであるICRAやIROSでも，ロボット学習に関連するセッションや発表が大幅に増えている．また2017年には，ロボット学習を主眼とした国際会議であるConference on Robot Learning（CoRL）がGoogleなどを中心に立ち上がり，大きな盛り上がりを見せている．

　ロボット学習は，物理的な環境の中で自律的に動くロボットを実現するための技術であるため，身体制御を含む運動やプランニングなどの行動，環境に関する知識，言語など，学習対象は多様である．こうした広範な対象に対して，様々なアプローチがあるが，その中心は強化学習である．機械学習はしばしば，教師あり学習，教師なし学習，強化学習に分類されるが，強化学習は，環境中で行動の結果の良さを表すスコアである報酬を最大とする行動を試行錯誤的に学習できるため，ロボットへの適用は古くから研究されてきた⁽¹⁾．しかし強化学習は，高次元で複雑な問題に対する適用が困難であったため，実環境への適用が難しいという問題があった．

　こうした流れを大きく変えたのが深層学習の進展であり，深層学習と強化学習を融合した深層強化学習は，強化学習の実世界問題への適用を可能にしつつある．実際，ビデオゲームの学習やシミュレーション上のヒューマノイドロボットの学習など，従来難しかった学習を実現させた例は多い．そうした大きな発展の一方で，依然としてロボット実機に強化学習を適用することは容易ではない．これは，実機のロボットが学習するために実時間で試行錯誤する必要がある上に，試行錯誤による失敗でロボットが壊れる可能性もあるなど，ロボット実機を扱うがゆえの問題が存在するためである．しかし近年では，こうした問題に対しても幾つかのアプローチが提案されており，今後の解決が期待される．

　本稿では，強化学習を用いたロボット学習を，ロボットの知能化という文脈で概説する．本稿は，以降次のように構成されている．まず2．では，ロボット学習とはどのような問題であるのかを，強化学習をキーワードに説明する．そして3．では，近年注目されているモデルベース強化学習と世界モデルについて述べる．4．は逆強化学習や模倣学習に関する概説である．そして5．でロボット実機に関する問題や近年議論されているその解決策について述べ，6．で本稿をまとめる．図1に，本稿で扱う技術の関係性をまとめる．