LLM + 強化学習

Transcript

1. LLM + 強化学習 2025-07-30 第151回NearMe技術勉強会 Takuma KAKINOUE 0
2. はじめに • LLMを強化学習でチューニングする的な内容ではないので注意 今回は強化学習エージェントを訓練する上位AIとしてLLMを⽤いる 1
3. 今のLLMに⾜りないもの • LLMは「頭脳」は持っている ◦ しかし、リアルタイム性のあるゲームやロボットの制御はできない ◦ なぜならLLMはダイナミックな「運動」の制御に適していないからである • 動物の脳に例えるなら、LLMが⾔語系だとすると、 運動野や⼩脳に当たる部分を作りたい 2
4. 運動野としてのRLポリシー • ⼈間は、不慣れな間は動作を1つ１つ頭で考えながら実⾏するが、 熟練してくると無意識に体を動かせるようになることのアナロジーを考えた • LLMが上位AIになって、下位AIとして強化学習の⽅策ネットワークを訓練する のはどうだろうか ◦ ⽅策の訓練が完了すれば（技能を習得してしまえば）、 ⽅策ネットワークのみで⾼速に動くことができる 3
5. 先⾏研究 • というわけで、同じようなことを試みている事例がないか調査してみた ◦ Eureka: Human-Level Reward Design via Coding Large Language Models ▪ https://arxiv.org/abs/2310.12931 ▪ LLMを「RLポリシーを訓練するための報酬関数の設計者」として使う ◦ Voyager: An Open-Ended Embodied Agent with Large Language Models ▪ https://arxiv.org/abs/2305.16291 ▪ LLMでコード（ルールベース）を⽣成しながら、マインクラフトを攻略 4
6. 以下のようなアーキテクチャを考えてみた • LLMに「環境コード」と「タスク記述」のみを渡し、訓練コードを出⼒させる • 強化学習のフレームワークはRustで実装したDLLを使う （https://github.com/kakky-hacker/reinforcex） ◦ FFIもAIに書かせれば様々な⾔語に対応可能 ◦ 並列訓練もサポート • LLMが出⼒した訓練コードをシェルで実⾏し、 実際にLLMがプロセスのログを読みながら訓練コードを修正することを繰り返す。 5
7. トークン削減のために⼯夫したポイント • 強化学習フレームワークのヘッダファイルを⽤意することで⼊⼒トークンを削減 ◦ https://github.com/kakky-hacker/reinforcex/blob/master/ffi/include/reinforc ex.h • その他、強化学習で使いそうな機能は関数として事前に⽤意（エントロピー計算、 報酬に有意差があるかの検定など） • 強化学習のサンプルコードをいくつか⽤意しておいて、コピペ後に調整させる 6
8. 環境 • Windows11 • Codex + ChatGPT 5.6 Sol • Python 3.12 + gymnasium 7
9. 実験１：まずは⼈間が書いたコードを元にハイパラ調整 • CartPole with DQN ◦ beforeは⼈⼿で適当にコード書いて訓練した結果 ◦ AIは何回か訓練プロセスを実⾏しながらハイパラを調整して改善に成功した 8
10. 実験２：AIが0から強化学習 • Hopper with SAC ◦ 強化学習フレームワークのヘッダファイルと 「Hopperを訓練して」というチャットのみを⼊⼒ 9
11. おまけ • デスクトップとスマホをSSH接続し、 スマホから訓練を実⾏させてみる ◦ 実演 10
12. 今後の展望 • gymnasium（https://gymnasium.farama.org/index.html）の環境を 全て上位LLM+下位RLポリシーに訓練させてみる ◦ 強化学習レシピ集みたいなものを作成して、 未知の環境に対しても知⾒を活かせないか 11
13. Thank you 12