DeepRacer cup本戦 ~30秒の切り方~

Transcript

1. DeepRacer cup 本戦のコツ ~30秒の切り方~ chiaoi
2. 自己紹介
3. 結果 29.522 [s]
4. レースゲームのコツ 最速ライン を知ること
5. 最速ライン 最速ライン を知ること → ドリフトをした方が速い？ → インコースを着いた方が速い？ → 大体直線だと思ってまっすぐ進んだ方が速い？ → 車のスペックは？
6. 自分なりの最速ライン 単調なコース - なるべく直線だと思っ て走りたい - 直線のうちは速度を なるべく上げたい
7. 気づき ほとんど全てが 左 カーブ
8. 左カーブを手厚く Action Space を ほとんど左カーブに
9. 方針①：完走できるモデルから改良する 最初から速さを重視する → コースアウトが頻発する → 完走報酬を得る機会が少ない → 「完走」がいい行動として学習されない 完走することを重視する → 最初の学習で「完走」がいい行動として学べる → そこから改良していけば、「完走」をしながら　 徐々 に速く改良できる Curriculum learning (Bengio et al., ICML 2009)
10. 方針②：価値観の軸をぶらさない 継続学習で方針を変える → 学習済みの行動が否定される → 学習済みである意味がなくなる → 収束したときには学習済みである意味がなくなる → 方針を大きく変えるときは最初から学習したほうが良い Proximal Policy Optimization Algorithms (Schulman et al. 2017)
11. 方針③：なるべく直進 なるべく直進をしたい → 迷ったら直進を優先する → 小さなうねりや微妙な曲がりを「直線」と判定する → コースの先読みをして全体のコースの角度を判定し　 て 車体の向きがそれに沿うようにする
12. 方針④：直線では最高速度を保つ 直線が多めのコース → 直線はスピードが出しやすいので最高速度をなるべ　 く 保ちたい
13. 方針⑤：その他 完走ボーナス 目標ステップ
14. 方針⑥：2回目の学習はさらに攻める - なるべく直進をさらに先のカーブまで把握する - カーブ強度で場合分けをして速度調整を細かく - 直線での報酬をさらに上げる - ステップ数をさらに短くする
15. 方針⑦：カーブでは常に左を走ることを目標に 左カーブが多い → カーブでは常に左側にいる方がインを曲がれる
16. 実装方法 これまでの方針を全てまとめて、 Claude に任せる
17. まとめ 実装自体は、LLMで可能になった。 → 実装をする前の「考察」の部分は、LLMよりも人間がやった方が良かった。 → 「考察」も、どのラインを走ったかを図示するコードや速度のグラフを表　　 示する コードなどを、LLMに作らせることで捗った。