Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[論文紹介] 物理パラメータのランダム化による耐故障ロボットのための強化学習
Search
tt1717
January 26, 2024
Research
0
72
[論文紹介] 物理パラメータのランダム化による耐故障ロボットのための強化学習
PDFファイルをダウンロードすると,スライド内のリンクを見ることができます.
tt1717
January 26, 2024
Tweet
Share
More Decks by tt1717
See All by tt1717
[論文サーベイ] Survey on Pokemon AI 2
tt1717
0
35
[論文サーベイ] Survey on Pokemon AI
tt1717
0
66
[論文サーベイ] Survey on Minecraft AI in NeurIPS 2024
tt1717
0
62
[論文サーベイ] Survey on GPT for Games
tt1717
0
52
[論文サーベイ] Survey on World Models for Games
tt1717
0
120
[論文サーベイ] Survey on Linguistic Explanations in Deep Reinforcement Learning of Atari Tasks
tt1717
0
59
[論文サーベイ] Survey on Visualization in Deep Reinforcement Learning of Game Tasks 2
tt1717
0
60
[論文サーベイ] Survey on VLM and Reinforcement Learning in Game Tasks (Minecraft)
tt1717
0
130
[論文紹介] RT-1: Robotics Transformer for Real-World Control at Scale
tt1717
0
130
Other Decks in Research
See All in Research
業界横断 副業・兼業者の実態調査
fkske
0
160
「エージェントって何?」から「実際の開発現場で役立つ考え方やベストプラクティス」まで
mickey_kubo
0
120
(NULLCON Goa 2025)Windows Keylogger Detection: Targeting Past and Present Keylogging Techniques
asuna_jp
1
520
[輪講] SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features
nk35jk
2
480
Sosiaalisen median katsaus 03/2025 + tekoäly
hponka
0
1.3k
ストレス計測方法の確立に向けたマルチモーダルデータの活用
yurikomium
0
580
RapidPen: AIエージェントによるペネトレーションテスト 初期侵入全自動化の研究
laysakura
0
1.5k
作業記憶の発達的特性が言語獲得の臨界期を形成する(NLP2025)
chemical_tree
2
610
AIによる画像認識技術の進化 -25年の技術変遷を振り返る-
hf149
6
3.4k
研究テーマのデザインと研究遂行の方法論
hisashiishihara
5
1.4k
最適決定木を用いた処方的価格最適化
mickey_kubo
4
1.7k
在庫管理のための機械学習と最適化の融合
mickey_kubo
3
1.1k
Featured
See All Featured
A better future with KSS
kneath
239
17k
Designing for humans not robots
tammielis
253
25k
What's in a price? How to price your products and services
michaelherold
246
12k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.8k
Statistics for Hackers
jakevdp
799
220k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
How STYLIGHT went responsive
nonsquared
100
5.6k
Rails Girls Zürich Keynote
gr2m
94
14k
KATA
mclloyd
29
14k
For a Future-Friendly Web
brad_frost
179
9.8k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Transcript
どんなもの? 先行研究と比べて何がすごい? 技術の手法や肝は? どうやって有効だと検証した? ・ベースラインと比較して独自の報酬関数の設計により,k=0.9 (ほ んの少しだけ故障)の場合でベースラインを超えた ・antで実験した ・5つのseed値を使って,plain環境,broken環境で各100エピソー ド試行させた
・歩行タスクに対して,報酬関数を設計した ・次のスライドで詳細を説明 ・antに対して物理パラメータ (質量や摩擦)のランダム化によって故 障状態を作成 ・故障係数kを0~1の範囲で設定してPPOで学習させた ・提案手法では,k=0.9で故障による変化にも対応できていることを 示した 物理パラメータのランダム化による耐故障ロボットのための強化学習 (JSAI 2020)岡本 航昇, 川本 一彦 https://www.jstage.jst.go.jp/article/pjsai/JSAI2020/0/JSAI2020_3Rin402/_pdf 2024/01/26 論文を表す画像 被引用数:- 1/5
故障の表現 ❏ 故障は関節アクチュエータを制限することで表現 ❏ a’t:故障状態 ❏ k:[0,1]の範囲で調整する故障係数 ❏ at:t時刻でのアクチュエータの行動 (アクチュエータの出力値)
❏ 各トレーニングエピソード開始時にantの4本の脚からランダムに1本を 故障させる 2/5
報酬関数 ❏ 報酬 ❏ Rf (forward reward):x軸方向の変位が大きいほど大きな値となる報酬 ❏ Rs (survive
reward):1ステップ生存したら,無条件で与えられる報酬 ❏ Cctrl (control cost):1ステップでの行動が複雑になるほど大きくなるコスト ❏ Ccontact (contact cost):地面との接触力が大きいほど大きな値となるコスト ❏ 報酬設計の意図 ❏ できるだけ転ばずにx軸方向に歩行するように期待して設計 3/5
実験結果 ❏ 結果 ❏ K=0.9で故障させることでplain環境 ,broken環境の両方で平均報酬が向 上した ❏ 故障によって転倒していたベースラ イン手法に対して,転倒することな
く歩行する制御を獲得した ❏ k=0.7より小さくするとplain環境 ,broken環境の両方で平均報酬が低 下した ❏ これは,故障させすぎると歩行動作 を学習すること自体が困難になるこ とを示唆している 4/5 ※kの値を[0,1]の範囲でランダム化しながらトレーニング しても平均報酬が低下する結果となった
まとめと感想 ❏ まとめ ❏ 物理パラメータのランダム化を導入し,故障変化にロバストな方策獲得に 成功した ❏ k<0.7の範囲で,歩行動作に悪影響がでるため,ランダム化の範囲が重要 である ❏
ant特有の値なのか,それ以外のwalker2Dやhopperの場合でどうなるのか を実験する必要がある ❏ アクチュエータの故障に対する評価のみを行っているが,脚がとれるなど のシチュエーションで実験する必要がある ❏ 感想 ❏ 2足歩行の「walker2D or halfcheetah」,1足歩行の「hopper」で実験す るとどうなるか気になる ❏ 予想では,hopperだと1つの関節アクチュエータに依存するロボット環境 のため学習が難しくなるかもしれない? ❏ 報酬関数の設計を「物理法則によって理論的に導出」したのか,「実験で 試行錯誤して関数を設定」したのかが気になる 5/5