Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DeepRacerでまなぶ強化学習
Search
tandfy
May 16, 2019
Technology
1
1.4k
DeepRacerでまなぶ強化学習
DeepRacerから強化学習へのとっかかりとして数式を使わず強化学習とDeepRacerとの関連についてまとめてみた内容です。
tandfy
May 16, 2019
Tweet
Share
More Decks by tandfy
See All by tandfy
アプリから集まるイベントデータのリアルタイム処理入門
tandfy
0
1.6k
Amazon SageMakerの最新アップデートの紹介
tandfy
1
900
Amazon Personalizeではじめるレコメンドサービス
tandfy
0
1.1k
DeepRacerで学ぶ機械学習 1.1
tandfy
0
1k
DeepRacerで始める機械学習
tandfy
1
1.7k
Amazon SageMakerではじめる物体検出
tandfy
1
1.1k
Other Decks in Technology
See All in Technology
PythonとLLMで挑む、 4コマ漫画の構造化データ化
esuji5
1
130
extension 現場で使えるXcodeショートカット一覧
ktombow
0
200
実装で解き明かす並行処理の歴史
zozotech
PRO
1
290
【新卒研修資料】LLM・生成AI研修 / Large Language Model・Generative AI
brainpadpr
23
16k
Geospatialの世界最前線を探る [2025年版]
dayjournal
3
480
AWSにおけるTrend Vision Oneの効果について
shimak
0
120
Flaky Testへの現実解をGoのプロポーザルから考える | Go Conference 2025
upamune
1
390
What is BigQuery?
aizack_harks
0
120
DataOpsNight#8_Terragruntを用いたスケーラブルなSnowflakeインフラ管理
roki18d
1
320
Green Tea Garbage Collector の今
zchee
PRO
2
380
フルカイテン株式会社 エンジニア向け採用資料
fullkaiten
0
9k
AI時代だからこそ考える、僕らが本当につくりたいスクラムチーム / A Scrum Team we really want to create in this AI era
takaking22
6
2.9k
Featured
See All Featured
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.7k
The Art of Programming - Codeland 2020
erikaheidi
56
14k
Raft: Consensus for Rubyists
vanstee
139
7.1k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
132
19k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
36
2.5k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3.1k
Speed Design
sergeychernyshev
32
1.1k
Building an army of robots
kneath
306
46k
jQuery: Nuts, Bolts and Bling
dougneiner
64
7.9k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
Transcript
%FFQ3BDFSಉձ ୈೋճΦϑϥΠϯษڧձ!େࡕ େᖒ༐ే "84%FFQ3BDFSͰ·ͳͿڧԽֶश
ࣗݾհ େᖒ༐ే w σʔλΠϯςάϨʔγϣϯ෦ػցֶशνʔϜ w ΤϯδχΞ w ݄ೖࣾ
w લ৬ɿ6OJUZͱ͔1)1ͰήʔϜ։ൃ
ࠓ͢༰ %FFQ3BDFSͰΘΕ͍ͯΔڧԽֶशͷೖ wػցֶश wڧԽֶश wํࡦϕʔεͱՁϕʔεɺ"DUPS$SJUJDɺ110 w%FFQ3BDFS w֤ϋΠύʔύϥϝʔλͷҙຯ
ࠓ͞ͳ͍༰ wࣜ wใुઃܭΛ۩ମతʹͲ͏͢Ε͍͍ͷ͔ wϋΠύʔύϥϝʔλʔ۩ମతʹͲ͏ઃఆͨ͠Β͍͍ͷ͔
ػցֶश
ػցֶश ֓ཁ ͬ͘͟Γݴ͏ͱنଇੑΛֶशͤ͞Δ͜ͱɻ wڭࢣ͋Γֶश͑Λ༩͑ͯೖྗͱ͑ͷنଇੑΛֶशͤ͞Δ wڭࢣͳֶ͠शɿ͑Λ༩͑ͣʹೖྗͷنଇੑΛֶशͤ͞Δ wڭࢣ͋Γֶशɿجຊతʹ͑Λ༩͑ͣʹೖྗͷنଇੑΛֶशͤ͞ Δ͕ɺ෦తʹ͑Λ༩͑ͯิॿ͢Δ wڧԽֶशɿ͋ΔڥͰใु͕࠷େԽ͢ΔߦಈબͷنଇੑΛֶशͤ͞Δ
ͳͲ
ػցֶश χϡʔϥϧωοτϫʔΫ֓ཁ ϑΟʔυϑΥϫʔυ χϡʔϥϧωοτϫʔΫ wೖྗ wόονσʔληοτ͔ΒϥϯμϜʹநग़ wΤϙοΫಉ͡σʔληοτΛ͏ճ wग़ྗ
wೖྗ͕//Λ௨ͬͯग़͖ͯͨͷ wྫ dͷ࣮ͳͲ
ڧԽֶश
ڧԽֶश ֓ཁ ڥ͔ΒΤʔδΣϯτʹঢ়ଶ ΤʔδΣϯτ͕ঢ়ଶʹج͍ͮͯ ߦಈ
ڥ͕ߦಈ݁Ռʹج͍ͮͨใु ΛΤʔδΣϯτ dΛ܁Γฦ͢ ࠷େใु͕Β͑ΔߦಈΛબͿΑ͏ʹֶश͢Δ
ڧԽֶश "84%FFQ3BDFS֓ཁ RoboMakerͰͷγϛϡϨʔγϣϯͱ SageMakerͰͷϞσϧͷֶशΛ܁Γฦ͢
ڧԽֶश %FFQ3BDFS༻ޠ ΤʔδΣϯτɿ%FFQ3BDFS ं ঢ়ଶɿ%FFQ3BDFSͷΧϝϥ͔Βͷը૾ ߦಈɿεςΞϦϯάͱͷΈ߹Θͤ
ڧԽֶश ख๏հ ڧԽֶशͷख๏͍Ζ͍Ζ͋ΔͷͰߜͬͯհ w֤ख๏ͷجຊͱͳΔߟ͑ํɺՁϕʔεͱํࡦϕʔε wݸਓతʹཧղʹۤ࿑ͨ͠"DUPS$SJUJD w%FFQ3BDFSͰΘΕ͍ͯΔ1SPYJNBM1PMJDZ0QUJNJ[BUJPO
ڧԽֶश ख๏հ Ձϕʔε wֶश୳ࡧΛਐΊΔதͰɺ֤ঢ়ଶͱߦಈͷՁΛٻΊ ͍ͯ͘ wݱࡏͷঢ়ଶʹ͓͍ͯՁ͕ߴ͍ߦಈ΄ͲબΕ͍͢ wঢ়ଶͱߦಈͷՁ2 T
B ࣍εςοϓҎ߱ಘΒΕΔใ ुͷ૯ͷظ
ڧԽֶश ख๏հ ํࡦϕʔε wؔ ํࡦؔ ΛٻΊͯɺͦͷؔΛ༻͍ͯ ߦಈΛબͿ wํࡦؔঢ়ଶʹదͨ͠ߦಈ
ͷ֬ Λग़ྗ ͢Δ
ڧԽֶश ख๏հ "DUPS$SJUJD w֤ΞϧΰϦζϜͰঢ়ଶՁͱͯ͠ใुͷฏۉΛ͍ͬͯ ͨͱ͜ΖΛՁؔͰஔ͖͑Δ wՁؔͱํࡦؔڞʹֶशͤ͞Δ
ڧԽֶश ख๏հ $MJQQFE 1SPYJNBM1PMJDZ0QUJNJ[BUJPO w%FFQ3BDFSͷֶशʹΘΕͯΔ wํࡦϕʔε wߋ৽લޙͷํࡦ ߦಈͷ֬
ͷൺΛݩʹֶश͢Δ wߋ৽ྔ͕େ͖͘ͳΓ͗͢ͳ͍Α͏ʹ্ݶͱԼݶΛܾΊͯ$MJQ͢Δ
ڧԽֶश ख๏հ 1SPYJNBM1PMJDZ0QUJNJ[BUJPO https://nervanasystems.github.io/coach/components/agents/policy_optimization/ppo.html
AWS DeepRacer
"84%FFQ3BDFS RoboMakerͰͷγϛϡϨʔγϣϯͱ SageMakerͰͷϞσϧͷֶशΛ܁Γฦ͢
"84%FFQ3BDFS ߦಈۭؒ wͱਐߦํͷΈ߹Θͤ Έ߹Θ͕ͤଟ͍ͱ ಈ͖͕ॊೈʹͳΔ ҙਤͨ͠௨Γಈ͘Α͏ʹ ֶशͤ͞Δͷ͍͠
"84%FFQ3BDFS ใुؔ wҐஔͳͲͷσʔλʹج͍ͮͯใुΛ༩ ͑Δ w1ZUIPOͰࣗ༝ʹॻ͚Δ wෛͷՄ wֶश࣌ʹઌͷεςοϓͷใुߟྀ͞ΕΔ ͜ͱʹཹҙ
DeepRacerʹͲ͏ಈ͍ͯ΄͍͔͠ ใुͱ͍͏ܗͰ ఆٛ͢Δ
"84%FFQ3BDFS ϋΠύʔύϥϝʔλ wόοναΠζҰճͷֶशʹ༻͢Δσʔλ ͷ wΤϙοΫֶशϑΣΠζͰͷֶशճ wֶशϞσϧߋ৽࣌ͷޯͷ ֶश͠ ͢͞
wΤϯτϩϐʔߦಈબ࣌ͷϥϯμϜ͞
"84%FFQ3BDFS ϋΠύʔύϥϝʔλ wׂҾઌͷεςοϓΛͲΕ͚ͩॏࢹ͢Δ͔ ઌͷ εςοϓͰͷใुʹର͢Δ wଛࣦλΠϓՁؔͷϞσϧͷଛࣦؔΛͲ͏͢ Δ͔
wγϛϡϨʔγϣϯϑΣΠζͷΤϐιʔυ
·ͱΊ wڧԽֶशͰχϡʔϥϧωοτϫʔΫ // ΛͬͯΔͷ͕ଟ͍ͷͰɺ·ͣ//ͰͷճؼͳͲڭࢣ͋ Γֶश͔Β࢝ΊΔͷҰͭͷख wڧԽֶशͷख๏͍Ζ͍Ζ͋Δ͚ͲɺํࡦϕʔεͱՁϕʔε͕جຊ w%FFQ3BDFSใु͕ؔॏཁ wใुؔओʹͲ͏͍͏ಈ͖Λֶश͍͔ͤͨ͞Ͱฦ͢ใुͷΛܾΊΔ
wجຊతʹରεςοϓͰͷใु͚ͩͰͳ͘ɺকདྷͷεςοϓͰͷใुؚΊͯධՁ͞ΕΔ wϋΠύʔύϥϝʔλֶशͷํͷௐʹ͏ͷ͕ྑ͛͞ wใुϋΠύʔύϥϝʔλͷ֤͕Ͳ͏ֶशʹ׆͔͞ΕΔ͔ͱ͍͏ͱ͜Ζ͔ΒڧԽֶशʹೖΔͷ͕Φε εϝ ڵຯΛ࣋ͬͨํͥͻ͍Ζ͍ΖάάͬͯΈ͍ͯͩ͘͞ʔ ͦͯ͠ɺҰॹʹۤ͠Έͳ͕Βֶͼ·͠ΐʔ