Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DeepRacerでまなぶ強化学習
Search
tandfy
May 16, 2019
Technology
1
1.3k
DeepRacerでまなぶ強化学習
DeepRacerから強化学習へのとっかかりとして数式を使わず強化学習とDeepRacerとの関連についてまとめてみた内容です。
tandfy
May 16, 2019
Tweet
Share
More Decks by tandfy
See All by tandfy
アプリから集まるイベントデータのリアルタイム処理入門
tandfy
0
1.3k
Amazon SageMakerの最新アップデートの紹介
tandfy
1
780
Amazon Personalizeではじめるレコメンドサービス
tandfy
0
920
DeepRacerで学ぶ機械学習 1.1
tandfy
0
870
DeepRacerで始める機械学習
tandfy
1
1.5k
Amazon SageMakerではじめる物体検出
tandfy
1
920
Other Decks in Technology
See All in Technology
地理空間データ可視化・解析・活用ソリューション Pacific Spatial Solutions (PSS)
pacificspatialsolutions
0
330
コードや知識を組み込む / Incorporate Code and knowledge
ks91
PRO
0
130
エンジニア候補者向け資料2024.04.24.pdf
macloud
0
3.3k
プロンプトエンジニアリングでがんばらない-Agentic Workflow へ-近藤憲児
kenjikondobai
6
1.1k
本当のAWS基礎
toru_kubota
1
600
Babylon.jsと色々なものを組み合わせる:ブラウザのAPIやガジェットや2D描画ライブラリなど / Babylon.js 勉強会 vol.3
you
PRO
0
150
いつか使うかも貯金してたらめちゃめちゃ機能が増えてた話
riyaamemiya
0
570
障害対応をちょっとずつよくしていくための 演習の作りかた
heleeen
1
1.5k
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
4
37k
LLM開発・活用の舞台裏@2024.04.25
yushin_n
3
1.1k
EMとして2023年度に頑張ったこと / What we did well in FY2023 as a EM
pauli
1
200
IaCジェネレーターとBedrockで詳細設計書を生成してみた
tsukasa_ishimaru
4
860
Featured
See All Featured
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
245
20k
Robots, Beer and Maslow
schacon
PRO
155
7.9k
Become a Pro
speakerdeck
PRO
12
4.6k
Design by the Numbers
sachag
274
18k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
19
6.9k
Navigating Team Friction
lara
179
13k
Ruby is Unlike a Banana
tanoku
96
10k
It's Worth the Effort
3n
180
27k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
64
14k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
323
20k
Unsuck your backbone
ammeep
663
57k
How to Ace a Technical Interview
jacobian
273
22k
Transcript
%FFQ3BDFSಉձ ୈೋճΦϑϥΠϯษڧձ!େࡕ େᖒ༐ే "84%FFQ3BDFSͰ·ͳͿڧԽֶश
ࣗݾհ େᖒ༐ే w σʔλΠϯςάϨʔγϣϯ෦ػցֶशνʔϜ w ΤϯδχΞ w ݄ೖࣾ
w લ৬ɿ6OJUZͱ͔1)1ͰήʔϜ։ൃ
ࠓ͢༰ %FFQ3BDFSͰΘΕ͍ͯΔڧԽֶशͷೖ wػցֶश wڧԽֶश wํࡦϕʔεͱՁϕʔεɺ"DUPS$SJUJDɺ110 w%FFQ3BDFS w֤ϋΠύʔύϥϝʔλͷҙຯ
ࠓ͞ͳ͍༰ wࣜ wใुઃܭΛ۩ମతʹͲ͏͢Ε͍͍ͷ͔ wϋΠύʔύϥϝʔλʔ۩ମతʹͲ͏ઃఆͨ͠Β͍͍ͷ͔
ػցֶश
ػցֶश ֓ཁ ͬ͘͟Γݴ͏ͱنଇੑΛֶशͤ͞Δ͜ͱɻ wڭࢣ͋Γֶश͑Λ༩͑ͯೖྗͱ͑ͷنଇੑΛֶशͤ͞Δ wڭࢣͳֶ͠शɿ͑Λ༩͑ͣʹೖྗͷنଇੑΛֶशͤ͞Δ wڭࢣ͋Γֶशɿجຊతʹ͑Λ༩͑ͣʹೖྗͷنଇੑΛֶशͤ͞ Δ͕ɺ෦తʹ͑Λ༩͑ͯิॿ͢Δ wڧԽֶशɿ͋ΔڥͰใु͕࠷େԽ͢ΔߦಈબͷنଇੑΛֶशͤ͞Δ
ͳͲ
ػցֶश χϡʔϥϧωοτϫʔΫ֓ཁ ϑΟʔυϑΥϫʔυ χϡʔϥϧωοτϫʔΫ wೖྗ wόονσʔληοτ͔ΒϥϯμϜʹநग़ wΤϙοΫಉ͡σʔληοτΛ͏ճ wग़ྗ
wೖྗ͕//Λ௨ͬͯग़͖ͯͨͷ wྫ dͷ࣮ͳͲ
ڧԽֶश
ڧԽֶश ֓ཁ ڥ͔ΒΤʔδΣϯτʹঢ়ଶ ΤʔδΣϯτ͕ঢ়ଶʹج͍ͮͯ ߦಈ
ڥ͕ߦಈ݁Ռʹج͍ͮͨใु ΛΤʔδΣϯτ dΛ܁Γฦ͢ ࠷େใु͕Β͑ΔߦಈΛબͿΑ͏ʹֶश͢Δ
ڧԽֶश "84%FFQ3BDFS֓ཁ RoboMakerͰͷγϛϡϨʔγϣϯͱ SageMakerͰͷϞσϧͷֶशΛ܁Γฦ͢
ڧԽֶश %FFQ3BDFS༻ޠ ΤʔδΣϯτɿ%FFQ3BDFS ं ঢ়ଶɿ%FFQ3BDFSͷΧϝϥ͔Βͷը૾ ߦಈɿεςΞϦϯάͱͷΈ߹Θͤ
ڧԽֶश ख๏հ ڧԽֶशͷख๏͍Ζ͍Ζ͋ΔͷͰߜͬͯհ w֤ख๏ͷجຊͱͳΔߟ͑ํɺՁϕʔεͱํࡦϕʔε wݸਓతʹཧղʹۤ࿑ͨ͠"DUPS$SJUJD w%FFQ3BDFSͰΘΕ͍ͯΔ1SPYJNBM1PMJDZ0QUJNJ[BUJPO
ڧԽֶश ख๏հ Ձϕʔε wֶश୳ࡧΛਐΊΔதͰɺ֤ঢ়ଶͱߦಈͷՁΛٻΊ ͍ͯ͘ wݱࡏͷঢ়ଶʹ͓͍ͯՁ͕ߴ͍ߦಈ΄ͲબΕ͍͢ wঢ়ଶͱߦಈͷՁ2 T
B ࣍εςοϓҎ߱ಘΒΕΔใ ुͷ૯ͷظ
ڧԽֶश ख๏հ ํࡦϕʔε wؔ ํࡦؔ ΛٻΊͯɺͦͷؔΛ༻͍ͯ ߦಈΛબͿ wํࡦؔঢ়ଶʹదͨ͠ߦಈ
ͷ֬ Λग़ྗ ͢Δ
ڧԽֶश ख๏հ "DUPS$SJUJD w֤ΞϧΰϦζϜͰঢ়ଶՁͱͯ͠ใुͷฏۉΛ͍ͬͯ ͨͱ͜ΖΛՁؔͰஔ͖͑Δ wՁؔͱํࡦؔڞʹֶशͤ͞Δ
ڧԽֶश ख๏հ $MJQQFE 1SPYJNBM1PMJDZ0QUJNJ[BUJPO w%FFQ3BDFSͷֶशʹΘΕͯΔ wํࡦϕʔε wߋ৽લޙͷํࡦ ߦಈͷ֬
ͷൺΛݩʹֶश͢Δ wߋ৽ྔ͕େ͖͘ͳΓ͗͢ͳ͍Α͏ʹ্ݶͱԼݶΛܾΊͯ$MJQ͢Δ
ڧԽֶश ख๏հ 1SPYJNBM1PMJDZ0QUJNJ[BUJPO https://nervanasystems.github.io/coach/components/agents/policy_optimization/ppo.html
AWS DeepRacer
"84%FFQ3BDFS RoboMakerͰͷγϛϡϨʔγϣϯͱ SageMakerͰͷϞσϧͷֶशΛ܁Γฦ͢
"84%FFQ3BDFS ߦಈۭؒ wͱਐߦํͷΈ߹Θͤ Έ߹Θ͕ͤଟ͍ͱ ಈ͖͕ॊೈʹͳΔ ҙਤͨ͠௨Γಈ͘Α͏ʹ ֶशͤ͞Δͷ͍͠
"84%FFQ3BDFS ใुؔ wҐஔͳͲͷσʔλʹج͍ͮͯใुΛ༩ ͑Δ w1ZUIPOͰࣗ༝ʹॻ͚Δ wෛͷՄ wֶश࣌ʹઌͷεςοϓͷใुߟྀ͞ΕΔ ͜ͱʹཹҙ
DeepRacerʹͲ͏ಈ͍ͯ΄͍͔͠ ใुͱ͍͏ܗͰ ఆٛ͢Δ
"84%FFQ3BDFS ϋΠύʔύϥϝʔλ wόοναΠζҰճͷֶशʹ༻͢Δσʔλ ͷ wΤϙοΫֶशϑΣΠζͰͷֶशճ wֶशϞσϧߋ৽࣌ͷޯͷ ֶश͠ ͢͞
wΤϯτϩϐʔߦಈબ࣌ͷϥϯμϜ͞
"84%FFQ3BDFS ϋΠύʔύϥϝʔλ wׂҾઌͷεςοϓΛͲΕ͚ͩॏࢹ͢Δ͔ ઌͷ εςοϓͰͷใुʹର͢Δ wଛࣦλΠϓՁؔͷϞσϧͷଛࣦؔΛͲ͏͢ Δ͔
wγϛϡϨʔγϣϯϑΣΠζͷΤϐιʔυ
·ͱΊ wڧԽֶशͰχϡʔϥϧωοτϫʔΫ // ΛͬͯΔͷ͕ଟ͍ͷͰɺ·ͣ//ͰͷճؼͳͲڭࢣ͋ Γֶश͔Β࢝ΊΔͷҰͭͷख wڧԽֶशͷख๏͍Ζ͍Ζ͋Δ͚ͲɺํࡦϕʔεͱՁϕʔε͕جຊ w%FFQ3BDFSใु͕ؔॏཁ wใुؔओʹͲ͏͍͏ಈ͖Λֶश͍͔ͤͨ͞Ͱฦ͢ใुͷΛܾΊΔ
wجຊతʹରεςοϓͰͷใु͚ͩͰͳ͘ɺকདྷͷεςοϓͰͷใुؚΊͯධՁ͞ΕΔ wϋΠύʔύϥϝʔλֶशͷํͷௐʹ͏ͷ͕ྑ͛͞ wใुϋΠύʔύϥϝʔλͷ֤͕Ͳ͏ֶशʹ׆͔͞ΕΔ͔ͱ͍͏ͱ͜Ζ͔ΒڧԽֶशʹೖΔͷ͕Φε εϝ ڵຯΛ࣋ͬͨํͥͻ͍Ζ͍ΖάάͬͯΈ͍ͯͩ͘͞ʔ ͦͯ͠ɺҰॹʹۤ͠Έͳ͕Βֶͼ·͠ΐʔ