Upgrade to Pro — share decks privately, control downloads, hide ads and more …

強化学習への入り口 part1

E72f241475dfe632c6b1666debc16e8a?s=47 NearMe技術勉強会の発表資料です
July 01, 2022
Research
0
49

強化学習への入り口 part1

E72f241475dfe632c6b1666debc16e8a?s=128

NearMe技術勉強会の発表資料です

July 01, 2022
Tweet

More Decks by NearMe技術勉強会の発表資料です

See All by NearMe技術勉強会の発表資料です
開発環境Docker以前、以後
E72f241475dfe632c6b1666debc16e8a?s=48 nearme_tech
0
7
最短経路探索が表していること
E72f241475dfe632c6b1666debc16e8a?s=48 nearme_tech
0
11
地図の発展と可能性
E72f241475dfe632c6b1666debc16e8a?s=48 nearme_tech
0
16
競プロに出てきそうなアルゴリズム
E72f241475dfe632c6b1666debc16e8a?s=48 nearme_tech
0
22
最適化への入り口
E72f241475dfe632c6b1666debc16e8a?s=48 nearme_tech
0
28
Rustは厳しいが役に立つ Part1「Rustの概要」
E72f241475dfe632c6b1666debc16e8a?s=48 nearme_tech
0
59
インターン生・新卒向け、学校でもっと教えてほしいITエンジニア基本スキル
E72f241475dfe632c6b1666debc16e8a?s=48 nearme_tech
0
160

Other Decks in Research

See All in Research
大学研究者による事業提案制度（大学提案） 募集概要
74f76e75d92cf585b29ffa049629c8a6?s=48 tocho_zaiseika
0
6.4k
意思決定を最大化するための”ループ”とループを回すための”施策”
2037edbccc4e9b1be0b328cd9d032dc0?s=48 masadooon
0
900
AI最新論文読み会2022年6月
874ff503a00697a857e198a0ebb8f55f?s=48 ailaboocu
0
260
メタ分析講習会@2022
4e437713540d4a32369b9c9f1b624e9c?s=48 arumakan
0
910
PPML PyConDE
B15fbecd95ea25d06214feb4ade9d42d?s=48 leriomaggio
0
110
深層学習を用いた三次元点群処理入門
1aefc563d6967f558b1ae295cc1d56de?s=48 nnchiba
6
3.8k
論文紹介:Other Roles Matter! Enhancing Role-Oriented Dialogue Summarization via Role Interactions
Efb45e5252e1834e8d45d8c1e86ae604?s=48 ryu1104
0
140
[JSAI2022] 広告文自動生成に関する最近の研究動向
8b0bb245cc397fd6ca91d143edd4a149?s=48 ichiroex
5
5.6k
[CVPR2022読み会] Time3D: End-to-End Joint Monocular 3D Object Detection and Tracking for Autonomous Driving
Eae3142b0987e2df6468ce085da3c7b7?s=48 inoichan
0
210
ICSE22: An Exploratory Study of Deep Learning Supply Chain
2644bdfd7318fdc10672be113fb39133?s=48 sunflowerpku
0
310
予測の不確かさの活用について
5fc3f0d4c30da8595270ff76f046b337?s=48 masatoto
0
140
パーツ探し
Be0f86176276318b4b9775d795278f7e?s=48 yushiku
PRO
1
510

Featured

See All Featured
Bash Introduction
812e1705ff0f8bc1bcf18587bde687d5?s=48 62gerente
598
210k
Streamline your AJAX requests with AmplifyJS and jQuery
9cde37f47e4a800ea081ea42de8d749a?s=48 dougneiner
127
8.5k
Ruby is Unlike a Banana
6804f1775cb4babfcc3851298566fbce?s=48 tanoku
91
9.3k
StorybookのUI Testing Handbookを読んだ
50fc0fdc2327ecbe7350645812de52e3?s=48 zakiyama
6
2.5k
Making the Leap to Tech Lead
32de0bd2ba869609d26fd052a4622778?s=48 cromwellryan
113
7.4k
Helping Users Find Their Own Way: Creating Modern Search Experiences
3d4519fd34b76fb265fc0237f3792bd4?s=48 danielanewman
7
1.1k
Producing Creativity
Ae14cc4491ac334f9cd23f9f93b4305e?s=48 orderedlist
PRO
334
37k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
B3d6434763caa0ef5dc4b792662c49f7?s=48 smashingmag
237
19k
The Cult of Friendly URLs
Ded01cdab114abe4ec13511e4c25b9bb?s=48 andyhume
68
4.8k
Creatively Recalculating Your Daily Design Routine
48c098b6579220a67a6ba949be6e4b5a?s=48 revolveconf
207
10k
JavaScript: Past, Present, and Future - NDC Porto 2020
3ab1249be442027903e1180025340b3f?s=48 reverentgeek
37
3.3k
Building an army of robots
5f2da528927a2ec9ba4fec2069cbc958?s=48 kneath
299
40k

Transcript

  1. 0 強化学習への入り口 part1 2022-07-01 第4回NearMe技術勉強会 Takuma Kakinoue

  2. 1 目次
 1. 強化学習とは？
 2. 強化学習の適用事例
 3. ”報酬”と”価値”
 4. Q値の定義


  3. 2 １．強化学習とは？
 図に示すように環境との相互作用を通して、
 貰える報酬が最大となるような方策(Policy)を学習する機械学習手法
 
 
 ※方策 : 状態を入力とし、行動を出力するモデル


  4. 3 ２．強化学習の適用事例
 • ゲームAI
 • ロボット制御
 • 自動運転
 • コンテンツのレコメンド


    • 巡回セールスマン問題
 etc..


  5. 4 ３．”報酬”と”価値”
 報酬とは、ある状態である行動をしたときの即時的な利益
 価値とは、将来的に貰えるであろう報酬の割引現在価値の総和
 
 例えば..
 • 即日で10万円の報酬を貰える
 • 一日1000円の報酬を1年間貰える


    どちらの価値が高いか？
 （割引率によって変わる、仮に1なら?0なら？0.99なら？）


  6. 5 ４．Q値の定義
 
 
 Q値とは、状態stで行動atを選択する価値（状態行動価値）
 1step後のQ値を将来の価値としている
 即時報酬
 α : 学習率


    γ : 割引率


  7. 6 次回
 • 強化学習への入り口 part2
 ◦ 方策の表現方法
 ◦ Q値をもとに方策の改善
 ◦

    探索と利用のトレードオフ


  8. 7 参考文献
 • Matlabによる強化学習


  9. 8 Thank you