Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
強化学習を可視化するchainerrl visualizerを動かしてみた
Search
mogamin
January 28, 2019
Technology
1
580
強化学習を可視化するchainerrl visualizerを動かしてみた
強化学習を可視化するchainerrl visualizerを動かしてみた
mogamin
January 28, 2019
Tweet
Share
More Decks by mogamin
See All by mogamin
エンプラRAG構築の最適解!Oracle AI Vector Searchによる明日からできるRAG!
mogamin
1
170
RDB脳はあなたに送る KVSモデリングのノウハウを公開! AWS DynamoDB、AzureCosmosDBでのKVS設計はこうしよう!
mogamin
1
550
Deep dive into application-level network management & observability with AppMesh
mogamin
0
800
Introducing Amazon SageMaker AutoPilot
mogamin
1
580
EfficientNet:Rethinking Model Scaling for Convolutional Neural Networks
mogamin
0
140
Pytorch強化学習プラットフォーム? Horizonのドキュメントを読む
mogamin
0
2.1k
Other Decks in Technology
See All in Technology
自分だけの仮想クラスタを高速かつ効率的に作る kubefork
donkomura
0
110
サバイバルモード下でのエンジニアリングマネジメント
konifar
8
1.7k
DevinでAI AWSエンジニア製造計画 序章 〜CDKを添えて〜/devin-load-to-aws-engineer
tomoki10
0
190
AI Agent時代なのでAWSのLLMs.txtが欲しい!
watany
3
340
IoTシステム開発の複雑さを低減するための統合的アーキテクチャ
kentaro
1
120
JavaにおけるNull非許容性
skrb
2
2.7k
Oracle Database Technology Night #87-1 : Exadata Database Service on Exascale Infrastructure(ExaDB-XS)サービス詳細
oracle4engineer
PRO
1
210
ABWG2024採択者が語るエンジニアとしての自分自身の見つけ方〜発信して、つながって、世界を広げていく〜
maimyyym
1
190
ExaDB-XSで利用されているExadata Exascaleについて
oracle4engineer
PRO
3
280
クラウド関連のインシデントケースを収集して見えてきたもの
lhazy
9
1.8k
手を動かしてレベルアップしよう!
maruto
0
240
30→150人のエンジニア組織拡大に伴うアジャイル文化を醸成する役割と取り組みの変化
nagata03
0
200
Featured
See All Featured
Optimising Largest Contentful Paint
csswizardry
34
3.1k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
11
1.3k
KATA
mclloyd
29
14k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Practical Orchestrator
shlominoach
186
10k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
6
580
The Cost Of JavaScript in 2023
addyosmani
47
7.4k
It's Worth the Effort
3n
184
28k
How to Think Like a Performance Engineer
csswizardry
22
1.4k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7.1k
Automating Front-end Workflow
addyosmani
1369
200k
Transcript
強化学習を可視化する chainerrl-visualizerを動かしてみた 28.Jan.2019 Machine Learning Casual Talks #8 LT Takashi,MOGAMI
@mogamin
WHO AM I? Takashi,MOGAMI / @mogamin ウルシステムズ株式会社 シニアコンサルタント 画像処理(OpenCV)、ディープラーニング系をメインに業務をしておりま す。最近では強化学習を使った研究開発プロジェクトを推進しています
が、時間を見つけてはkaggleやSIGNATEで技術を磨いております。 - Scrum Master - AWS Certified Solutions Architect Professional
None
AGENDA - 「ありの行列」の話 - 強化学習とは - 強化学習のつらい所 - chainerrl-visualizer -
try! demo. ※本内容は個人の見解です。所属組織とは一切関係ありません。
強化学習とは - エージェント(学習の主体)が環境から得られる状態に対し て、報酬を最大化するように行動を学習する。 - 何がうれしいかというと、正答データがない問題でも報 酬を正しく定義できれば問題を解くことができる。 ※https://www.slideshare.net/ssuserf2c42e/20190125-minecraft-129160073 Agent Environment
action observation, reward
強化学習のつらい所 - 報酬設計がむずい - いつ報酬を与えるべきか、いつ罰を与えるべきか - マルチワーカーが苦手 - 画像認識のようにGPUをフルに使えない。CPUパワーに依存する -
シュミレータの開発コストが高い - 実際の環境、状態を網羅するシュミレータが必要 - マルコフ決定過程をちゃんと成立させて作る - 状態が変わらなければ意味がないaction? - 方策設計はどうあるべきか - いつまでも奇跡、神の手を待っていると永遠に終わらない。 - アルゴリズム部、Deep Q-Network部、超絶 試行錯誤 - やってみないとわからない。評価軸は?まずは可視化が必要!
そこで、Chainerrl-Visualizer - XXX すごく簡単。 $ git clone chainerrl-visualizer $ cd
いずれかのexampleフォルダへ... $ python ./main.py
Chainerrl-Visualizer - XXX 当該STEPにおけるSTEP時 系列なOUTPUT層の出力値 (100%積上げ) STEP時系列なOUTPUT層 の出力値(100%積上げ) その時の画面とGrad-CAM による特徴抽出の可視化
try! demo.
ありがとうございました。 We are now hiring! @mogaminまで