Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
強化学習を可視化するchainerrl visualizerを動かしてみた
Search
mogamin
January 28, 2019
Technology
1
600
強化学習を可視化するchainerrl visualizerを動かしてみた
強化学習を可視化するchainerrl visualizerを動かしてみた
mogamin
January 28, 2019
Tweet
Share
More Decks by mogamin
See All by mogamin
エンプラRAG構築の最適解!Oracle AI Vector Searchによる明日からできるRAG!
mogamin
1
210
RDB脳はあなたに送る KVSモデリングのノウハウを公開! AWS DynamoDB、AzureCosmosDBでのKVS設計はこうしよう!
mogamin
1
600
Deep dive into application-level network management & observability with AppMesh
mogamin
0
820
Introducing Amazon SageMaker AutoPilot
mogamin
1
600
EfficientNet:Rethinking Model Scaling for Convolutional Neural Networks
mogamin
0
150
Pytorch強化学習プラットフォーム? Horizonのドキュメントを読む
mogamin
0
2.2k
Other Decks in Technology
See All in Technology
20250708オープンエンドな探索と知識発見
sakana_ai
PRO
4
1k
Deep Security Conference 2025:生成AI時代のセキュリティ監視 /dsc2025-genai-secmon
mizutani
4
2.9k
第64回コンピュータビジョン勉強会「The PanAf-FGBG Dataset: Understanding the Impact of Backgrounds in Wildlife Behaviour Recognition」
x_ttyszk
0
240
IPA&AWSダブル全冠が明かす、人生を変えた勉強法のすべて
iwamot
PRO
2
230
スタックチャン家庭用アシスタントへの道
kanekoh
0
120
セキュアなAI活用のためのLiteLLMの可能性
tk3fftk
1
330
今だから言えるセキュリティLT_Wordpress5.7.2未満を一斉アップデートせよ
cuebic9bic
2
170
Microsoft Defender XDRで疲弊しないためのインシデント対応
sophiakunii
1
320
Four Keysから始める信頼性の改善 - SRE NEXT 2025
ozakikota
0
420
Amplify Gen2から知るAWS CDK Toolkit Libraryの使い方/How to use the AWS CDK Toolkit Library as known from Amplify Gen2
fossamagna
1
350
SREのためのeBPF活用ステップアップガイド
egmc
2
1.3k
AIエージェントが書くのなら直接CloudFormationを書かせればいいじゃないですか何故AWS CDKを使う必要があるのさ
watany
18
7.6k
Featured
See All Featured
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Facilitating Awesome Meetings
lara
54
6.5k
Unsuck your backbone
ammeep
671
58k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Become a Pro
speakerdeck
PRO
29
5.4k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Testing 201, or: Great Expectations
jmmastey
43
7.6k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Transcript
強化学習を可視化する chainerrl-visualizerを動かしてみた 28.Jan.2019 Machine Learning Casual Talks #8 LT Takashi,MOGAMI
@mogamin
WHO AM I? Takashi,MOGAMI / @mogamin ウルシステムズ株式会社 シニアコンサルタント 画像処理(OpenCV)、ディープラーニング系をメインに業務をしておりま す。最近では強化学習を使った研究開発プロジェクトを推進しています
が、時間を見つけてはkaggleやSIGNATEで技術を磨いております。 - Scrum Master - AWS Certified Solutions Architect Professional
None
AGENDA - 「ありの行列」の話 - 強化学習とは - 強化学習のつらい所 - chainerrl-visualizer -
try! demo. ※本内容は個人の見解です。所属組織とは一切関係ありません。
強化学習とは - エージェント(学習の主体)が環境から得られる状態に対し て、報酬を最大化するように行動を学習する。 - 何がうれしいかというと、正答データがない問題でも報 酬を正しく定義できれば問題を解くことができる。 ※https://www.slideshare.net/ssuserf2c42e/20190125-minecraft-129160073 Agent Environment
action observation, reward
強化学習のつらい所 - 報酬設計がむずい - いつ報酬を与えるべきか、いつ罰を与えるべきか - マルチワーカーが苦手 - 画像認識のようにGPUをフルに使えない。CPUパワーに依存する -
シュミレータの開発コストが高い - 実際の環境、状態を網羅するシュミレータが必要 - マルコフ決定過程をちゃんと成立させて作る - 状態が変わらなければ意味がないaction? - 方策設計はどうあるべきか - いつまでも奇跡、神の手を待っていると永遠に終わらない。 - アルゴリズム部、Deep Q-Network部、超絶 試行錯誤 - やってみないとわからない。評価軸は?まずは可視化が必要!
そこで、Chainerrl-Visualizer - XXX すごく簡単。 $ git clone chainerrl-visualizer $ cd
いずれかのexampleフォルダへ... $ python ./main.py
Chainerrl-Visualizer - XXX 当該STEPにおけるSTEP時 系列なOUTPUT層の出力値 (100%積上げ) STEP時系列なOUTPUT層 の出力値(100%積上げ) その時の画面とGrad-CAM による特徴抽出の可視化
try! demo.
ありがとうございました。 We are now hiring! @mogaminまで