強化学習を可視化するchainerrl visualizerを動かしてみた

強化学習を可視化する chainerrl-visualizerを動かしてみた 28.Jan.2019 Machine Learning Casual Talks #8 LT Takashi,MOGAMI
@mogamin

WHO AM I? Takashi,MOGAMI / @mogamin ウルシステムズ株式会社シニアコンサルタント画像処理(OpenCV)、ディープラーニング系をメインに業務をしております。最近では強化学習を使った研究開発プロジェクトを推進しています
が、時間を見つけてはkaggleやSIGNATEで技術を磨いております。 - Scrum Master - AWS Certified Solutions Architect Professional

AGENDA - 「ありの行列」の話 - 強化学習とは - 強化学習のつらい所 - chainerrl-visualizer -
try! demo. ※本内容は個人の見解です。所属組織とは一切関係ありません。

強化学習とは - エージェント(学習の主体)が環境から得られる状態に対して、報酬を最大化するように行動を学習する。 - 何がうれしいかというと、正答データがない問題でも報酬を正しく定義できれば問題を解くことができる。 ※https://www.slideshare.net/ssuserf2c42e/20190125-minecraft-129160073 Agent Environment
action observation, reward

強化学習のつらい所 - 報酬設計がむずい - いつ報酬を与えるべきか、いつ罰を与えるべきか - マルチワーカーが苦手 - 画像認識のようにGPUをフルに使えない。CPUパワーに依存する -
シュミレータの開発コストが高い - 実際の環境、状態を網羅するシュミレータが必要 - マルコフ決定過程をちゃんと成立させて作る - 状態が変わらなければ意味がないaction? - 方策設計はどうあるべきか - いつまでも奇跡、神の手を待っていると永遠に終わらない。 - アルゴリズム部、Deep Q-Network部、超絶試行錯誤 - やってみないとわからない。評価軸は？まずは可視化が必要！

そこで、Chainerrl-Visualizer - XXX すごく簡単。 $ git clone chainerrl-visualizer $ cd
いずれかのexampleフォルダへ... $ python ./main.py

Chainerrl-Visualizer - XXX 当該STEPにおけるSTEP時系列なOUTPUT層の出力値 (100%積上げ) STEP時系列なOUTPUT層の出力値(100%積上げ) その時の画面とGrad-CAM による特徴抽出の可視化

try! demo.

ありがとうございました。 We are now hiring! @mogaminまで

強化学習を可視化するchainerrl visualizerを動かしてみた

強化学習を可視化するchainerrl visualizerを動かしてみた

mogamin

More Decks by mogamin

Other Decks in Technology

Featured

Transcript