Upgrade to Pro — share decks privately, control downloads, hide ads and more …



全脳アーキテクチャ若手の会, 第三回異分野交流会

Takuma Seno

March 21, 2019

More Decks by Takuma Seno

Other Decks in Technology


  1. Deep Q-Network (2015) 深層強化学習によ るゲームプレイ Mnih, Volodymyr, Koray Kavukcuoglu, David

    Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves et al. "Human-level control through deep reinforcement learning." Nature 518, no. 7540 (2015): 529. 12 ここがゲーム
  2. 内発的動機 内発的動機 行為それ自身が本質的にもつ楽しみや満足のための 動機、興味、挑戦など e.g. 宿題が面白いからやる 外発的動機 行為自身とは別の結果を得ることが目的の行為をとり続ける動機、 操作的価値 e.g.

    宿題を親から怒られないためにやる 19 Ryan, Richard M., and Edward L. Deci. "Intrinsic and extrinsic motivations: Classic definitions and new directions." Contemporary educational psychology 25, no. 1 (2000): 54-67.
  3. 20

  4. 好奇心駆動探索 予測誤差が報酬 ⬇ 外から報酬をもらわ なくても探索すること でできる 21 Pathak, Deepak, Pulkit

    Agrawal, Alexei A. Efros, and Trevor Darrell. "Curiosity-driven exploration by self-supervised prediction." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, pp. 16-17. 2017.
  5. Diversity Is All You Need なるべく違う行動が出るように報酬を与える 22 Eysenbach, Benjamin, Abhishek

    Gupta, Julian Ibarz, and Sergey Levine. "Diversity is all you need: Learning skills without a reward function." arXiv preprint arXiv:1802.06070 (2018).
  6. 神経科学的な内発的動機 新記事象が発生すると大脳基底核と海馬においてドーパミン領域 の活性化によって学習が行われる どちらもドーパミンが新規事象に関する情報をもち - 新規スキルや知識の獲得 - 脳内での学習信号の生成 - 獲得後の学習終了

    という特徴をもつ 23 Redgrave, Peter, and Kevin Gurney. "The short-latency dopamine signal: a role in discovering novel actions?." Nature reviews neuroscience 7, no. 12 (2006): 967. Kumaran, Dharshan, and Eleanor A. Maguire. "Which computational mechanisms operate in the hippocampus during novelty detection?." Hippocampus 17, no. 9 (2007): 735-748.