2017-deep-learning-and-psychology-gakusyuin-03

心理学特殊講義（深層学習の心理学的解釈）第3回 2017年04月21日

Transcript

1. 心理学特殊講義（深層学習の心理学的解釈）第3 回 2017 年04 月21 日 浅川伸一 asakawa@ieee.org 重要: 来週4 月28 日は休講 質問があったらつぶやく ハッシュタグ #2017dl_gak 初めての相手とペアを組んで座ってください 前回の資料は https://speakerdeck.com/shinasakawa/2017-deep-learning-and-psychology-gakusyuin-02 今回の資料は https://speakerdeck.com/shinasakawa/2017-deep-learning-and-psychology-gakusyuin-03 本日のメニュー 1. ゲストスピーカーズトーク(16:25-16:40) 2. 休講分の課題(16:40-16:50) 3. ニューラルネットワークの歴史(16:50-17:00) スキップするかも 4. 論理回路の設計(17:10-17:40) 5. 討論(17:40-17:50) 人間の感情と、他の生物のそれと、近代的な型の自動機械の反応との間に鋭い乗 り越 えられない区画線を引く心理学者は、私が私自身の主張に慎重でなければな らないの と同様に、私の説を否定するのに慎重でなければならない N. Wiener (1950) The Human Use of Human Beings ( 人間機械論, みすず書房, p.73 より) Nevertheless, it is interesting to know that the sort of phenomenon which is recorded subjectively as emotion may not be merely a useless epiphenomenon of nervous action, but may control some essential stage in learning, and in other similar processes. I definitely do not say that it does, but I do say that those psychologists who draw sharp and uncrossable distinctions between man’s emotions and those of other living organisms and the responses of the modem type of automatic mechanisms, should be just as careful in their denials as I should be in my assertions. ゲストスピーカーズトーク 全脳アーキテクチャ若手の会http://wbawakate.jp/ 八木拓真さん，松岡佑磨さん http://ainow.ai/ 亀田重幸さん 休講分の課題 1. ICLR2017 workshop の openreview の中から興味のある発表を選ぶ https://openreview.net/group? id=ICLR.cc/2017/workshop
2. 2. PDF ファイルをダウンロードして書かれている内容の理解を進める。 専門用語について調べ て提出 たとえば Dance Dance Convolution なんて面白いのでは？ ペア 人チームで一つのプレゼンを読み解く PDF ファイル中に出てくる専門用語をチーム内で手分けして調べる まとめてチームとして提出 提出期限 5 月11 日木曜日23:59 提出先 shinichi.asakawa@gakushuin.ac.jp 用いる記号の意味 ( 再録) 機械学習は統計学の一分野であるので，統計学の伝統に従った表記が用いられる場 合が多い。 1. ローマンアルファベットは通常の変数: e.g. , , , , 2. ギリシャアルファベットは母数( 母集団を記述する変数) , , , , e.g. サンプリングしたデータの平均値をローマンアルファベット 対応する母集団の平均値を とするなど 3. ただし，ギリシャアルファベットとローマンアルファベットはこの規則に従わない場合も多 数 4. 単にギリシャアルファベットとローマンアルファベットでは変数の意味合いが違うというだ けの場合もある 5. 例えば をロジスティックシグモイド関数 logistic sigmoid function とするなど。 数の次元による表記の違い 次数 日本語 English 表記例 0 スカラ scalar 1 ベクトル vetor 2 行列 matrix 3- テンソル tensor その他の注意 下付き文字 subscript は同じ変数の異なる要素を指す e.g. , 上付き文字は superscript はべき乗を表す。場合によっては下付き文字だけで煩雑になる場合 にも用いられる e.g. , , 総和記号 高校数学で悩まされた数列と考えずに足し算と考える ×2 = 4 x y a b … μ σ θ ω … ¯ x μ σ a a A A x1 ai x p a (1) x (hidden) i ∑ n = + + … + .
3. e.g. 条件付き確率 conditional probability は ''p of x given D'' と読む。直訳すれば が与えられた場合の の確率と言う意味に なる まぎらわしい があるけれど詳しすぎるので今は省略 期待値 expectation value カッコの区別 , , は割りと適当。わかりやすさ優先の感じ。ただしカッコの開閉の対応は厳密 が で終わったりしない 2.4 最速で理解するには( スキップ) 1. 線形回帰 linear regression 2. ロジスティック回帰 logistic regression 3. 正則化 regularization 4. 多層パーセプトロン multi-layered perceptrons 5. 畳み込みニューラルネットワーク convolutional neural networks 6. リカレントニューラルネットワーク recurrent neural networks 7. 強化学習 reinforcement learning 8. 変分法 2.5. 良い知識( スキップ) 1. 初等解析学 2. 線形代数 3. 確率論 4. 統計学 5. プログラミング言語(C, C++, Python, java, ruby, shell scripts, javascript, Haskell, Scala, ...) 6. markdown, jeykll 7. GitHub, 8. Linux の基礎知識(Ubuntu 推奨，MacOS では不十分) 9. GPU (NVIDIA 一択) 10. GURU 4. 実装( スキップ) ∑ n i=1 xi = x1 + x2 + … + xn . p (x |D ) D x f (w |D ) (1) || E [x] { ( [ ( ]
4. 1. Python, Theano, Chainer, TensorFlow, Keras, CNTK, PyTourch, sonnet, 2. MATLAB, octave 3. Java DeepLearing4j 4. C, C++ Caffe 5. Torch Touch 6. BLAS, openblas, ATLAS, MKL Excel R(H20) frameworks Python/Java C, C++, 4.1 デモ( スキップ？？？？) TensorFlow playground http://playground.tensorflow.org/ Convnet.js http://cs.stanford.edu/people/karpathy/convnetjs/ マイクロソフトのキャプションボット https://www.captioinbot.ai Alex graves, 手書き文字生成 http://www.cs.toronto.edu/~graves/handwriting.html] Ink Poster: Handwritten post-it notes http://www.inkposter.com/? すぎゃーんさんのブログ http://memo.sugyan.com/entry/2016/11/28/131952 prisma http://touchlab.jp/2016/07/prisma_app_review/ pix2pix https://affinelayer.com/pixsrv/ 自分でプログラムを動かしてみたいという人のために( スキップ) 必要なもの OS: Mac OS, or Ubuntu (Windows だと苦労する) 処理系: Python 2.7, 3.6 Anaconda を推奨 docker を利用することもある フリーの MOOCS を利用するのも手です 研究会，勉強会 に参加してみる，主催してみる ( 全脳アーキテクチャ若手の会とか) 2.6. AI の進歩の 5 つの要因( スキップ) 1. 計算 ( ムーアの法則，GPUs, ASICs), 2. データ (e.g. ImageNet), 3. アルゴリズム (e.g. バックプロパゲーション, CNN, LSTM), 4. 基盤 (Linux, TCP/IP, Git, ROS, PR2, AWS, AMT, TensorFlow, etc.). 5. 情報共有 (arXiv.org) 閑話休題( スキップ) > > > > …
5. 現在の言語情報処理モデルの趨勢は Chomsky の思い描いた方向には進んでいない( ように見える) 心理学史を紐解けば，スキナーを批判して行動主義心理学を終わらせる功績が特筆される その結果，言語は生得的であるとのラジカルな立場をとることになったのは御存知の通り 3. ニューラルネットワークの歴史 第一次ニューロブーム 1950 年代 ウォーレン・マッカロックとワイルダー・ピッツによる 形式ニューロン の提案 ( サイバネテ ィクスの創始者ノーバート・ウィーナーの集めた研究者集団) ウォーレン・マッカロック( 左) とワイルダー・ピッツ( 右) 形式ニューロンは，シナプス結合荷重ベクトルと出力を決定するための伝達関数とで構成され次 式 () で表現される。 ここで は 番目のニューロンの出力， は 番目のニューロンの出力， はニューロン と との間の シナプス結合荷重 である。 は活性化関数と呼ばれる。 y i = ϕ (∑ j w ij x j ) , (2) y i i x j j w ij i j ϕ
6. 図 1: 形式ニューロン 3.1.2 ローゼンブラット Rosenblatt のパーセプトロン 図 2: ローゼンブラット 図 3: パーセプトロンの模式図 ミンスキーとパパート「パーセプトロン」より 1960 年 ミンスキー(Minsky, Marvin) とパパート(Papert, Seymour) によるパーセプトロン批判
7. マーヴィン・ミンスキー( 左) とシーモア・パパート( 右) 第一次氷河期 凍てつく寒さの中，日本人パイオニアは奮闘！ - 甘利俊一先生, 中野馨先生, 福島邦彦先生 3.2 第二次ニューロブーム 1986 年 PDP ブック出版( 誤差逆伝播法の提唱) 左からディビッド・ラメルハート, ジェイ・マクレランド，ジェフェリー・ヒントン, PDP 本 vol.1 1989 年，バプニック，サポートベクターマシン発表 第二次氷河期 ANNs are some kind of non-linear statistics for amateurs J.A. Anderson, A. Pellionisz, E. Rosenfeld (eds.), Neurocomputing 2: Directions for Research, MIT Press, Cambridge (1990), Massachusetts 3.3 第3 次ニューロブーム (AI ルネッサンス，第4 次産業革命)
8. 図 4: 大規模画像認識チャレンジの結果 2013 ICLR スタート arXiv.org に予め論文を投稿，誰でも読める，誰でも批判できる。著者は それに答えなければならない。あっという間にトップカンファレンスとなる 2013 Mikolov word2vec を発表 図 5: Mikolov の類推課題 セマンティッ・クデファレンシャル法と異なる 計算意味論 18 世紀 第1 次産業革命: 蒸気機関，都市部に大規模工場が出現 20 世紀初頭 第2 次産業革命: 電気，オートメーション化，自動車，飛行機，電車による移動手段の 変化 20 世紀後半 第3 次産業革命: 情報化，コンピュータ化，グローバル化 21 世紀から 第4 次産業革命: AI 人間の能力を越える機械 2013 DeepMind DQN を発表
9. 図 6: DQN の結果 our project 2014 Neural Image Captioning が注目を集める。
10. 図 7: Human: A group of men playing Frisbee in the park. Machine: A group of young people playing a game of Frisbee. 図 8: Vinyals et. al (2014) より
11. 2015 画像生成技術が注目を浴びる 図 9: 天安門前広場の夢( 撮影は自民解放軍の兵士に依頼した) 2015 人工知能学会が日本では「深層学習」と呼ぶことに決定する 2016 GAN が注目を浴びる 図 10: Generative Adversarial Text to Image Synthesis arXiv:1605.05396v2
12. 図 11: Generative Adversarial Text to Image Synthesis arXiv:1605.05396v2 2016 アメリカ合州国大統領候補の一人の発言を模倣する「ディープトランプ」がツィッター 上で注目を集める 2016 アルファ碁がイ・セドルを破る
13. 図 12: アルファ碁 Nature より ローゼンブラットのパーセプトロン ニューロン 脳は莫大な数( 個以上ともいわれる) の神経単位( ニューロン neuron) か ら成り立っている。この ニューロンが脳の情報処理における基本単位である。複数 のニューロンが結合してニューラルネ ットワークが形成されている。 個々のニューロンは、単純な処理しか行なわないが、脳はこのニューロンが相互に 結合された並 列処理システムであると捕えることができる。 図 13: 脳内のさまざまなニューロン ニューロンは、 1. 細胞体 cell body 2. 樹状突起 dedrite 3. 軸索 axon とよばれる部分からなる。樹状突起はアンテナ( 入力) 、軸索は送電線( 出力) と考え れば分かりやす い。 ニューロンの内部と外部とでは , イオンなどの働きにより電位差があ る。通常、内部電位 は外部よりも低い。外部を 0 としたときの内部の電位を膜電位 という。入力信号が無いときの膜 10 10 N a + K +
14. 電位を静止膜電位という。% 約 ぐらいで ある。 情報は樹状突起から電気信号の形でニューロンに伝達され、すべての樹状突起から の電気信号が 加え合わされる。樹状突起からやってくる外部電気信号の影響で膜電 位が一定の値 ( しきい値 約 ) を越えると約 1 msec の間膜電位が急激に高 くなる。このことをニューロンが興奮した( あ るいは発火した) という。ニューロン の興奮は、軸索をとおって別のニューロンに伝達される。 図 14: ニューロンの模式図 wikipedia より 図 15: 形式ニューロン 電位変化に現われる興奮( パルス) 、不応期などの概念を下図によって確認 図 16: 膜電位の変化, GENESIS という有名なシミュレータの出力結果 GENESIS の中の Neuron というスクリプトによって出力される結果を示した。ニュー ロンの動作 はホジキン・ハックスレー方程式 (Hodgkin & Huxley(1952), しばしば H-H 方程式などと略記され る) に従うものとしてシミュレーションが行われている。 H-H 方程式は , , などの濃度 勾配を基づいた膜電位の変化を記 述するコンダクタンスベースのニューロンの動作方程式の代表 例 −70mV −55mV N a + K + Ca +
15. ニューロンの興奮(1 msec だけなのでパルス pulse と呼ぶことがある) は軸索をと おって他のニュー ロンに伝達される。軸索を通る興奮の伝達速度は 100 m/s くらい である。たとえば、文字を見て 音声を発声するまでの応答時間は、たかだか、1 秒 程度で、ニューロンの応答時間を 10 数ミリ秒 とすると多めに見積もっても 100 程 度のニューロンしか通過していないことになる。このことは 「100 step のプログラ ムの制約」と呼ばれる。 神経細胞の結合様式 シナプスに興奮が到達するたびに送り手側( シナプス前ニューロン) のニューロンか らある種の化学 物質が放出される。この化学物質は受け手側( シナプス後ニューロン) の 膜電位をわずかに変化させ る。 送り手のシナプスの興奮が興奮的に働くか抑制的に働くかは、送り手の側の細胞の 種類によって 異なることが知られている(Dale の法則) 。 一つのニューロンには多いもので数万個のシナプス結合が存在する。多数の軸索に シナプス結合 を通して興奮( あるいは抑制) が伝えられると細胞体を伝わる途中で重 なり合う。すべての膜電位の 変化の総和によってニューロンの膜電位の変化が決定 される。すべてのシナプス結合の和のこと を空間加算という。あるシナプスによっ て膜電位が変化し、その変化が減衰する前に次の興奮が 伝達されれば、まだ残って いる直前の電位変化に加え合わされて膜電位の変化が起きる。このこ とを時間加算 という。 シナプスに興奮が到達すると 0.3 msec 程度の時間遅れの後シナプス結合部の膜 電位がわずかに変 化する。１つのシナプスが生成する膜電位の変化は 0.1 mV か ら 30 mV ぐらいのものまで様々な シナプス結合が存在する。 樹状突起を介したニューロン間の結合の強さは、 しばしば変化することが知られている。 これを 学習という。 多入力一出力という単純化 図 17: ステップ関数 y = sign ( N ∑ i=1 wi xi + b) (3)
16. 3.1.3 パーセプトロンの学習 パーセプトロン perceptron は 3 層の階層型ネットワークでそれぞれ S(sensory layer), A(associative layer), R(response layer) と呼ぶ。 のうち パーセプトロンの本質的な部分は の間 の学習にある。 入力パターンに と とがある。 パーセプトロンは が入力されたとき , のとき を 出力する 機械である。 出力層( ) の 番目のニューロンへの入力( 膜電位の変化) は ここで中間層( ) の 番目のニューロンの出力 とこのニューロンとの 結合係数を 、しきい値 を とした。 このニューロンの出力 ( 活動電位、スパイク) は、 と表される。 論理回路の設計 基本的な論理回路と簡単な記憶回路を神経回路網で構成する方法を考え てみます。シリコンウェ ハ上に構成される論理回路をニューロン素子でも実現でき ることを示し以下に引用したウィーナ ーの言葉を裏付ける根拠を示すことにします。 AND ( 論理積) 回路 2 入力 1 出力の回路において、2 つの入力が共に真であるときのみ真を出力し、 そうでなければ偽 となる論理演算である論理積 (AND) を考えます。 論理積は引数を 2 つとる演算であり、 出力を とすれば のように書くことができます。 , ともに 1 または 0 の値をとるものと すれば、 が 1 であるためには かつ でなければなりません w ← w + (y − ^ y ) x (4) S → A → R A → R P + P − P + 1 P − 0 R i ui ui = ∑ j wij xj − θi = (w) i ⋅ (x) i − θi . A j yi wij θi yi yi = ⌈ui ⌉ { 1 if ui ≥ 0, 0 otherwize (5) y = sign ( N ∑ i=1 wi xi + b) (6) y y = f(x1 , x2 ) x1 x2 y x1 = 1 x2 = 1
17. OR ( 論理和) 回路 NOT ( 否定) 回路 排他的論理和 (XOR) 回路 図 18: xor PDP book (1986) chapter 8 Figure 2
18. 内部表象 おそらく人類史上初，哲学的な意味ではなく内部表象が計算可能になった 排他的論理和の別解 図 19: PDP book (1986) Chapt.8 Fig.2 より 簡単な記憶回路 フリップフラップ回路
19. AND 素子と NOT 素子とを繋いで簡単な記憶回路を作ることができる 図 20: 図で各素子は か かを値として取りうる 形式ニューロン だとする。 今、入力 と入力 とが共 に であれば , あるいは , のときだけこの回路は安定である。 ここで , とすると , の状態になり、 , とす ると , の 状態になる。しかも、この状態は に入力を戻しても 保存される。これは ビットの記 憶回路でありフリップフラップ回路 (flip-flop circuit) と呼ばれる。 このことは AND と NOT を実現できる神経回路素子があれば記憶回路を作ることが できることを 示している。しかも工学的に実現されている回路と完全に等価である。 フリップフロップ回路を 何個かまとめてレジスタ (register) と呼ぶ。 市販されている PC の CPU の性能を指して 64 ビット マシンと呼ぶのは、 このレジスタの大きさ( 記憶装置への基本的な入出力単位の基本でもある) によ る。 一般にコンピュータの速度はこのフリップフラップ回路が安定するまでの時間に依 存します。な ぜなら、コンピュータの基本動作は原理的に、上述のフリップフラッ プ回路が安定するのを待っ て、次の命令をレジスタに読み込むことの繰り返しだか らである。 ニューラルチューリングマシン Graves et.al,(2014) 図 21: Neural Turing Machines, Graves et. al.(2014) ニューラルチューリングマシンの意味するところ 人間の脳を模したニューラルネットワーク NN で論理回路が定義できる。 かつ，NN は論理回路を学習可能，訓練可能 1 0 x y 1 A = 1 B = 0 A = 0 B = 1 x = 0 y = 1 A = 0 B = 1 x = 1 y = 0 A = 1 B = 0 x = y = 1 1
20. NN 上でチューリングマシン NTM が定義できる かつ，NTM は学習可能，訓練可能 NTM 上で NN をプログラム可能( 実装例は未だなし) NTM 上で定義された NN で論理回路は定義可能 NTM 上で定義された NN で NTM は実装可能 以上を NN(0) NTM(1) NN(1) NTM(2) と可能か チューリングマシンはすべてのプログラム可能なアルゴリズムを実装できる。 人間の知性は実装できるかどうかは，人間の知性がチューリングマシンと同等の性能を持つ か否か まとめ Geist in silico 浅川の造語 Geist im Nets へのオマージュ 人間の感情と、他の生物のそれと、近代的な型の自動機械の反応との間に鋭い乗 り越 えられない区画線を引く心理学者は、私が私自身の主張に慎重でなければな らないの と同様に、私の説を否定するのに慎重でなければならない N. Wiener, The Human Use of Human Beings( 人間機械論, みすず書房, p.73) Nevertheless, it is interesting to know that the sort of phenomenon which is recorded subjectively as emotion may not be merely a useless epiphenomenon of nervous action, but may control some essential stage in learning, and in other similar processes. I definitely do not say that it does, but I do say that those psychologists who draw sharp and uncrossable distinctions between man’s emotions and those of other living organisms and the responses of the modem type of automatic mechanisms, should be just as careful in their denials as I should be in my assertions. 反論するなら，その拠り所となる根拠が必要だと思う。 本日のポイント 1. 形式ニューロン 2. 論理回路 3. 線形分離可能性 4. パーセプトロン 5. パーセプトロンにおける学習 → → → ⋯