ニューロンになってみる

2016/5/19に行われた「づや会」の機械学習回で話した内容です。
ディープラーニングの基礎となっているバックプロパゲーション、パーセプトロンの学習がどのように行われるのか、実際に自分がニューロンになって体験してみよう。

Transcript

1. ニューロンになってみる ニューロンになってみる https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 1 / 26 2016/05/19 10:34
2. ⾃⼰紹介 ⾃⼰紹介 さとうきよし 有限会社ジーワークス ⽩⾺在住 https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 2 / 26 2016/05/19 10:34
3. ニューラルネットとの関わり ニューラルネットとの関わり 今はやりのディープラーニングは第 次ブーム 第 次ブームのバックプロパゲーションの頃にニューロや りたくて⼤学に⼊る ⼤学でスキーにはまり研究には打ち込まず⽩⾺に移住し て現在に⾄る https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 3 / 26 2016/05/19 10:34
4. ディープラーニングをすごく ディープラーニングをすごく ざっくり説明 ざっくり説明 ディープラーニングはすごく多層でも学習できるバック プロパゲーション バックプロパゲーションは多層でも学習可能なパーセプ トロン パーセプトロンは 層だけのニューラルネット https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 4 / 26 2016/05/19 10:34
5. パーセプトロンてなに︖ パーセプトロンてなに︖ ニューロンという脳細胞から脳をモデル化したもの 最初期のニューラルネットワーク 実は基本的な学習⽅法は現代のディープラーニングもだ いたい同じ https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 5 / 26 2016/05/19 10:34
6. パーセプトロン パーセプトロン 出⼒式 学習式 https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 6 / 26 2016/05/19 10:34
7. 数式でパーセプトロンが記述 数式でパーセプトロンが記述 されてるけど正直ピンとこな されてるけど正直ピンとこな いよね いよね https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 7 / 26 2016/05/19 10:34
8. ニューロンになってみよう︕ ニューロンになってみよう︕ ニューロンは⼀個⼀個はたいしたことしてない ⼿でニューロンがやってることをエミュレートしてみる https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 8 / 26 2016/05/19 10:34
9. ニューロン ニューロン こいつになりきる こんなやつがたくさんいて他のニューロンとの結びつき の「重さ」で学習する https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 9 / 26 2016/05/19 10:34
10. ニューロンの出⼒ ニューロンの出⼒ ⼊⼒の⼝毎に信号の通りやすさを⽰す「重み」がある 重みをづけされた⼊⼒の総和が閾値を超えたら「発⽕」 する 発⽕度合いが出⼒ https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 10 / 26 2016/05/19 10:34
11. ニューロンの学習 ニューロンの学習 出⼒が答え（教師信号）と違ってたら⼊⼒あったやつに 責任とらせる 教師信号との差分だけ⼊⼒のあった⼝の重みを増減する 答えと合ってたらなにもしない https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 11 / 26 2016/05/19 10:34
12. 元ネタ 元ネタ 実は元ネタがある 『マッチ箱の脳』 版あり でも『ほぼ⽇』で公開されてる 化けるのでエンコードを に変更してね︕ https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 12 / 26 2016/05/19 10:34
13. 紙と鉛筆で計算する 紙と鉛筆で計算する マッチを⽤意するのが⼤変だから紙と鉛筆で計算する そのため元ネタから少しアレンジしてます 表計算アプリでも良いがニューロンの気持ちになるため ⼿で計算しよう https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 13 / 26 2016/05/19 10:34
14. お菓⼦の遠⾜問題 お菓⼦の遠⾜問題 お菓⼦ 値段 クッキー 円 ポテチ 円 チョコ 円 お菓⼦は 円まで。 どの組み合わせなら買える︖ https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 14 / 26 2016/05/19 10:34
15. ニューロンの模式図 ニューロンの模式図 各お菓⼦を「買う 買わない」がニューロンの⼊⼒ 「 円以内におさまるか」がニューロンの出⼒ https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 15 / 26 2016/05/19 10:34
16. 買える条件 買える条件 クッキー ポテチ チョコ 円超 ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 16 / 26 2016/05/19 10:34
17. ニューロン初期化 ニューロン初期化 「重み」をランダムに決める 〜 くらいで適当に 閾値を「 」にする https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 17 / 26 2016/05/19 10:34
18. 紙の書きかた 紙の書きかた 簡単なテンプレートを準備しました クッキー ポテチ チョコ 円超 対象 教師 和 出⼒ 差 https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 18 / 26 2016/05/19 10:34
19. 出⼒を計算 出⼒を計算 とりあえず「 」で答え出してみる クッキー ポテチ チョコ 円超 ◦ ◦ ◦ ✕ ✕ ✕ ✕ ✕ ✕ 閾値「 」に未満なので発⽕せず 出⼒︓ https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 19 / 26 2016/05/19 10:34
20. 学習する 学習する 教師は「 」なのに出⼒は「 」だったので間違い 教師 出⼒ － が答えとの差分 責任のあった⼊⼒に差分を⾜す 元重さ ⼊⼒ ◦ ◦ 変更後 https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 20 / 26 2016/05/19 10:34
21. 学習を繰り返す 学習を繰り返す 「 」で学習 ✕ ✕ ✕  出⼒︓ 差分︓  重さ変更なし 「 」で学習 ✕ ✕ ✕  出⼒︓ 差分︓  重さ変化なし 「 」で学習 ✕ ✕ ✕  出⼒︓ 差分︓  重さ変更なし https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 21 / 26 2016/05/19 10:34
22. さらに学習を繰り返す さらに学習を繰り返す 「 」で学習 ✕ ✕ ✕  出⼒︓ 差分︓  間違い︕ 元重さ ⼊⼒ ◦ ◦ 変更後 後で確認するため「 」は使わずに学習 https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 22 / 26 2016/05/19 10:34
23. 全部正解になるまでがんばっ 全部正解になるまでがんばっ て繰り返す︕ て繰り返す︕ https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 23 / 26 2016/05/19 10:34
24. 学習が収束するはず 学習が収束するはず 例では 回位の学習で収束 学習に利⽤していない「 」でも答えがあう https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 24 / 26 2016/05/19 10:34
25. まとめ まとめ ニューロは数式や⾔葉はむつかしそうでも実際の動きを ⾒ると結構理解しやすい 数学的に解析したいのでなければアルゴリズムから追う と良いかもよ https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 25 / 26 2016/05/19 10:34
26. 引⽤元 引⽤元 ⼈⼯知能 かずー さん ニューロンのイラストを使わせていただきました。あり がとうございます︕ アドベントカレンダーの内容もとてもおすすめです。 パーセプトロンの学習 パーセプトロンの出⼒と学習の式を利⽤させていただき ました。 https://dl.dropboxusercontent.com/u/4412680/zuyaneuro/handneuro.html?print-pdf#/ 26 / 26 2016/05/19 10:34