ハトでもわかる単純パーセプトロン / hato_perceptron

【slideshareからのお引越しです】
https://www.slideshare.net/takosumipasta/ss-71777586

社内勉強会で発表した単純パーセプトロンの概要とR言語実装に関する資料です。
サンプルコードはこちら
https://gist.github.com/stkdev/e40705a6a05dbdd58355c24f1b0e52c7

Transcript

1. ハトでもわかる 単純パーセプトロン 「サルでもわかる」 →えてして難しい 「猫でもわかる」 →媚びてる感が出る 「鶏でもわかる」 →3歩で忘れるとダメ 時代はハト
2. はじめに • 機械学習の最も基礎の部分（たぶん）なので頑張りましょう • 目次 • パーセプトロンとは • パーセプトロンの構成 • 重みと線形結合 • 活性化関数 • 重みの更新 • 損失関数 • 最適化問題 • シミュレーションしてみる 2
3. パーセプトロンとは • 視覚や脳神経細胞の機能をモデル化したもの • 神経細胞の動き • 感覚器官から無数の電気信号を受け取る • 現在の状況と信号の情報から物事を学習する • 以下を繰り返すことでモデルを作成 • 複数の入力から単一の出力を行う • 出力結果と、ほしい結果（教師データ）からモデルを更新（学習） 元の発想は脳神経 構造はシンプル 入力を統合して出力へ 出力結果から学習 3
4. パーセプトロンとは • 応用するといろいろできる • ニューラルネット（多層パーセプトロン） • ディープラーニング • SVM • ・・・ ⇒よく聞く手法の基礎になるものです • で、結局何ができるものなの？ • という問には答えづらいよ、最後にまとめます • とりあえず「単純な分類ができるもの」と考えて、続きをどうぞ 4 ニューラルネット 1個1個がパーセプトロン なぜ重要なの？ よく聞かれるけど
5. パーセプトロンの構成 • 入力データを • 重要な構成要素 • 各入力に対する重み • 出力の調整 • 重みの更新 入力 全長 X[1] 体重 X[2] … X[3] 重み W[1] W[2] W[3] 鳥データ 全長500mm 体重700g … 出力 １：ハトである ０：ハトではない ？ ？ ？ 5 ハトかどうかを判定するモデルを作ろう
6. 入力に対する重み • 定数項と各入力に対して重みwを設定 • （この時点での）出力は単純な線形結合になる • 全長、体重、定数を入力とし、それぞれX[1]、X[2]、X[3]とする • X[1]W[1]＋X[2]W[2]+X[3]W[3] の計算になる • 重みを適当にW = [0.5, -1, 10] とすると 入力 全長 X[1] W[1] 体重 X[2] W[2] 定数 X[3] W[3] 鳥データ 全長：500mm 体重：700g 定数項：1 … 500×0.5 + 700×-1+1×10 = -440 = -440 6 計算例をみてみましょう
7. 出力の調整 • 出力の形をほしい形に変換する • そのまま • ステップ関数 • シグモイド関数 • ソフトマックス関数 • ランプ関数（ReLU） • などなどいろいろ • 活性化関数と呼ばれる • 今回はハトかどうかを0or1で判定しましょう ΣXW 〇? ×? 7
8. 重みの更新（概要） • 現在の出力が正しいかどうかを定量化する • ⇒損失関数の定義 • 損失関数から重みの増減の方向を決定する • 増減の幅を決定する • ⇒最適化問題 計算あってた 計算間違ってた 8 Step1 Step2
9. 重みの更新（損失関数の定義） • 現在の結果が正しいのか、どの程度間違っているのかを数値で 表すことで重み補正の有無を判断します • 現在の結果と正解（教師データ）の差を定義する • 損失関数（＝誤差関数＝目的関数）と呼ばれる • 損失関数E = max(0, -twx) t:ハトなら1 違えば-1 • つまり • 出力と正解が同じなら 損失0 • 同じでなく、正解がハトなら 損失-1 • 同じでなく、正解がハト以外なら 損失1 • 回帰したい場合、判別したい場合、データによって定義します • 回帰や判別の例はwikipediaをどうぞ。。。 • https://ja.wikipedia.org/wiki/活性化関数 #.E5.87.BA.E5.8A.9B.E5.B1.A4.E3.81.AE.E6.B4.BB.E6.80.A7.E5.8C.96.E9.96.A2.E6.95.B0.E3.81.A8.E8.AA.A4.E5.B7.AE.E9.96. A2.E6.95.B0 9 ハト判定の例だと
10. 参考：重みの更新（最適化問題） • 損失関数（＝最小にすべき数式）を多数の条件下で最小となる パラメータを探す • これが最適化問題 • 関数の性質や条件の有無で様々な最適化手法がある • http://www.slideshare.net/tkm2261/ss-42149384 非常にきれいにまとまっていて わかりやすい！ （簡単とは言っていない） 今回はここ 10
11. 重みの更新（最適化） • 重みを変更することで損失関数を小さくすることが目的 • 損失関数の出力結果から重みを減らすか増やすかを決める • 損失関数の傾きをみて、低くなる方に動かそう • 偏微分だ！ • -twxの微分値-txから変更方向が決まる • 正解がハトなら-tx 正解がハト以外ならtx • 大きく動かしても小さすぎても効率悪い • 一定の係数ηをかけておこう • -tx ⇒-ηtx • 学習率と呼ばれる • 最適化手法によっては学習率をどんどん変えたり、方向をたまに逆にしたりす ることもある 重み 損失関数 傾きを参考にする 11 ハト判定の例だと
12. プログラムの時間です • なかなかピンときにくい場合は動かしてみるのが一番 • プログラムのポイントは以下の点 • 重みと学習率を初期化する • 入力されたデータと現在の重みから出力結果を出す • 線形結合 • 活性化関数 • 出力結果が教師データと異なる場合に重みの更新をする 12 なるほど、わからん
13. プログラムの時間です｜問題 • プログラムしましょう • 問題：2種類のデータを分類するための境界線を引く • サンプルソースコード：Gistに置いてみた↓ https://gist.github.com/stkdev/e40705a6a05dbdd58355c24f1b0e52c7 この辺に線が引ければ、 未知のデータも分類できるかも 13
14. プログラムの時間です｜データ • データ • バイアス項は全データが1の列を作ることで実現できる • 体重、全長、分類の関係を以下のように置く • 分類(Label) ＝ W[1] * 全長 + W[2] * 体重 + W[3] * バイアス項（定数 項） • この式が成り立つWを求めればよい 14
15. プログラムの時間です｜初期化と分類 • 重み・学習率の初期化 • 重みWを初期化する W = [-1, -1, -1] • 学習率 eta = 0.2 （0～1)で定義 • 分類を実施 • W[1] * 全長 + W[2] * 体重 + W[3] を計算 • 活性化関数 結果が誤ったデータの 情報でWを更新する 15
16. プログラムの時間です｜更新式 • 損失関数 • E = max(0, -Label * W * x) • 更新式 • EをW1~3で偏微分 • -Label * x となる • 学習率etaを0～1で設定する Xと逆方向に動かす というだけの式になる 16 プログラム内では不要
17. プログラムの時間です｜学習ループ • ループの終了判定は、Wの更新 があったか否か • 更新アルゴリズムは • まず現在のWで分類する • 分類結果がLabelと異なった場合 更新規則に従って更新 • 全長と体重の2次元グラフに線を 引く場合 • 傾き：-W[1]/W[2] • 切片：-W[3]/W[2] 17
18. プログラムの時間です｜結果 • 徐々に境界線がうごいてい くのがわかります • 今回は（バイアス項含め） ３変数なので、実際は３次 元空間に境界面を作ってい るイメージです • 変数増やせばN次元のデータ も分割できます 18
19. まとまらないまとめ • パーセプトロンで線形分離可能なデータの分割ができた • 線形分離不可の問題は収束しなくなるので注意 • ロジスティック回帰や線形判別分析と同じこともできるよ • でもロジックを自分で作ることで気づきもあるよね • 中の計算を紐解くと案外簡単 • みんな書いてみよう • で、結局パーセプトロンって何ができるの？ • まじめに答える ⇒最小値探索に帰着できる問題をデータからパラメータ更新によって導けるよ。 パーセプトロンで何かできるというより、直面している問題をこうモデル化した らパーセプトロンで最適化できるね、みたいな感じ。 • ふわっと例だけ答える場合：分割基準や回帰線をデータから導けるよ • さらにふわっと答える：データから自動的に基準が作れるよ 19
20. 参考 • ハトのイラスト • http://01.gatag.net • 高卒でもわかる機械学習 (2) 単純パーセプトロン • http://hokuts.com/2015/11/25/ml2_perceptron/ • 物理のかぎしっぽ Perceptron • http://hooktail.org/computer/index.php?Perceptron • 機械学習超入門III ～機械学習の基礎、パーセプトロンを30分 で作って学ぶ～ • http://d.hatena.ne.jp/echizen_tm/20110606/1307378609 20