Tweet
Tweet

Slide 1

Slide 1 text

2015.08.19 @tkengo 目に見える パーセプトロン

Slide 2

Slide 2 text

分類対象 I

Slide 3

Slide 3 text

素性関数 I ( I ) = ( x1, x2, · · · , xn) = x 分類対象

Slide 4

Slide 4 text

素性関数 重み I w = (w1, w2, · · · , wn) ( I ) = ( x1, x2, · · · , xn) = x 分類対象

Slide 5

Slide 5 text

素性関数 重み 識別関数 I w = (w1, w2, · · · , wn) ( I ) = ( x1, x2, · · · , xn) = x f ( x ) = w · x = n X i=1 wixi 分類対象

Slide 6

Slide 6 text

f ( x ) = w · x = n X i=1 wixi ( I ) = ( x1, x2, · · · , xn) = x 素性関数 重み 識別関数 I w = (w1, w2, · · · , wn) 分類対象

Slide 7

Slide 7 text

仕切り直し

Slide 8

Slide 8 text

機械学習

Slide 9

Slide 9 text

ある程度の数のサンプルデータ集合を入力して解析 を行い、そのデータから有用な規則、ルール、知識 表現、判断基準などを抽出する 機械学習とは by Wikipedia

Slide 10

Slide 10 text

ある程度の数のサンプルデータ集合を入力して解析 を行い、そのデータから有用な規則、ルール、知識 表現、判断基準などを抽出する 機械学習とは by Wikipedia

Slide 11

Slide 11 text

有用な規則、ルール 知識表現、判断基準 とは？

Slide 12

Slide 12 text

例：メールのスパム判定

Slide 13

Slide 13 text

例：メールのスパム判定 スパム判定するための明確な判断基準(ルール)があるわけではない

Slide 14

Slide 14 text

例：メールのスパム判定 ・「無料」「金儲け」「請求」等の単語が含まれているとスパムっぽい？ ・それぞれの単語って実際どの程度スパムっぽいのだろうか？ ・「無料」より「金儲け」という単語が入っていた方がスパムっぽい？ ・一般的なビジネスメールにも「請求」って含まれることもあるよね？ ・メールの文脈、つまり単語の前後にある単語も見る必要がある？ ・すると、単語の繋がり方によってスパム率も変わってくる？ ・「無料でお試し」より「無料で金儲け」の方がスパムっぽい？ スパム判定するための明確な判断基準(ルール)があるわけではない

Slide 15

Slide 15 text

例：メールのスパム判定 スパム判定するための明確な判断基準(ルール)があるわけではない ・「無料」「金儲け」「請求」等の単語が含まれているとスパムっぽい？ ・それぞれの単語って実際どの程度スパムっぽいのだろうか？ ・「無料」より「金儲け」という単語が入っていた方がスパムっぽい？ ・一般的なビジネスメールにも「請求」って含まれることもあるよね？ ・メールの文脈、つまり単語の前後にある単語も見る必要がある？ ・すると、単語の繋がり方によってスパム率も変わってくる？ ・「無料でお試し」より「無料で金儲け」の方がスパムっぽい？ パラメータが多すぎ、判断基準(ルール)を定義できない

Slide 16

Slide 16 text

機械学習とは by Wikipedia ある程度の数のサンプルデータ集合を入力して解析 を行い、そのデータから有用な規則、ルール、知識 表現、判断基準などを抽出する

Slide 17

Slide 17 text

ある程度の数のサンプルデータ集合を入力して解析 を行い、そのデータから有用な規則、ルール、知識 表現、判断基準などを抽出する ※サンプルデータの用意は多くの場合、人間の仕事 　このメールはスパムなのでラベル”1” 　このメールはスパムではないのでラベル”-1” 　とか... 実際のメール本文 と正解ラベル 「学習用データ」と 呼んだりする

Slide 18

Slide 18 text

ある程度の数のサンプルデータ集合を入力して解析 を行い、そのデータから有用な規則、ルール、知識 表現、判断基準などを抽出する このことを 「学習」と呼ぶ ※サンプルデータの用意は多くの場合、人間の仕事 　このメールはスパムなのでラベル”1” 　このメールはスパムではないのでラベル”-1” 　とか... 実際のメール本文 と正解ラベル 「学習用データ」と 呼んだりする

Slide 19

Slide 19 text

ある程度の数のサンプルデータ集合を入力して解析 を行い、そのデータから有用な規則、ルール、知識 表現、判断基準などを抽出する このことを 「学習」と呼ぶ メールが本当に スパムかどうかを 判断するためのルール ※どの単語が、どれくらいの割合で 　どの単語の後にどの単語がきて 　とか... 実際のメール本文 と正解ラベル 「学習用データ」と 呼んだりする ※サンプルデータの用意は多くの場合、人間の仕事 　このメールはスパムなのでラベル”1” 　このメールはスパムではないのでラベル”-1” 　とか...

Slide 20

Slide 20 text

機械学習の種類

Slide 21

Slide 21 text

機械学習 識別関数 パーセプトロン SVM CRF 識別モデル ナイーブベイズ ガウス混合モデル 生成モデル 機械学習と一口に言ってもいくつか分類があって、それぞれ学習の 仕方や理論が違う 機械学習の種類

Slide 22

Slide 22 text

機械学習 識別関数 パーセプトロン SVM CRF 識別モデル ナイーブベイズ ガウス混合モデル 生成モデル 機械学習と一口に言ってもいくつか分類があって、それぞれ学習の 仕方や理論が違う 機械学習の種類

Slide 23

Slide 23 text

機械学習と一口に言ってもいくつか分類があって、それぞれ学習の 仕方や理論が違う この資料では機械学習の中で最も単純な識別関数について、さらに その中でも最も単純なパーセプトロンについて、その仕組みと学習 の仕方を見ていきます。 機械学習の種類

Slide 24

Slide 24 text

パーセプトロン

Slide 25

Slide 25 text

パーセプトロン •フランク・ローゼンブラットさんという人が提唱。

Slide 26

Slide 26 text

パーセプトロン •フランク・ローゼンブラットさんという人が提唱。 視覚と脳の機能をモデル化 してパターン認識したる

Slide 27

Slide 27 text

パーセプトロン •フランク・ローゼンブラットさんという人が提唱。 視覚と脳の機能をモデル化 してパターン認識したる •単層パーセプトロンと多層パーセプトロンがある。 •今回は最も単純な単層パーセプトロンのお話。 •主に二値分類に使われる。例： • メールがスパムか、スパムじゃないか • 画像にリンゴが含まれるか、含まれないか

Slide 28

Slide 28 text

分類の仕組み

Slide 29

Slide 29 text

分類の仕組み •分類対象データからなんとかして素性をベクトルとして抽出。 •素性の抽出の仕方はいろいろ。自分で考えなきゃいけない。 • 分類対象がメール(テキスト)であれば各単語の出現頻度とか。 • 分類対象が画像であればピクセル列のRGB値とか。色の濃淡とか。 •素性を抽出するための関数を素性関数と呼ぶ。

Slide 30

Slide 30 text

( I ) = ( x1, x2, · · · , xn) = x 最初にでてきたコレ！ 分類の仕組み •分類対象データからなんとかして素性をベクトルとして抽出。 •素性の抽出の仕方はいろいろ。自分で考えなきゃいけない。 • 分類対象がメール(テキスト)であれば各単語の出現頻度とか。 • 分類対象が画像であればピクセル列のRGB値とか。色の濃淡とか。 •素性を抽出するための関数を素性関数と呼ぶ。

Slide 31

Slide 31 text

public ArrayList extractFeature(Object data) { ArrayList feature = new ArrayList<>(); // dataから素性を抽出する処理 return feature; } 数式に馴染みがないならコードを思い浮かべてもおｋ 分類の仕組み •分類対象データからなんとかして素性をベクトルとして抽出。 •素性の抽出の仕方はいろいろ。自分で考えなきゃいけない。 • 分類対象がメール(テキスト)であれば各単語の出現頻度とか。 • 分類対象が画像であればピクセル列のRGB値とか。色の濃淡とか。 •素性を抽出するための関数を素性関数と呼ぶ。

Slide 32

Slide 32 text

•たとえばこんな素性関数があったら。 // まったく実用的ではない超適当な素性関数 public ArrayList extractFeature(Object data) { ArrayList feature = new ArrayList<>(); feature.add(data.hashCode() * 1 % 10 - 5); feature.add(data.hashCode() * 2 % 10 - 5); return feature; } 分類の仕組み

Slide 33

Slide 33 text

•たとえばこんな素性関数があったら。 •学習用データを与えると二次元のベクトルが吐かれる。 extractFeature(data1) → ( 1, 2) = extractFeature(data2) → ( 3, 2) = extractFeature(data3) → (-2, -4) = extractFeature(data4) → (-2, -2) = ... x1 x2 x3 x4 分類の仕組み // まったく実用的ではない超適当な素性関数 public ArrayList extractFeature(Object data) { ArrayList feature = new ArrayList<>(); feature.add(data.hashCode() * 1 % 10 - 5); feature.add(data.hashCode() * 2 % 10 - 5); return feature; }

Slide 34

Slide 34 text

•たくさん得られた二次元ベクトルを平面にプロットしてみる。 x y 分類の仕組み この点ひとつひとつが学習用データ から抽出した素性ベクトル

Slide 35

Slide 35 text

•たくさん得られた二次元ベクトルを平面にプロットしてみる。 •どうもこんな風に線が引けそう。 x y 分類の仕組み

Slide 36

Slide 36 text

•たくさん得られた二次元ベクトルを平面にプロットしてみる。 •どうもこんな風に線が引けそう。 x y 分類の仕組み こっち側はクラスA こっち側はクラスB

Slide 37

Slide 37 text

•たくさん得られた二次元ベクトルを平面にプロットしてみる。 •どうもこんな風に線が引けそう。 x y 分類の仕組み こっち側はクラスA こっち側はクラスB 未知のデータXの素性を 抽出したらこの辺だった。 クラスはAとBどっち？

Slide 38

Slide 38 text

•たくさん得られた二次元ベクトルを平面にプロットしてみる。 •どうもこんな風に線が引けそう。 x y 分類の仕組み こっち側はクラスA こっち側はクラスB 線のこっち側なので クラスAに属するとわかる

Slide 39

Slide 39 text

•たくさん得られた二次元ベクトルを平面にプロットしてみる。 •どうもこんな風に線が引けそう。 x y 分類の仕組み こっち側はクラスA こっち側はクラスB 今度は未知のデータYの 素性を抽出すると この辺だった。 クラスはA？B？

Slide 40

Slide 40 text

•たくさん得られた二次元ベクトルを平面にプロットしてみる。 •どうもこんな風に線が引けそう。 x y 分類の仕組み こっち側はクラスA こっち側はクラスB 線のこっち側なので クラスBと分かる。

Slide 41

Slide 41 text

•どうやって新しい点が線の向こう側かこっち側か判断するか？ x y 分類の仕組み こっち側はクラスA こっち側はクラスB

Slide 42

Slide 42 text

•どうやって新しい点が線の向こう側かこっち側か判断するか？ •ベクトルの内積を使う。 x y 分類の仕組み こっち側はクラスA こっち側はクラスB

Slide 43

Slide 43 text

•実は最初に引いた赤い線は重みベクトルを法線とする直線。 x y 分類の仕組み こっち側はクラスA こっち側はクラスB 重みベクトルw

Slide 44

Slide 44 text

•実は最初に引いた赤い線は重みベクトルを法線とする直線。 •重みベクトルと素性ベクトルの内積 a を取って以下の通り分類。 • クラスA if a >= 0 • クラスB if a < 0 x y 分類の仕組み こっち側はクラスA こっち側はクラスB 重みベクトルw

Slide 45

Slide 45 text

•法線ベクトルとは線に垂直なベクトルのこと。 x y ※補足　法線と内積 y = 0.5x の法線

Slide 46

Slide 46 text

•法線ベクトルとは線に垂直なベクトルのこと。 x y ※補足　法線と内積 y = 0.5x の法線 y = x の法線

Slide 47

Slide 47 text

•法線ベクトルとは線に垂直なベクトルのこと。 x y ※補足　法線と内積 y = 0.5x の法線 y = x の法線 y = 2x の法線

Slide 48

Slide 48 text

•簡単に言うと内積とはベクトルがどれだけ似ているか？の指標。 •似ているほど値が大きい。 •似ていないほど値が小さい。 x y ※補足　法線と内積 ベクトルb ベクトルa a · b = 1 p 2 = 0.707106 ベクトルが似てるので正の数。

Slide 49

Slide 49 text

x y ※補足　法線と内積 ベクトルb ベクトルa a · b = 0 ベクトルが似てるか似てない かわからない(直角)。こんな 時の内積は0。 •簡単に言うと内積とはベクトルがどれだけ似ているか？の指標。 •似ているほど値が大きい。 •似ていないほど値が小さい。

Slide 50

Slide 50 text

x y ※補足　法線と内積 ベクトルb ベクトルa まあまあ離れてきた。向きも 違うし負の数。 a · b = 1 p 2 = 0.707106 •簡単に言うと内積とはベクトルがどれだけ似ているか？の指標。 •似ているほど値が大きい。 •似ていないほど値が小さい。

Slide 51

Slide 51 text

x y ※補足　法線と内積 ベクトルb ベクトルa 反対向いちゃった。全然似て ないのでさっきより小さい負 の数。 a · b = 1 •簡単に言うと内積とはベクトルがどれだけ似ているか？の指標。 •似ているほど値が大きい。 •似ていないほど値が小さい。

Slide 52

Slide 52 text

•実は最初に引いた赤い線は重みベクトルを法線とする直線。 •重みベクトルと素性ベクトルの内積 a を取って以下の通り分類。 • クラスA if a >= 0 • クラスB if a < 0 x y 分類の仕組み 重みベクトルw 素性ベクトルx w · x 0 すなわちxはクラスA

Slide 53

Slide 53 text

•実は最初に引いた赤い線は重みベクトルを法線とする直線。 •重みベクトルと素性ベクトルの内積 a を取って以下の通り分類。 • クラスA if a >= 0 • クラスB if a < 0 x y 分類の仕組み 重みベクトルw 素性ベクトルy すなわちyはクラスB w · y  0

Slide 54

Slide 54 text

分類の仕組み •このようにデータを分類する役割の関数を識別関数と言う。 •パーセプトロンにおいては識別関数 f(x) はベクトルの内積。

Slide 55

Slide 55 text

•このようにデータを分類する役割の関数を識別関数と言う。 •パーセプトロンにおいては識別関数 f(x) はベクトルの内積。 分類の仕組み 最初にでてきたコレ！ f ( x ) = w · x = n X i=1 wixi

Slide 56

Slide 56 text

•このようにデータを分類する役割の関数を識別関数と言う。 •パーセプトロンにおいては識別関数 f(x) はベクトルの内積。 分類の仕組み 数式に馴染みがないならコードを思い浮かべてもおｋ public float dot(ArrayList v1, ArrayList v2) { float result = 0f; for (int i = 0; i < v1.size(); i++) { result += v1.get(i) * v2.get(i); } return result; }

Slide 57

Slide 57 text

学習の仕組み

Slide 58

Slide 58 text

•パーセプトロンにおける学習とは、最初に引いた赤い線を求めるこ と。 x y 学習の仕組み コレ

Slide 59

Slide 59 text

•パーセプトロンにおける学習とは、最初に引いた赤い線を求めるこ と。 •学習には学習用データとそれに対応する正解ラベルの組の配列を用 意する。たとえば • スパムメールを集めてくる。それぞれの正解ラベルは”1”(スパムである)。 • ビジネスメールを集めてくる。それぞれの正解ラベルは”-1”(スパムではない)。 •学習用データはパーセプトロンの分類精度に直接関わってくるの で、質も量も大事。 学習の仕組み

Slide 60

Slide 60 text

•図解。 x y 学習の仕組み ※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。 　・内積が正であれば1 　・内積が負であれば-1

Slide 61

Slide 61 text

•図解。 x y 学習の仕組み 最初は重みベクトルはまったくわからないので とりあえずランダムに決めておく w ※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。 　・内積が正であれば1 　・内積が負であれば-1

Slide 62

Slide 62 text

x y 学習の仕組み x 1つ目の学習データから抽出した 素性がこの辺だったとする。 この素性の正解ラベルは”1”。 w •図解。 ※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。 　・内積が正であれば1 　・内積が負であれば-1

Slide 63

Slide 63 text

x y 学習の仕組み x この素性を識別関数に通すと、wとx の内積は正なので”1”が返ってくる。 w w · x 0 •図解。 ※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。 　・内積が正であれば1 　・内積が負であれば-1

Slide 64

Slide 64 text

x y 学習の仕組み x よって正解ラベルと識別関数が返し たラベルが一致しているので重みの 更新はしない。 w •図解。 ※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。 　・内積が正であれば1 　・内積が負であれば-1

Slide 65

Slide 65 text

x y 学習の仕組み y 次に2つ目の学習データから素性を 抽出するとこの辺だった。 この素性の正解ラベルも”1”。 •図解。 ※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。 　・内積が正であれば1 　・内積が負であれば-1 w

Slide 66

Slide 66 text

x y 学習の仕組み y この素性を識別関数に通すとwとy の内積は負なので”-1”が返ってく る。 •図解。 ※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。 　・内積が正であれば1 　・内積が負であれば-1 w w · y  0

Slide 67

Slide 67 text

※ x y 学習の仕組み y 正解ラベルと識別関数のラベルが異 なるので以下の式で重みを更新す る！ •図解。 ※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。 　・内積が正であれば1 　・内積が負であれば-1 w + y w = w + lyy ly はデータyの正解ラベル。 この場合は1。 w

Slide 68

Slide 68 text

x y 学習の仕組み すると線がこんな風に回転。 •図解。 ※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。 　・内積が正であれば1 　・内積が負であれば-1 w

Slide 69

Slide 69 text

x y 学習の仕組み これでxもyも正しく識別できた状 態の線になった。 •図解。 ※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。 　・内積が正であれば1 　・内積が負であれば-1 w y x

Slide 70

Slide 70 text

x y 学習の仕組み •図解。 ※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。 　・内積が正であれば1 　・内積が負であれば-1 w 次に3つ目の学習データから素性を 抽出するとこの辺だった。 この素性の正解ラベルは”-1”。 z

Slide 71

Slide 71 text

x y 学習の仕組み •図解。 ※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。 　・内積が正であれば1 　・内積が負であれば-1 w z この素性を識別関数に通すとwとz の内積は正なので”1”が返ってく る。 w · z 0

Slide 72

Slide 72 text

x y 学習の仕組み •図解。 ※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。 　・内積が正であれば1 　・内積が負であれば-1 w - z z ※ 正解ラベルと識別関数のラベルが異 なるので再度以下の式で重みを更新 する！ はデータzの正解ラベル。 この場合は-1。 w = w + lzz lz w

Slide 73

Slide 73 text

x y 学習の仕組み •図解。 ※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。 　・内積が正であれば1 　・内積が負であれば-1 w すると線がこんな風に回転。

Slide 74

Slide 74 text

x y 学習の仕組み •図解。 ※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。 　・内積が正であれば1 　・内積が負であれば-1 w これを学習データが無くなるまで繰 り返していくと...

Slide 75

Slide 75 text

x y 学習の仕組み •図解。 ※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。 　・内積が正であれば1 　・内積が負であれば-1 w 最終的には良い感じの線になって る。この線(すなわち重み)を使って 未知のデータXやYを分類していく。

Slide 76

Slide 76 text

まとめ

Slide 77

Slide 77 text

まとめ 1. 分類対象データから素性を抽出する。 2. 抽出した素性を識別関数に渡す。 3. 識別関数では重みを利用して分類する。 4. 重みは学習用データから繰り返し学習する。

Slide 78

Slide 78 text

まとめ x y ちなみにこんな風に1本の直線を使ってデータを分けれる問題を 線形分離可能と言う。

Slide 79

Slide 79 text

まとめ x y こんな風に直線で分割できなければ線形分離可能ではなくて 線形分離不可能と言う。

Slide 80

Slide 80 text

まとめ x y 単層パーセプトロンでは線形分離可能な問題しか解けません！

Slide 81

Slide 81 text

まとめ •この資料ではずっと二次元で説明を進めてきたけど、多次元にも 素直に拡張できる。 •二次元の場合は線、三次元の場合は平面で分割される。 •四次元、五次元、六次元、などは超平面で分割される。 •最後に三次元でのパーセプトロンの学習の過程を見て終わりま す。グリグリしてみましょう。 http://tkengo.github.io/perceptron_visualization/ (スペースキーで学習を進める)

Slide 82

Slide 82 text

目に見える パーセプトロン おわり