Slide 1
Slide 1 text
2015.08.19
@tkengo
目に見える
パーセプトロン
Slide 2
Slide 2 text
分類対象
I
Slide 3
Slide 3 text
素性関数
I
(
I
) = (
x1, x2,
· · ·
, xn) =
x
分類対象
Slide 4
Slide 4 text
素性関数
重み
I
w = (w1, w2, · · · , wn)
(
I
) = (
x1, x2,
· · ·
, xn) =
x
分類対象
Slide 5
Slide 5 text
素性関数
重み
識別関数
I
w = (w1, w2, · · · , wn)
(
I
) = (
x1, x2,
· · ·
, xn) =
x
f
(
x
) =
w
·
x
=
n
X
i=1
wixi
分類対象
Slide 6
Slide 6 text
f
(
x
) =
w
·
x
=
n
X
i=1
wixi
(
I
) = (
x1, x2,
· · ·
, xn) =
x
素性関数
重み
識別関数
I
w = (w1, w2, · · · , wn)
分類対象
Slide 7
Slide 7 text
仕切り直し
Slide 8
Slide 8 text
機械学習
Slide 9
Slide 9 text
ある程度の数のサンプルデータ集合を入力して解析
を行い、そのデータから有用な規則、ルール、知識
表現、判断基準などを抽出する
機械学習とは
by Wikipedia
Slide 10
Slide 10 text
ある程度の数のサンプルデータ集合を入力して解析
を行い、そのデータから有用な規則、ルール、知識
表現、判断基準などを抽出する
機械学習とは
by Wikipedia
Slide 11
Slide 11 text
有用な規則、ルール
知識表現、判断基準
とは？
Slide 12
Slide 12 text
例：メールのスパム判定
Slide 13
Slide 13 text
例：メールのスパム判定
スパム判定するための明確な判断基準(ルール)があるわけではない
Slide 14
Slide 14 text
例：メールのスパム判定
・「無料」「金儲け」「請求」等の単語が含まれているとスパムっぽい？
・それぞれの単語って実際どの程度スパムっぽいのだろうか？
・「無料」より「金儲け」という単語が入っていた方がスパムっぽい？
・一般的なビジネスメールにも「請求」って含まれることもあるよね？
・メールの文脈、つまり単語の前後にある単語も見る必要がある？
・すると、単語の繋がり方によってスパム率も変わってくる？
・「無料でお試し」より「無料で金儲け」の方がスパムっぽい？
スパム判定するための明確な判断基準(ルール)があるわけではない
Slide 15
Slide 15 text
例：メールのスパム判定
スパム判定するための明確な判断基準(ルール)があるわけではない
・「無料」「金儲け」「請求」等の単語が含まれているとスパムっぽい？
・それぞれの単語って実際どの程度スパムっぽいのだろうか？
・「無料」より「金儲け」という単語が入っていた方がスパムっぽい？
・一般的なビジネスメールにも「請求」って含まれることもあるよね？
・メールの文脈、つまり単語の前後にある単語も見る必要がある？
・すると、単語の繋がり方によってスパム率も変わってくる？
・「無料でお試し」より「無料で金儲け」の方がスパムっぽい？
パラメータが多すぎ、判断基準(ルール)を定義できない
Slide 16
Slide 16 text
機械学習とは
by Wikipedia
ある程度の数のサンプルデータ集合を入力して解析
を行い、そのデータから有用な規則、ルール、知識
表現、判断基準などを抽出する
Slide 17
Slide 17 text
ある程度の数のサンプルデータ集合を入力して解析
を行い、そのデータから有用な規則、ルール、知識
表現、判断基準などを抽出する
※サンプルデータの用意は多くの場合、人間の仕事
このメールはスパムなのでラベル”1”
このメールはスパムではないのでラベル”-1”
とか...
実際のメール本文
と正解ラベル
「学習用データ」と
呼んだりする
Slide 18
Slide 18 text
ある程度の数のサンプルデータ集合を入力して解析
を行い、そのデータから有用な規則、ルール、知識
表現、判断基準などを抽出する
このことを
「学習」と呼ぶ
※サンプルデータの用意は多くの場合、人間の仕事
このメールはスパムなのでラベル”1”
このメールはスパムではないのでラベル”-1”
とか...
実際のメール本文
と正解ラベル
「学習用データ」と
呼んだりする
Slide 19
Slide 19 text
ある程度の数のサンプルデータ集合を入力して解析
を行い、そのデータから有用な規則、ルール、知識
表現、判断基準などを抽出する
このことを
「学習」と呼ぶ
メールが本当に
スパムかどうかを
判断するためのルール
※どの単語が、どれくらいの割合で
どの単語の後にどの単語がきて
とか...
実際のメール本文
と正解ラベル
「学習用データ」と
呼んだりする
※サンプルデータの用意は多くの場合、人間の仕事
このメールはスパムなのでラベル”1”
このメールはスパムではないのでラベル”-1”
とか...
Slide 20
Slide 20 text
機械学習の種類
Slide 21
Slide 21 text
機械学習
識別関数
パーセプトロン
SVM
CRF
識別モデル
ナイーブベイズ
ガウス混合モデル
生成モデル
機械学習と一口に言ってもいくつか分類があって、それぞれ学習の
仕方や理論が違う
機械学習の種類
Slide 22
Slide 22 text
機械学習
識別関数
パーセプトロン
SVM
CRF
識別モデル
ナイーブベイズ
ガウス混合モデル
生成モデル
機械学習と一口に言ってもいくつか分類があって、それぞれ学習の
仕方や理論が違う
機械学習の種類
Slide 23
Slide 23 text
機械学習と一口に言ってもいくつか分類があって、それぞれ学習の
仕方や理論が違う
この資料では機械学習の中で最も単純な識別関数について、さらに
その中でも最も単純なパーセプトロンについて、その仕組みと学習
の仕方を見ていきます。
機械学習の種類
Slide 24
Slide 24 text
パーセプトロン
Slide 25
Slide 25 text
パーセプトロン
•フランク・ローゼンブラットさんという人が提唱。
Slide 26
Slide 26 text
パーセプトロン
•フランク・ローゼンブラットさんという人が提唱。
視覚と脳の機能をモデル化
してパターン認識したる
Slide 27
Slide 27 text
パーセプトロン
•フランク・ローゼンブラットさんという人が提唱。
視覚と脳の機能をモデル化
してパターン認識したる
•単層パーセプトロンと多層パーセプトロンがある。
•今回は最も単純な単層パーセプトロンのお話。
•主に二値分類に使われる。例：
• メールがスパムか、スパムじゃないか
• 画像にリンゴが含まれるか、含まれないか
Slide 28
Slide 28 text
分類の仕組み
Slide 29
Slide 29 text
分類の仕組み
•分類対象データからなんとかして素性をベクトルとして抽出。
•素性の抽出の仕方はいろいろ。自分で考えなきゃいけない。
• 分類対象がメール(テキスト)であれば各単語の出現頻度とか。
• 分類対象が画像であればピクセル列のRGB値とか。色の濃淡とか。
•素性を抽出するための関数を素性関数と呼ぶ。
Slide 30
Slide 30 text
(
I
) = (
x1, x2,
· · ·
, xn) =
x
最初にでてきたコレ！
分類の仕組み
•分類対象データからなんとかして素性をベクトルとして抽出。
•素性の抽出の仕方はいろいろ。自分で考えなきゃいけない。
• 分類対象がメール(テキスト)であれば各単語の出現頻度とか。
• 分類対象が画像であればピクセル列のRGB値とか。色の濃淡とか。
•素性を抽出するための関数を素性関数と呼ぶ。
Slide 31
Slide 31 text
public ArrayList extractFeature(Object data) {
ArrayList feature = new ArrayList<>();
// dataから素性を抽出する処理
return feature;
}
数式に馴染みがないならコードを思い浮かべてもおｋ
分類の仕組み
•分類対象データからなんとかして素性をベクトルとして抽出。
•素性の抽出の仕方はいろいろ。自分で考えなきゃいけない。
• 分類対象がメール(テキスト)であれば各単語の出現頻度とか。
• 分類対象が画像であればピクセル列のRGB値とか。色の濃淡とか。
•素性を抽出するための関数を素性関数と呼ぶ。
Slide 32
Slide 32 text
•たとえばこんな素性関数があったら。
// まったく実用的ではない超適当な素性関数
public ArrayList extractFeature(Object data) {
ArrayList feature = new ArrayList<>();
feature.add(data.hashCode() * 1 % 10 - 5);
feature.add(data.hashCode() * 2 % 10 - 5);
return feature;
}
分類の仕組み
Slide 33
Slide 33 text
•たとえばこんな素性関数があったら。
•学習用データを与えると二次元のベクトルが吐かれる。
extractFeature(data1) → ( 1, 2) =
extractFeature(data2) → ( 3, 2) =
extractFeature(data3) → (-2, -4) =
extractFeature(data4) → (-2, -2) =
...
x1
x2
x3
x4
分類の仕組み
// まったく実用的ではない超適当な素性関数
public ArrayList extractFeature(Object data) {
ArrayList feature = new ArrayList<>();
feature.add(data.hashCode() * 1 % 10 - 5);
feature.add(data.hashCode() * 2 % 10 - 5);
return feature;
}
Slide 34
Slide 34 text
•たくさん得られた二次元ベクトルを平面にプロットしてみる。
x
y
分類の仕組み
この点ひとつひとつが学習用データ
から抽出した素性ベクトル
Slide 35
Slide 35 text
•たくさん得られた二次元ベクトルを平面にプロットしてみる。
•どうもこんな風に線が引けそう。
x
y
分類の仕組み
Slide 36
Slide 36 text
•たくさん得られた二次元ベクトルを平面にプロットしてみる。
•どうもこんな風に線が引けそう。
x
y
分類の仕組み
こっち側はクラスA
こっち側はクラスB
Slide 37
Slide 37 text
•たくさん得られた二次元ベクトルを平面にプロットしてみる。
•どうもこんな風に線が引けそう。
x
y
分類の仕組み
こっち側はクラスA
こっち側はクラスB
未知のデータXの素性を
抽出したらこの辺だった。
クラスはAとBどっち？
Slide 38
Slide 38 text
•たくさん得られた二次元ベクトルを平面にプロットしてみる。
•どうもこんな風に線が引けそう。
x
y
分類の仕組み
こっち側はクラスA
こっち側はクラスB
線のこっち側なので
クラスAに属するとわかる
Slide 39
Slide 39 text
•たくさん得られた二次元ベクトルを平面にプロットしてみる。
•どうもこんな風に線が引けそう。
x
y
分類の仕組み
こっち側はクラスA
こっち側はクラスB
今度は未知のデータYの
素性を抽出すると
この辺だった。
クラスはA？B？
Slide 40
Slide 40 text
•たくさん得られた二次元ベクトルを平面にプロットしてみる。
•どうもこんな風に線が引けそう。
x
y
分類の仕組み
こっち側はクラスA
こっち側はクラスB
線のこっち側なので
クラスBと分かる。
Slide 41
Slide 41 text
•どうやって新しい点が線の向こう側かこっち側か判断するか？
x
y
分類の仕組み
こっち側はクラスA
こっち側はクラスB
Slide 42
Slide 42 text
•どうやって新しい点が線の向こう側かこっち側か判断するか？
•ベクトルの内積を使う。
x
y
分類の仕組み
こっち側はクラスA
こっち側はクラスB
Slide 43
Slide 43 text
•実は最初に引いた赤い線は重みベクトルを法線とする直線。
x
y
分類の仕組み
こっち側はクラスA
こっち側はクラスB
重みベクトルw
Slide 44
Slide 44 text
•実は最初に引いた赤い線は重みベクトルを法線とする直線。
•重みベクトルと素性ベクトルの内積 a を取って以下の通り分類。
• クラスA if a >= 0
• クラスB if a < 0
x
y
分類の仕組み
こっち側はクラスA
こっち側はクラスB
重みベクトルw
Slide 45
Slide 45 text
•法線ベクトルとは線に垂直なベクトルのこと。
x
y
※補足 法線と内積
y = 0.5x の法線
Slide 46
Slide 46 text
•法線ベクトルとは線に垂直なベクトルのこと。
x
y
※補足 法線と内積
y = 0.5x の法線
y = x の法線
Slide 47
Slide 47 text
•法線ベクトルとは線に垂直なベクトルのこと。
x
y
※補足 法線と内積
y = 0.5x の法線
y = x の法線
y = 2x の法線
Slide 48
Slide 48 text
•簡単に言うと内積とはベクトルがどれだけ似ているか？の指標。
•似ているほど値が大きい。
•似ていないほど値が小さい。
x
y
※補足 法線と内積
ベクトルb
ベクトルa
a · b =
1
p
2
= 0.707106
ベクトルが似てるので正の数。
Slide 49
Slide 49 text
x
y
※補足 法線と内積
ベクトルb
ベクトルa
a · b = 0
ベクトルが似てるか似てない
かわからない(直角)。こんな
時の内積は0。
•簡単に言うと内積とはベクトルがどれだけ似ているか？の指標。
•似ているほど値が大きい。
•似ていないほど値が小さい。
Slide 50
Slide 50 text
x
y
※補足 法線と内積
ベクトルb
ベクトルa
まあまあ離れてきた。向きも
違うし負の数。
a · b =
1
p
2
= 0.707106
•簡単に言うと内積とはベクトルがどれだけ似ているか？の指標。
•似ているほど値が大きい。
•似ていないほど値が小さい。
Slide 51
Slide 51 text
x
y
※補足 法線と内積
ベクトルb
ベクトルa
反対向いちゃった。全然似て
ないのでさっきより小さい負
の数。
a · b = 1
•簡単に言うと内積とはベクトルがどれだけ似ているか？の指標。
•似ているほど値が大きい。
•似ていないほど値が小さい。
Slide 52
Slide 52 text
•実は最初に引いた赤い線は重みベクトルを法線とする直線。
•重みベクトルと素性ベクトルの内積 a を取って以下の通り分類。
• クラスA if a >= 0
• クラスB if a < 0
x
y
分類の仕組み
重みベクトルw
素性ベクトルx
w
·
x
0
すなわちxはクラスA
Slide 53
Slide 53 text
•実は最初に引いた赤い線は重みベクトルを法線とする直線。
•重みベクトルと素性ベクトルの内積 a を取って以下の通り分類。
• クラスA if a >= 0
• クラスB if a < 0
x
y
分類の仕組み
重みベクトルw
素性ベクトルy
すなわちyはクラスB
w · y 0
Slide 54
Slide 54 text
分類の仕組み
•このようにデータを分類する役割の関数を識別関数と言う。
•パーセプトロンにおいては識別関数 f(x) はベクトルの内積。
Slide 55
Slide 55 text
•このようにデータを分類する役割の関数を識別関数と言う。
•パーセプトロンにおいては識別関数 f(x) はベクトルの内積。
分類の仕組み
最初にでてきたコレ！
f
(
x
) =
w
·
x
=
n
X
i=1
wixi
Slide 56
Slide 56 text
•このようにデータを分類する役割の関数を識別関数と言う。
•パーセプトロンにおいては識別関数 f(x) はベクトルの内積。
分類の仕組み
数式に馴染みがないならコードを思い浮かべてもおｋ
public float dot(ArrayList v1, ArrayList v2) {
float result = 0f;
for (int i = 0; i < v1.size(); i++) {
result += v1.get(i) * v2.get(i);
}
return result;
}
Slide 57
Slide 57 text
学習の仕組み
Slide 58
Slide 58 text
•パーセプトロンにおける学習とは、最初に引いた赤い線を求めるこ
と。
x
y
学習の仕組み
コレ
Slide 59
Slide 59 text
•パーセプトロンにおける学習とは、最初に引いた赤い線を求めるこ
と。
•学習には学習用データとそれに対応する正解ラベルの組の配列を用
意する。たとえば
• スパムメールを集めてくる。それぞれの正解ラベルは”1”(スパムである)。
• ビジネスメールを集めてくる。それぞれの正解ラベルは”-1”(スパムではない)。
•学習用データはパーセプトロンの分類精度に直接関わってくるの
で、質も量も大事。
学習の仕組み
Slide 60
Slide 60 text
•図解。
x
y
学習の仕組み
※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。
・内積が正であれば1
・内積が負であれば-1
Slide 61
Slide 61 text
•図解。
x
y
学習の仕組み
最初は重みベクトルはまったくわからないので
とりあえずランダムに決めておく
w
※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。
・内積が正であれば1
・内積が負であれば-1
Slide 62
Slide 62 text
x
y
学習の仕組み
x
1つ目の学習データから抽出した
素性がこの辺だったとする。
この素性の正解ラベルは”1”。
w
•図解。
※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。
・内積が正であれば1
・内積が負であれば-1
Slide 63
Slide 63 text
x
y
学習の仕組み
x
この素性を識別関数に通すと、wとx
の内積は正なので”1”が返ってくる。
w
w
·
x
0
•図解。
※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。
・内積が正であれば1
・内積が負であれば-1
Slide 64
Slide 64 text
x
y
学習の仕組み
x
よって正解ラベルと識別関数が返し
たラベルが一致しているので重みの
更新はしない。
w
•図解。
※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。
・内積が正であれば1
・内積が負であれば-1
Slide 65
Slide 65 text
x
y
学習の仕組み
y
次に2つ目の学習データから素性を
抽出するとこの辺だった。
この素性の正解ラベルも”1”。
•図解。
※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。
・内積が正であれば1
・内積が負であれば-1
w
Slide 66
Slide 66 text
x
y
学習の仕組み
y
この素性を識別関数に通すとwとy
の内積は負なので”-1”が返ってく
る。
•図解。
※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。
・内積が正であれば1
・内積が負であれば-1
w
w · y 0
Slide 67
Slide 67 text
※
x
y
学習の仕組み
y
正解ラベルと識別関数のラベルが異
なるので以下の式で重みを更新す
る！
•図解。
※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。
・内積が正であれば1
・内積が負であれば-1
w + y
w = w + lyy
ly はデータyの正解ラベル。
この場合は1。
w
Slide 68
Slide 68 text
x
y
学習の仕組み
すると線がこんな風に回転。
•図解。
※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。
・内積が正であれば1
・内積が負であれば-1
w
Slide 69
Slide 69 text
x
y
学習の仕組み
これでxもyも正しく識別できた状
態の線になった。
•図解。
※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。
・内積が正であれば1
・内積が負であれば-1
w
y
x
Slide 70
Slide 70 text
x
y
学習の仕組み
•図解。
※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。
・内積が正であれば1
・内積が負であれば-1
w
次に3つ目の学習データから素性を
抽出するとこの辺だった。
この素性の正解ラベルは”-1”。
z
Slide 71
Slide 71 text
x
y
学習の仕組み
•図解。
※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。
・内積が正であれば1
・内積が負であれば-1
w
z
この素性を識別関数に通すとwとz
の内積は正なので”1”が返ってく
る。
w · z 0
Slide 72
Slide 72 text
x
y
学習の仕組み
•図解。
※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。
・内積が正であれば1
・内積が負であれば-1
w - z
z
※
正解ラベルと識別関数のラベルが異
なるので再度以下の式で重みを更新
する！
はデータzの正解ラベル。
この場合は-1。
w = w + lzz
lz
w
Slide 73
Slide 73 text
x
y
学習の仕組み
•図解。
※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。
・内積が正であれば1
・内積が負であれば-1
w
すると線がこんな風に回転。
Slide 74
Slide 74 text
x
y
学習の仕組み
•図解。
※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。
・内積が正であれば1
・内積が負であれば-1
w
これを学習データが無くなるまで繰
り返していくと...
Slide 75
Slide 75 text
x
y
学習の仕組み
•図解。
※簡単のためにここでは識別関数 f(x) は以下の値を返すものとする。
・内積が正であれば1
・内積が負であれば-1
w
最終的には良い感じの線になって
る。この線(すなわち重み)を使って
未知のデータXやYを分類していく。
Slide 76
Slide 76 text
まとめ
Slide 77
Slide 77 text
まとめ
1. 分類対象データから素性を抽出する。
2. 抽出した素性を識別関数に渡す。
3. 識別関数では重みを利用して分類する。
4. 重みは学習用データから繰り返し学習する。
Slide 78
Slide 78 text
まとめ
x
y
ちなみにこんな風に1本の直線を使ってデータを分けれる問題を
線形分離可能と言う。
Slide 79
Slide 79 text
まとめ
x
y
こんな風に直線で分割できなければ線形分離可能ではなくて
線形分離不可能と言う。
Slide 80
Slide 80 text
まとめ
x
y
単層パーセプトロンでは線形分離可能な問題しか解けません！
Slide 81
Slide 81 text
まとめ
•この資料ではずっと二次元で説明を進めてきたけど、多次元にも
素直に拡張できる。
•二次元の場合は線、三次元の場合は平面で分割される。
•四次元、五次元、六次元、などは超平面で分割される。
•最後に三次元でのパーセプトロンの学習の過程を見て終わりま
す。グリグリしてみましょう。
http://tkengo.github.io/perceptron_visualization/
(スペースキーで学習を進める)
Slide 82
Slide 82 text
目に見える
パーセプトロン
おわり