教師あり学習と教師なし学習

Transcript

1. 人工知能５ 教師あり学習と教師なし学習 藤田 一寿 Ver.20260421
2. 人工知能技術の開発の目標とは 人工知能開発の目標は入力に対し適切な出力をする 機械（箱）を作ること。 入力 出力
3. 人工知能技術の開発の目標とは 人工知能開発の目標は入力に対し適切な出力をする 機械（箱）を作ること。 箱を関数だとすると、適切な出力をする関数を作成 すること、になる。 入力 出力 x y 出力を出す箱＝関数f(x)
4. 学習の手法
5. 教師あり学習
6. 教師あり学習 • 人工知能が、入力と答え（お手本）の組み合わせからなるデータ（ 訓練データ）を用い学習し、入力と答えの関係を学ぶことを教師あ り学習という。 • 答えを用い人工知能の出力を修正するため、答えを教師と捉えることがで きる。 • 答えのことを教師信号とも言う。
7. 教師あり学習のイメージ 入力：これは何？ 答え：これはりんごです。 間違えたから 覚え直そう。 バナナ！！ 人工知能 教師 教師 判断（推論） 人工知能 学習
8. 教師あり学習のイメージ 入力 出力 人工知能 バナナ 𝑓(𝑥) 関数𝒇 𝒔 の出力が答えのりんご になるように修正する＝学習 この作業は正しい答えを知らないと出来ない。 正しい答え有り、つまり、教師ありの学習である。 入力 出力 人工知能 𝑓(𝑥) りんご
9. 学習とは • 学習とは、人工知能の中の関数を変える（修正する）こと • 対話型人工知能と会話しているときは、人工知能の関数は変わらないので 人工知能は学習していない。
10. 回帰問題を例により具体的に 考える
11. 回帰問題 y • 数値xと数値tの組み合わさったデータが有る ． • xとyの関係を見出す問題を回帰問題という． • 回帰問題が解ければ，未知のxにおけるyを予 測することができる． • 訓練データとして、入力xに対する答えt（人 工知能の出力はyとする）を用意する． x
12. アイスクリームの平均購入額の場合 アイスクリームの 日最高気温の平均(℃) 平均購入額 331 268 365 492 632 730 821 1057 724 430 363 415 351 322 367 508 667 772 1148 1080 653 434 358 388 9.3 9.9 12.7 19.2 22.4 26.6 26 29.5 28.1 21.4 17.4 13.2 10.1 12.9 14 21.3 23.7 27.5 33.1 31 28.7 20.7 19 13.4 座標は(最高気温，購入額) (29.5, 1057) (23.7, 667) (13.4, 388) 気温xとアイスクリームの平均購入額yの関係を求める
13. 回帰問題における入力、出力、答え • 入力：𝑥 • 出力：𝑦 • 答え：𝑡 • 人工知能：関数𝑓(𝑥) • 人工知能𝑓(𝑥)は入力𝑥を受け取り𝑦を出力する。 入力 𝑥 出力 𝑦 人工知能𝑓(𝑥)
14. アイスクリームの平均購入額の例 • 入力：日最高気温の平均 • 出力：アイスクリームの平均購入額 • 答え：実際に計測した日最高気温の平均に対するアイスクリームの 平均購入額 入力 26度 出力 821円 人工知能𝑓(𝑥)
15. アイスクリームの平均購入額の例 出力𝑦 点：訓練データ 𝑥, 𝑡 (入力、答え)のペア 実際に観測されたデータ 入力𝑥 直線：人工知能の出力𝑦 = 𝑓 𝑥
16. 回帰問題では何が理想なのか？ • 人工知能の出力𝑦と答え𝑡が一致することが理想である。 • 出力𝑦と答え𝑡が一致は𝑦 − 𝑡 = 0と表せる。 • しかし、これは数学的に扱いにくいので •𝐸= 1 2 𝑦−𝑡 2 =0 • を目指すことにする。 • とはいえ、𝐸 = 0にするのは難しいかもしれない。 • たとえ、 𝐸 = 0を実現しても、全てのデータ点上を通るギザギザな関数を作っ てしまうため良くないかもしれない（過学習状態かも）。 • そこで、その代わりに𝐸を最小とすることを目標としよう。 • 𝐸は目的関数、損失関数、誤差関数などと呼ばれる。
17. 回帰問題における目標 入力 𝑥 出力 𝑦 人工知能𝑓(𝑥) 出力𝑦 = 𝑓 𝑥 と答え𝑡の差が小さい方が良い。 損失関数𝑬 = 𝟏 𝟐 𝒚 − 𝒕 𝟐 を最小にする𝒇 𝒙 を探す。
18. 多項式表現 • 𝑦 = 𝑓(𝑥)を変えて𝐸を最小にする。 • 関数𝑓(𝑥)は何でも良い。 • ここで簡単に𝑦は次の多項式であるとしよう。 • 𝑦 𝒘, 𝑥 = 𝑤0 + 𝑤1 𝑥 + 𝑤2 𝑥 2 + ⋯ • 𝒘 = 𝑤0 , … はパラメタである。
19. Eは何で変わる？ • 次の点に注意しよう。 • 𝑥は固定、𝑡も固定、𝒘は変えられる。 • なぜか？ • 𝑥と𝑡は訓練用のデータとして提示されているため、我々が変えてはいけな い。ただし、前処理による加工はしても良い。 • 我々が変えてよいのは𝒘だけである。 • 𝑦 = 𝑓(𝑥)を変えて𝐸を最小にする。 → 損失関数 𝐸(𝒘) = 1 2 𝑦 𝒘, 𝑥 − 𝑡 2 の𝒘を変え、𝐸を最小にする。
20. 回帰問題における目標 入力 𝑥 出力 𝑦 人工知能𝑓(𝑥) 出力𝑦(𝒘, 𝑥)と答え𝑡の差が小さい方が良い。 𝑥と𝑡は与えられており、定数とするから、𝑦(𝒘, 𝑥)および 𝐸(𝒘)は𝒘を変えることで、値を変える。 𝟏 人工知能の学習の目的は、損失関数𝑬(𝒘) = 𝒚(𝒘, 𝒙) − 𝒕 𝟐 を 𝟐 最小にする𝒘を探すことである。
21. 損失関数の最小化 • 損失関数を最小にするパラメタ 𝒘をどう探すか． • 高校では関数の最小値を求めるとき，極小値（微分が0）を求めた． • つまり、𝒘のとき損失関数𝐸 𝒘 を最小にする場合、損失関数の微分 が • ∇𝐸 𝒘 = 0 𝐸 𝒘 の関数 • を満たすと考えられる． ∇𝐸 𝒘 ≠ 0 ∇𝐸 𝒘 は 𝐸 𝒘 の勾配を意味する．よくわからなければ単に微分（つまり傾き）と思っておく． ∇𝐸 𝒘 = 0の時，誤差が最小になるためには𝐸 𝒘 が凸関数である必要がある．しかし，𝐸 𝒘 が凸関数 である保証は無い．つまり， ∇𝐸 𝒘 = 0 のときの𝒘を求めても，それが誤差を最小にするとは限らな い． 誤差を最小とする重みではないかもしれないが，分類がそこそこ正確にできれば良いので今は深 く考えないでおこう． ∇𝐸 𝒘 = 0 接線
22. 簡単にはwは見つからないか • 多項式フィッティングはデータが十分にあれば解析的に求められる。 • 解析的に求められるとは、∇𝐸 𝒘 = 0の方程式が解けるという意味である。 • 条件によっては方程式が解けないこともある。 • 人工ニューラルネットワークのような更に複雑な関数𝑓 𝒘, 𝑥 を用い るとに最適な𝒘を解析的に求められなくなる。 • 解析的に求められない場合は勾配降下法が用いられることがある。
23. 勾配降下法のイメージ 𝐸 𝒘 の関数 𝐸 𝒘 の関数 −𝜂∇𝐸 𝒘0 −𝜂∇𝐸 𝒘1 𝒘1 𝒘0 𝒘0 から−𝜂∇𝐸 𝒘0 移動する． つまり、傾きと逆方向に少し移動する。 𝒘2 𝒘1 𝒘1 から−𝜂∇𝐸 𝒘1 移動する． −𝜂∇𝐸 𝒘1 は∇𝐸 𝒘0 より小さいため移動距離は小さくなる． 𝐸 𝒘 が最小値に近づけば近づくほど傾きが小さくなり，それに伴い𝒘の移動距離が小さくなる． 𝐸 𝒘 が最小値になるところまで 𝒘 移動すれば，傾きが0となり 𝒘 の移動距離も0となる．
24. 教師あり学習における学習とは？ • 機械学習（人工知能）の学習とはなにか？ • 出力と答えが一致するように人工知能の頭の中の数式𝑦(𝒘, 𝑥)のパラメタ𝒘 を変えていき、正しい出力をできるようにすること。 学習により人工知能の脳に当た る数式のパラメタが変化する。 人の脳が学習によりシナプスや神経 ネットワーク構造が変化する（脳の 可塑性）のと同じである。
25. 教師なし学習
26. 教師なし学習とは • 教師なし学習とは答えを明示せず、入力のみから学習することであ る。 • 答えの代わりに、何らかの指標を基準に学習する。 • 教師あり学習では損失関数を指標として学習した。しかし、損失関数は答 えを与えなければ計算できない。 • 教師なし学習では、入力を与えれば求まり、答えを必要としない指標を考 え、それを最小化（最大化）する。
27. クラスタリング
28. クラスタリング • クラスタリングとはデータをクラスタに自動で分けることをいう． 近いとは何だろう？ • クラスタは近いデータ点の集まりである． • クラスタリングでは，答えがついた訓練用のデータを必要としない． • 答え（教師）が必要ない学習を教師なし学習といい，クラスタリン グは教師なし学習の典型例である． 入力 データ 教師あり学習と異なり、学習デ ータに答えがついていない。 出力 人工知能𝑓(𝑥) 人工知能は答えがないにも関 わらず、データの塊（クラス タ）を見つける．
29. クラスタリング(k-means)の 具体的な方法
30. 用語の紹介 • データ点 データ点 • データセットに含まれる1つのデータ • クラスタ 2 (i) • データ点の集まり • セントロイド • クラスタの中心 0 • 事前に個数は決めておく。 −2 −2 0 2 セントロイド
31. k-means • ユークリッド距離を基準にクラスタリングする手法 • k-meansでは，データ点が所属するクラスタとクラスタの中心であ る「セントロイド」と呼ばれるベクトルを繰り返し求めることでク ラスタリングを行う． クラスタが求まった． データ点 クラスタから セントロイド を求める． 所属クラスタ を決める． クラスタ クラスタ セントロイド セントロイド セントロイドはクラ スタの平均になる．
32. 所属クラスタの決め方 • データ点が所属するクラスタはセントロイドを基準に決める． • データ点は，それに最も近いセントロイドが所属するクラスタに所属する． ２ １ 1 このデータ点はセントロイド2よりセ ントロイド1の方に近いためクラスタ 1に所属する． 遠い 2 近い このデータ点はセントロイド1よりセ ントロイド2の方に近いためクラスタ 2に所属する．
33. セントロイドの求め方 • クラスタに所属するデータ点の平均をセントロイドとする． 2 1 1 1 1 １ 1 1 1 1 1 クラスタ1に所属するデータ点の平均 ベクトル 2 2 2 ２ 2 2 2 2 2 クラスタ2に所属するデータ点の平均 ベクトル
34. K-meansのアルゴリズム • K-meansでは次の手順でクラスタリングを行う． 1. セントロイドを初期化する． 2. 各データ点の所属クラスタを決める． 3. セントロイドを計算する． 4. N回繰り返したら（所属クラスタの変更がなければ）終了．そう でなければ2へ．
35. クラスタリング結果 クラスタ 2 (a) 2 0 0 −2 −2 −2 0 学習前 2 (f) −2 0 学習後 2 Xがセントロイドを表している． 学習前はセントロイドはランダムに初期化されるため，クラスタの中心にない． 学習後はセントロイドはクラスタの中心に移動し，データ点もクラスタに所属している．
36. 処理2：データ点をクラスタに所属させる すべてのデータ点について所 属クラスタを決定した結果 初期状態 2 (a) 2 (b) 処理2 0 セントロイド 0 セントロイド −2 −2 0 このデータ点は青xに近い ので青のクラスタに所属 2 −2 −2 このデータ点は赤xに近いの で赤のクラスタに所属 0 2
37. 処理３：セントロイドの更新 2 処理2を適用した結果 セントロイドを計算した結果 (b) 2 0 0 −2 −2 −2 0 2 (c) −2 0 2 処理2で得られたクラスタに所属するデータ点の平均がセントロイドとなる・
38. k-meansの学習過程 2 (a) 2 (b) 2 0 0 0 −2 −2 −2 −2 0 −2 2 0 2 (c) −2 処理2 2 (d) 2 0 0 −2 −2 −2 0 2 −2 0 2 −2 処理3 (g) 2 (h) 2 0 0 −2 −2 −2 0 処理3 2 −2 0 処理2 0 2 処理2 0 −2 (f) 0 処理2 2 2 処理3 (e) −2 2 0 2 (i) −2 0 処理3 2
39. k-meansによる領域分割（減色）の例
40. k-meansの目的関数 • 良いクラスタリングとはどういうものか？ • データ点とそのデータ点が所属するクラスタのセントロイドとの距離の総 和が最小になるとき最適なクラスタリング結果が得られると考える． • データ点とそのデータ点が所属するクラスタのセントロイドとの距離の総 データ点 和は， 𝑁 𝐾 𝐽 = ෍ ෍ 𝑟𝑖𝑘 𝒙𝑖 − 𝒎𝑘 𝑖=1 𝑘=1 2 例えば，データ点1がクラスタ2に所属している場合， 𝑟11 = 0, 𝑟12 = 1, 𝑟13 = 0, 𝑟14 = 0, … つまり，所属クラスタに対応する 𝑟12のみ1で，それ以外0になる． セントロイド • 𝒙𝑖 はデータ点のベクトル， 𝒎𝑘 はクラスタ𝑘のセントロイド， 𝑟𝑖𝑘 はデータ 点𝑖がクラスタ𝑘に所属していれば1，そうでなければ0となる指示変数であ る． • クラスタリングでは，この式を目的関数とし、これを最小化する．
41. k-meansの目的関数 𝑁 𝐾 𝐽 = ෍ ෍ 𝑟𝑖𝑘 𝒙𝑖 − 𝒎𝑘 2 𝑖=1 𝑘=1 2 (b) 2 0 0 −2 −2 −2 0 2 目的関数の値が大きい。 セントロイドからデータ点が離れている。 (h) −2 0 2 目的関数の値が小さい。 セントロイドからデータ点が近い。
42. k-meansの利点と欠点 • 利点 外れ値 • 実装が簡単である． • アルゴリズムが分かりやすい． 外れ値に影響を受けやすい． • 結果を理解しやすい． • 欠点 • 外れ値に弱い． • クラスタリング結果が初期値に依存する． • k-means++で改善 適切にクラスタリングで きる． 適切にクラスタリ ングできない． 混合等方ガウス分布のみ適切にクラスタリ ング出来ることが欠点と書いたが，これが 利点の分かり易さを生み出している． • データの分布が混合等方ガウス分布のときにのみ適切にクラスタリングで きる（何をもって適切というかは難しい問題だが）．
43. その他のクラスタリング手法 • ユークリッド距離以外を使うk-means • コサイン類似度、マハラノビス距離、ミンコフスキー距離 • 混合ガウスモデルとEMアルゴリズム • スペクトラルクラスラリング • 階層的クラスタリング • クラスタ数の推定するを（も）する方法 • x-means • エルボー法
44. クラスタリングは人工知能なのか？ • クラスタリングでは、人工知能はデータをクラスタに分ける作業を している。 • クラスタリングでは、データを入力するとクラスタの番号を出力す る関数を作っている。 • クラスタリングの学習では、セントロイドの値を修正する。 2 1 3 入力 データ 出力 人工知能𝑓(𝑥) クラスタの番号
45. まとめ • 教師あり学習 • 教師となる答えが用意されている． • 機械は入力と答えの対応を学習する． • 人間の文字と発音の対応を覚えることに似ている． 文字画像と音声（ラベル）がペア になっている． • 教師なし学習 • 教師となる答えがない． • 人間が似ている似ていないを判別することに似てい る． 似ている似ていないに答えはない．
46. 出席レポート • 人工知能が「学習する」とは、何が変わることなのか、簡単に説明 してください。