Upgrade to Pro — share decks privately, control downloads, hide ads and more …

教師あり学習と教師なし学習

 教師あり学習と教師なし学習

Avatar for Kazuhisa Fujita

Kazuhisa Fujita

November 03, 2026

More Decks by Kazuhisa Fujita

Other Decks in Education

Transcript

  1. 教師あり学習のイメージ 入力 出力 人工知能 バナナ 𝑓(𝑥) 関数𝒇 𝒔 の出力が答えのりんご になるように修正する=学習

    この作業は正しい答えを知らないと出来ない。 正しい答え有り、つまり、教師ありの学習である。 入力 出力 人工知能 𝑓(𝑥) りんご
  2. 回帰問題 t, y • 数値xと数値tの組み合わさったデータが有る . • xとtの関係を見出す問題を回帰問題という. • 回帰問題が解ければ,未知のxにおけるtを予

    測することができる.人工知能の出力はyとす る。 • 訓練データとして、入力xに対する答えtを用 意する. x
  3. 回帰問題における入力、出力、答え • 入力:𝑥 • 出力:𝑦 • 答え:𝑡 • 人工知能:関数𝑓(𝑥) •

    人工知能𝑓(𝑥)は入力𝑥を受け取り𝑦を出力する。 入力 𝑥 出力 𝑦 人工知能𝑓(𝑥)
  4. アイスクリームの平均購入額の場合 アイスクリームの 日最高気温の平均(℃) 平均購入額 331 268 365 492 632 730

    821 1057 724 430 363 415 351 322 367 508 667 772 1148 1080 653 434 358 388 9.3 9.9 12.7 19.2 22.4 26.6 26 29.5 28.1 21.4 17.4 13.2 10.1 12.9 14 21.3 23.7 27.5 33.1 31 28.7 20.7 19 13.4 座標は(最高気温,購入額) (29.5, 1057) (23.7, 667) (13.4, 388) 気温xとアイスクリームの平均購入額yの関係を求める
  5. 回帰問題では何が理想なのか? • 人工知能の出力𝑦と答え𝑡が一致することが 理想である。 𝑓 = (𝑦 − 𝑡)2 •

    つまり、一致させることが目的となる。 • 出力𝑦と答え𝑡が一致は𝑦 − 𝑡 = 0と表せる。 • しかし、これは数学的に扱いにくいので •𝐸= 1 2 𝑦−𝑡 2 =0 • を目標にする。 • 𝑦 − 𝑡 2 とすることで出力と答えの差を大 きさで表せる。 𝑓 =𝑦−𝑡 差が大きくても小さくなる。
  6. 回帰問題では何が理想なのか? • とはいえ、実際は𝐸 = 0にするのは難しいかもしれない。 • たとえ、 𝐸 = 0を実現しても、全てのデータ点上を通るギザギザな関数を

    作ってしまうため良くないかもしれない(これを過学習状態という)。 • そこで、その代わりに𝐸(出力、予測と答えの差)を最小とするこ とを目標としよう。 • 𝐸は誤差関数、損失関数などと呼ばれる。 • また、Eを最小にすることを目的とするため、目的関数とも言う。 • ただし、目的関数と誤差関数は同じとは限らない。 • 誤差関数以外の関数を目的関数にすることは可能である。
  7. 回帰問題における目標 入力 𝑥 出力 𝑦 人工知能𝑓(𝑥) 出力𝑦 = 𝑓 𝑥

    と答え𝑡の差が小さい方が良い。 誤差関数𝑬 = 𝟏 𝟐 𝒚 − 𝒕 𝟐 を最小にする𝒇 𝒙 を探す。=学習
  8. Eは何で変わる? • 次の点に注意しよう。 • 学習中は、𝑥も固定、𝑡も固定、𝒘は変えられる。 • なぜか? • 𝑥と𝑡は訓練データとして提示されているため、我々が変えてはいけない。 •

    ただし、前処理による加工はしても良い。 • 我々が変えてよいのは𝒘だけである。 • 𝑦 𝒘, 𝑥 の𝒘を変えて誤差関数𝐸を最小にする。
  9. 回帰問題における目標 入力 𝑥 出力 𝑦 人工知能𝑓(𝒘, 𝑥) • 出力𝑦(𝒘, 𝑥)と答え𝑡の差(誤差)が小さい方が良い。

    • 𝑦(𝒘, 𝑥)の𝒘を変えることで、𝐸(𝒘)の最小化をめざす。 • 人工知能の学習の目的は、誤差関数𝑬(𝒘)を最小にする𝒘を 探すことである。
  10. 損失関数の最小化 • 誤差関数を最小にするパラメタ 𝒘をどう探すか. • 高校では関数の最小値を求めるとき,極小値(微分が0)を求めた. • つまり、𝒘のとき損失関数𝐸 𝒘 を最小にする場合、損失関数の微分

    が 𝐸 𝒘 • ∇𝐸 𝒘 = 0 𝐸 𝒘 の関数 • を満たすと考えられる. ∇𝐸 𝒘 ≠ 0 ∇𝐸 𝒘 は 𝐸 𝒘 の勾配を意味する.よくわからなければ単に微分(つまり傾き)と思っておく. ∇𝐸 𝒘 = 0の時,誤差が最小になるためには𝐸 𝒘 が凸関数である必要がある.しかし,𝐸 𝒘 が凸関数 である保証は無い.つまり, ∇𝐸 𝒘 = 0 のときの𝒘を求めても,それが誤差を最小にするとは限らな い. 誤差を最小とする重みではないかもしれないが,分類がそこそこ正確にできれば良いので今は深 く考えないでおこう. ∇𝐸 𝒘 = 0 接線 𝒘
  11. 簡単にはwは見つからないか • 多項式フィッティングはデータが十分にあれば解析的に求められる。 • 解析的に求められるとは、∇𝐸 𝒘 = 0の方程式が解けるという意味である。 • 条件によっては方程式が解けないこともある。

    • 人工ニューラルネットワークのような更に複雑な関数𝑓 𝒘, 𝑥 を用い るとに最適な𝒘を解析的に求められなくなる。 • 解析的に求められない場合は勾配降下法が用いられることがある。
  12. 勾配降下法のイメージ 𝐸 𝒘 の関数 𝐸 𝒘 の関数 −𝜂∇𝐸 𝒘0 −𝜂∇𝐸

    𝒘1 𝒘1 𝒘0 𝒘0 から−𝜂∇𝐸 𝒘0 移動する. つまり、傾きと逆方向に少し移動する。 𝒘2 𝒘1 𝒘1 から−𝜂∇𝐸 𝒘1 移動する. −𝜂∇𝐸 𝒘1 は∇𝐸 𝒘0 より小さいため移動距離は小さくなる. 𝐸 𝒘 が最小値に近づけば近づくほど傾きが小さくなり,それに伴い𝒘の移動距離が小さくなる. 𝐸 𝒘 が最小値になるところまで 𝒘 移動すれば,傾きが0となり 𝒘 の移動距離も0となる.
  13. クラスタリング • クラスタリングとはデータをクラスタに自動で分けることをいう. 近いとは何だろう? • クラスタは近いデータ点の集まりである. • クラスタリングでは,答えがついた訓練用のデータを必要としない. • 答え(教師)が必要ない学習を教師なし学習といい,クラスタリン

    グは教師なし学習の典型例である. 入力 データ 教師あり学習と異なり、学習デ ータに答えがついていない。 出力 人工知能𝑓(𝑥) 人工知能は答えがないにも関 わらず、データの塊(クラス タ)を見つける.
  14. 用語の紹介 • データ点 データ点 • データセットに含まれる1つのデータ • クラスタ 2 (i)

    • データ点の集まり • セントロイド • クラスタの中心 0 • 事前に個数は決めておく。 −2 −2 0 2 セントロイド
  15. セントロイドの求め方 • クラスタに所属するデータ点の平均をセントロイドとする. 2 1 1 1 1 1 1

    1 1 1 1 クラスタ1に所属するデータ点の平均 ベクトル 2 2 2 2 2 2 2 2 2 クラスタ2に所属するデータ点の平均 ベクトル
  16. クラスタリング結果 クラスタ 2 (a) 2 0 0 −2 −2 −2

    0 学習前 2 (f) −2 0 学習後 2 Xがセントロイドを表している. 学習前はセントロイドはランダムに初期化されるため,クラスタの中心にない. 学習後はセントロイドはクラスタの中心に移動し,データ点もクラスタに所属している.
  17. 処理2:データ点をクラスタに所属させる すべてのデータ点について所 属クラスタを決定した結果 初期状態 2 (a) 2 (b) 処理2 0

    セントロイド 0 セントロイド −2 −2 0 このデータ点は青xに近い ので青のクラスタに所属 2 −2 −2 このデータ点は赤xに近いの で赤のクラスタに所属 0 2
  18. 処理3:セントロイドの更新 2 処理2を適用した結果 セントロイドを計算した結果 (b) 2 0 0 −2 −2

    −2 0 2 (c) −2 0 2 処理2で得られたクラスタに所属するデータ点の平均がセントロイドとなる・
  19. k-meansの学習過程 2 (a) 2 (b) 2 0 0 0 −2

    −2 −2 −2 0 −2 2 0 2 (c) −2 処理2 2 (d) 2 0 0 −2 −2 −2 0 2 −2 0 2 −2 処理3 (g) 2 (h) 2 0 0 −2 −2 −2 0 処理3 2 −2 0 処理2 0 2 処理2 0 −2 (f) 0 処理2 2 2 処理3 (e) −2 2 0 2 (i) −2 0 処理3 2
  20. k-meansの目的関数 • 良いクラスタリングとはどういうものか? • データ点とそのデータ点が所属するクラスタのセントロイドとの距離の総 和が最小になるとき最適なクラスタリング結果が得られると考える. • データ点とそのデータ点が所属するクラスタのセントロイドとの距離の総 データ点 和は,

    𝑁 𝐾 𝐽= 𝑟𝑖𝑘 𝒙𝑖 − 𝒎𝑘 𝑖=1 𝑘=1 2 例えば,データ点1がクラスタ2に所属している場合, 𝑟11 = 0, 𝑟12 = 1, 𝑟13 = 0, 𝑟14 = 0, … つまり,所属クラスタに対応する 𝑟12のみ1で,それ以外0になる. セントロイド • 𝒙𝑖 はデータ点のベクトル, 𝒎𝑘 はクラスタ𝑘のセントロイド, 𝑟𝑖𝑘 はデータ 点𝑖がクラスタ𝑘に所属していれば1,そうでなければ0となる指示変数であ る. • クラスタリングでは,この式を目的関数とし、これを最小化する.
  21. k-meansの目的関数 𝑁 𝐾 𝑟𝑖𝑘 𝒙𝑖 − 𝒎𝑘 2 𝐽= 𝑖=1

    𝑘=1 2 (b) 2 0 0 −2 −2 −2 0 2 目的関数の値が大きい。 セントロイドからデータ点が離れている。 (h) −2 0 2 目的関数の値が小さい。 セントロイドからデータ点が近い。
  22. k-meansの利点と欠点 • 利点 外れ値 • 実装が簡単である. • アルゴリズムが分かりやすい. 外れ値に影響を受けやすい. •

    結果を理解しやすい. • 欠点 • 外れ値に弱い. • クラスタリング結果が初期値に依存する. • k-means++で改善 適切にクラスタリングで きる. 適切にクラスタリ ングできない. 混合等方ガウス分布のみ適切にクラスタリ ング出来ることが欠点と書いたが,これが 利点の分かり易さを生み出している. • データの分布が混合等方ガウス分布のときにのみ適切にクラスタリングで きる(何をもって適切というかは難しい問題だが).
  23. まとめ • 教師あり学習 • 教師となる答えが用意されている. • 機械は入力と答えの対応を学習する. • 人工知能の出力と答えを近づけるように、人工知 能の脳(数式)を変化させる。

    文字画像と音声(ラベル)がペア になっている. • 人間の文字と発音の対応を覚えることに似ている. • 教師なし学習 • 教師となる答えがない. • 答えを必要としない指標に基づき学習する。 • 人間が似ている似ていないを判別することに似てい る. 似ている似ていないに答えはない.