Save 37% off PRO during our Black Friday Sale! »

Keio Univ intro to ml 2021 02

Keio Univ intro to ml 2021 02

Transcript

  1. 情報工学科 准教授 杉浦孔明 Email: komei.sugiura@keio.jp Slack: 1_sugiura.komei 慶應義塾大学理工学部 機械学習基礎 第2回

  2. 順伝播型ニューラルネット - - 4

  3. 脇道コンテンツ  目的  授業の本筋で取り上げない内容を自習するため  例: Pythonモジュール  今後拡充予定

    - - 5
  4. 線形回帰 1入力1出力の場合 - - 6 入力 (input) 出力 (output) 

    前回扱った線形モデル 図で書くと↓ 常に値が1である ノード
  5.  2次元の入力 線形回帰 2入力1出力の場合 - - 7 入力 出力 重み(weight)

    バイアス(bias) 入力 (input) 出力 (output)  前回扱った線形モデル 図で書くと↓ 常に値が1である ノード
  6.  2次元の入力 基本的なニューラルネット ユニットとは - - 8  ユニット 重み(weight)

    バイアス(bias) 入力 出力
  7. 重み バイアス  活性化関数(activation function)  非線形変換を行う  以下の赤や青のような関数 例

    基本的なニューラルネット 活性化関数とは - - 9  ユニット パラメータ
  8.  ユニットが2つの場合 基本的なニューラルネット 複数のユニットを持つ場合 - - 10  ユニット

  9. 行列表現  ユニットが2つの場合 基本的なニューラルネット 入出力関係の行列表現 - - 11 xに1が入っているものと考えて、 バイアスを陽に書かない

    まとめて書く
  10. 行列表現  3層ニューラルネット 基本的なニューラルネット 3層ニューラルネット - - 12 入力層 出力層

    中間層 xに1が入っているものと考えて、 バイアスを陽に書かない
  11.  中間層(隠れ層, hidden layer)  :1つ目の中間層への重み  :1つ目の中間層の活性化 関数 

    は2つ目の中間層に 関するもの  3層ニューラルネット 基本的なニューラルネット 中間層とは - - 13 入力層 出力層 中間層
  12. 理解度確認 - - 14

  13. 理解度確認 以下について周りと相談して1分以内に答えよ 1. 訓練集合とテスト集合の違いは何か? 2. 訓練集合と訓練サンプルの違いは何か? 3. ミニバッチ確率的勾配降下法の英語名は何か? 4. 最小二乗法では、何を最小化するか?

    と で表せ。 5. 損失関数の例を挙げよ。 - - 15
  14. 順伝播型ニューラルネット  順伝播型ニューラルネット(feed-forward neural network; FFNN) - - 16 入力層

    出力層 中間層(L-1個) 一般化すると
  15.  正規化線形関数(Rectified Linear Unit: ReLU)  レルと発音  ロジスティックシグモイド関数 (logistic

    sigmoid function) 活性化関数の例 - - 17 口語ではシグモイド関数と呼ばれるが、シグモイド 関数とは本来S字関数を意味する
  16.  観測データを集める 1. 訓練集合を構築する 2. 損失関数を最小化するパラメー タを反復的に求める 重みやバイアスをまとめたもの ニューラルネットによる回帰 例題:大気汚染物質の濃度を予測したい

    - - 18 ID 濃度 (今) 風速 (今) 濃度 (未来) 1 5 2.0 4 2 7 1.2 5 3 10 1.6 11 … … … 999 10 1.8 10 1000 9 2.6 10 新規 8 1.8 ???
  17.  画像を「かぼちゃ」か「かぼ ちゃ以外」に分けたい  正解ラベルは1または0  を予測するのではなく、 を予測する ニューラルネットによる2値分類 例題:画像分類

    - - 19 入力された画像に対し、 予測ラベルが1である確 率の予測値 ラベル:1 ラベル:0
  18.  手書き数字のデータセット  深層学習分野でMNISTを知ら ない人はいないはず  28x28ピクセル画像  訓練集合:6万枚、テスト集合: 1万枚

     1-of-K表現  特定の次元のみ1であり、残 りの次元は0  テキスト処理において単語を 表現する方法でもある  Zero: (1, 0, 0, 0, 0, 0, 0, 0, 0, 0)  One: (0, 1, 0, 0, 0, 0, 0, 0, 0, 0)  Two: (0, 0, 1, 0, 0, 0, 0, 0, 0, 0) 多クラス分類 例題:MNIST - - 20
  19.  分類  出力例 (0.8, 0.1, 0.1, 0, 0, 0,

    0, 0, 0, 0) 3層ニューラルネットによる多クラス分類 回帰と分類の違い - - 21  3層ニューラルネット(再) 入力層 出力層 中間層
  20.  分類  出力例 [0.8, 0.1, 0.1, 0, 0, 0,

    0, 0, 0, 0] 3層ニューラルネットによる多クラス分類 ソフトマックス関数とは - - 22  ソフトマックス関数(softmax function)  の例 指数関数で変換したのち、 規格化している
  21.  情報理論における離散分布 間の交差エントロピー  交差エントロピー誤差関数 (cross-entropy error function) 3層ニューラルネットによる多クラス分類 交差エントロピー誤差関数とは

    - - 23 は固定値なので確率 で表す必要がない (普通の)エントロピー サンプル番号nのラベルのk次元目の値 (クラスkであれば1であり、そうでなければ0)
  22. 3層ニューラルネットによる多クラス分類 2値分類の場合の交差エントロピー誤差関数  Kクラス  2クラス(K=2) - - 24 サンプル番号nのラベル(1または0)

  23. 本講義全体の参考図書  ★機械学習スタートアップシリーズ これならわかる深層学習入門 瀧 雅人著 講談社(本講義では、異なる表記を用いることがあるので注意)  ★Dive into

    Deep Learning (https://d2l.ai/)  画像認識 (機械学習プロフェッショナルシリーズ) 原田達也著 講談 社  深層学習による自然言語処理 (機械学習プロフェッショナルシリーズ) 坪井祐太、海野裕也、鈴木潤 著、講談社  東京大学工学教程 情報工学 機械学習 中川 裕志著、東京大学工学教 程編纂委員会編 丸善出版  パターン認識と機械学習 上・下 C.M. ビショップ著 丸善出版 - - 25
  24. 実習 - - 26

  25. 実習 MNISTへの3層ニューラルネットの適用  ニューラルネットの出力: 10次元  10次元の出力のうち、最大のものを予測ラベルとする  損失関数: 交差エントロピー誤差関数

     ミニバッチSGDで反復的に損失を最小化 - - 27
  26. 実習  わからなければ手を挙げてください→TAが対応します  詳しい人は他の人に積極的に教えてください  実習課題の場所:Canvasから辿る - - 28

  27. 中間発表予告(正式には2週間前に告知)  torch.nnに含まれる関数を選んで説明せよ  https://pytorch.org/docs/stable/nn.html  提出物: プレゼンビデオ(4分以内)  グループ:

    3人程度  評価基準  有用性: 便利な関数なのか?  独自性: 他の班と同じような内容ではないか?  わかりやすさ: 他の班からの評価 - - 29
  28. 情報工学科 杉浦孔明 Email: komei.sugiura@keio.jp Slack: 1_sugiura.komei 機械学習基礎 第2回