Tweet
Tweet

Slide 1

Slide 1 text

新卒AI研修 01 Introduction

Slide 2

Slide 2 text

講義の目的 機械学習(深層学習・勾配ブースティング)で ● 何ができるか ● 何が必要か ● どうサービスと繋げるか を学びます 2

Slide 3

Slide 3 text

講義の目的 と言っても、1日で時間が足りるわけがありません あれに使えるかもしれない！自分から触ってみよう！ と壁を取り払えることが一番の目的です 3

Slide 4

Slide 4 text

講義の概要 ● 機械学習とは何か (01_introduction) ● データと学習方法(02_data_and_training) ● デプロイ(03_deployment) ● サービスについて考える(04_service_in_mixi) 4

Slide 5

Slide 5 text

ハンズオンの概要 ● 画像分類(01_image_classification) ● プルーニング(01ex_pruning) (01が早く終わった人向け) ● デプロイとサービング(02_deploy_and_serving) ● パラメーターチューニング(03_parameter_tuning) ● 転移学習(04_transfer_learning) ● 構造化データ予測(05_predict_structured_data)　 5

Slide 6

Slide 6 text

機械学習とは データから知見を得て、それを次の決定に利用すること ● 知見とはブラックボックスな関数 ○ 何かしらのルールがある ● データとは過去の出来事 ○ 数値, 画像, 音声, テキスト, etc. ● 決定：予測 ○ 知見と今の状態がわかれば未来を予測できる 6

Slide 7

Slide 7 text

機械学習とは何か ルールがあるということは、関数で表せるということ ● 今日の全ての情報があれば明日の天気はわかるはず.. ● 未来の株価は過去の動きで予測できるはず... ● 人間は外部入力を受けてニューロンが... 世界の全ては（規模を無視すれば）関数で表現できるかも！ 7

Slide 8

Slide 8 text

プログラミングとの違いは？ ルールを自分で決めて、表現することがプログラミング ● 盤面のスコアリングをルールベースで決定し、次のアクションの結果を評価 して駒を動かす 過去のデータの中からルールを得るのが機械学習 ● 大量の棋譜からパターンを見つけて、次の手を決定する 8 盤面のスコアリングから、 次の行動で一番点数の高い 角を5一にしよう 過去の棋譜と 差し手のパターンから 角を5一にしよう プログラミング 機械学習

Slide 9

Slide 9 text

統計との違いは？ 統計学はデータから可視化できる表現を得る ● ある意思決定の理由を説明するのが目的 機械学習は表現を得て、予測精度をあげることが目的 ● 検証で良い数字がでるなら、なにかしらの表現を得たことになる データから知見を得るという部分は同じだし、基礎理論も同じ ● 良いデータサイエンティストは良いMLエンジニア 9

Slide 10

Slide 10 text

どんな問題を解決できるか? 様々な分野で様々な問題を解決することができる ● 需要・コスト予測 ● カスタマー対応 ● ゲームデッキのレコメンド ● 書類のチェック ● マーケティングプラン ● ゲームAI ● キャラクター生成 ● 翻訳 ● 競馬/競輪の予測 ● 音声の変換 ● メトリクスの異常検知 ● コードレビューの補助 ● モーションキャプチャ ● 不審な決済ログの洗い出し ● … 10

Slide 11

Slide 11 text

どんな問題を解決できるか? 自分のサービスに適用できないか？ ● どんな解決できそうな問題があるか？ ● 必要なデータはあるか？ これを考えられるようになってもらうのが講義の主目的です 11

Slide 12

Slide 12 text

機械学習の分類 AI 機械学習 教師あり学習 教師なし学習 強化学習 Deep Learning 勾配 ブース ティング 12

Slide 13

Slide 13 text

● 教師データと出力の損失を用いて学習 教師あり学習 モデル 入力 出力 損失(loss) 教 師 デ タ ー 13

Slide 14

Slide 14 text

教師なし学習 ● 教師データが存在しない学習（データ内のパターンを見つける学習） クラスタリング オートエンコーダ Encoder Decoder 入力 出力 特徴量 次元圧縮 クラスタ1 クラスタ2 クラスタ3 14

Slide 15

Slide 15 text

強化学習 ● 環境とやりとりして行動の報酬をもらうことでエージェントが学習 環境 エージェント 行動 観測 意思決定 報酬 学習 変化 15

Slide 16

Slide 16 text

強化学習 ● 環境とやりとりして行動の報酬をもらうことでエージェントが学習 16 START +10 -10 環境 エージェント START

Slide 17

Slide 17 text

分類(Classification)と回帰(Regression) 分類 ● 出力が離散値 True or False 犬、猫、人... ● あらかじめ与えられた カテゴリー/クラス/分類 を予測する際に使用 ● 例 モンストキャラの画像と種類から 新たなキャラ画像が与えられた時に そのキャラがどの種類かを予測 回帰 ● 出力が連続値 金額や人数、温度… ● 数字の大小に意味が存在する 値を予測する際に使用 ● 例 過去のモンストの売上から 明日の売上を予測 17

Slide 18

Slide 18 text

分類(Classification)と回帰(Regression) QUIZ 1. ユーザの収入や家族構成、その他パラメータから預金額を予測する 2. ユーザの収入や家族構成、その他パラメータからある取引が不正かどうかを 予測する 3. 画像に写っている物の種類を予測する 4. 画像に写っている物の位置を予測する 18

Slide 19

Slide 19 text

機械学習の流れ 用意したデータ モデル 入力 出力 損失(loss) 教師データ(ラベル) 入力(特徴量) 教 師 デ タ ー 19

Slide 20

Slide 20 text

機械学習の流れ 用意したデータ 入力 出力 教師データ(ラベル) 入力(特徴量) 教 師 デ タ ー モデル Parameters Hyper Parameters 損失(loss)から Parametersを更新 20

Slide 21

Slide 21 text

Parameters: Weights & Biases パラメーターは学習で変化する値 　　 WeightとBiasがある 　 y = b + x * w この値を調整すると、出力の値が変わる 21

Slide 22

Slide 22 text

機械学習の流れ 用意したデータ 入力 出力 教師データ(ラベル) 入力(特徴量) 教 師 デ タ ー モデル Parameters Hyper Parameters 損失関数 Loss 最適化関数 (Optimizer) Parameters 更新 22

Slide 23

Slide 23 text

損失関数(loss function) 回帰問題の代表的な損失関数 ➢ RMSE 23

Slide 24

Slide 24 text

多クラス分類問題の代表的な損失関数 損失関数(loss function) ➢ Categorical Cross Entropy Label Name オラゴン ブルーリドラ レッドリドラ グリーンリドラ Output 3.57 0.27 1.80 - 0.83 Softmax 0.8200 0.0302 0.1397 0.0101 Label 1 0 0 0 Cross Entropy 0.086 0 0 0 24

Slide 25

Slide 25 text

最適化関数: 最急降下法(Gradient Descent) 最適化関数 ➢ Lossが最小になるようなWeightを決定 例: 最急降下法(Gradient Descent) 更新式 学習率 (learning rate) Loss 25

Slide 26

Slide 26 text

最適化関数一覧 ● Gradient Descent (GD) ● Stochastic Gradient Descent (SGD) ● Nesterov Accelerated Descent (NAG) ● Momentum ● RMSProp ● Adagrad ● Adam ● … 26

Slide 27

Slide 27 text

機械学習の流れ 用意したデータ 入力 出力 教師データ(ラベル) 入力(特徴量) 教 師 デ タ ー モデル Parameters Hyper Parameters 損失関数 Loss 最適化関数 (Optimizer) Parameters 更新 27

Slide 28

Slide 28 text

Hyper Parameters ハイパーパラメータ ● 学習前に予め決めておく必要がある値 ● 学習によって変化しない ● 最適値はタスクによって異なる 例 ● learning rate, バッチサイズ ● パラメーターの数 ● 使用するアルゴリズムの係数 ● … 28

Slide 29

Slide 29 text

Hyper Parameters: バッチサイズ 一度でトレーニングでどれだけのデータをまとめて学習するか ● 理想だけ言えば大きいほうがより安定する ➢ 大きくしすぎると精度悪化の可能性 ➢ 計算量やメモリの使用量が大きくなる ● バッチサイズと学習率には関係がある ➢ 学習率を固定してバッチサイズを5倍にするということは、 バッチサイズを固定して学習率を1/5にするということに近い 29

Slide 30

Slide 30 text

機械学習の流れ 用意したデータ 入力 出力 教師データ(ラベル) 教 師 デ タ ー モデル Parameters Hyper Parameters 損失関数 Loss 最適化関数 (Optimizer) Parameters 更新 30

Slide 31

Slide 31 text

No content