Kerasを用いた深層学習基礎

・機械学習とディープラーニングの理解
・Python + Keras + collaboratoryの学習実践
　　・全結合ネットワーク
　　・畳み込みニューラルネットワーク
　　・リカレントニューラルネットワーク
　　・Functional API
・アルゴリズムの解説

Transcript

1. Kerasを用いた 深層学習基礎
2. 自己紹介 名前：邑川 真也（むらかわ しんや） 職業：インフラ＆機械学習エンジニア 年齢：３３歳 Twitter：shin_mura0718
3. はじめに
4. おことわり ・本資料は社内で行った深層学習の 基礎勉強会資料となります。 ・個人の見解であり、組織の公式見解では ございません。
5. メッセージ 機械・深層学習は簡単 Kerasなら！
6. じ 人工知能（AI） 機械学習（ML） 深層学習（DL） 深層学習＝機械学習の一部
7. 機械学習って何？
8. 特徴をインプットにして 予測をアウトプットする手法 一言でいうと。。
9. 鼻 耳 目 口 毛並み 毛色 この特徴は犬だ！
10. 機械学習のフロー 特徴データ 学習用 データセット 予測値 真の値 誤差 重み 重みの更新 モデル 評価用 データセット 予測値 真の値 評価 STEP１：モデル作成 STEP２：モデル評価
11. 家の価格 = 坪数 + 間取り + 駅までの距離 + 都道府県 導きたいもの （目的変数） 特徴データ （説明変数） データセット（目的値と特徴データ） ※ 特徴データが文字列でも画像でも、数字に変換しなければならない。
12. 目的変数の種類 予測する？ クラスタリング 異常検知 いいえ （教師なし） 回帰 二項分類 多項分類 何を？ （教師あり） 売上等 Yes or No等 スタート カテゴリ等
13. 家の価格 = A 1 × 坪数 (予測) + A 2 × 間取り + A 3 × 駅までの距離 + A 4 × 都道府県 （目的変数） （説明変数） （重み） 重要！重みの計算 機械学習では重みの計算しか行わない！
14. 重みってどう計算する？ Q. 100 = 10 * W1 + 20 のW1の重みは？ 1. W1 = 2の場合 ：40 - 100 = -60 2. W1 = 6の場合 ：80 - 100 = -20 3. W1 = 10の場合：120 - 100 = 20 4. W1 = 9の場合 ：110 - 100 = 10 5. W1 = 8の場合 ：100 - 100 = 0 A. 繰り返しの結果、答えは8！ (予測) (実数) (残差)
15. 予測価格と実価格の差を10%におさめて！ 坪数 間取り 駅までの距離 都道府県 実際の価格 （万円） 予測価格 （万円） 残差 35 200 400 東京 2000 2000 0 28 150 300 岩手 1500 1520 20 40 300 600 大阪 3000 2600 -400 19 200 400 兵庫 2000 2000 0 2500 100 200 群馬 1000 1000 0 1000 40 80 名古屋 4000 4100 100 - - - - 13500 13220 -280 モデルの品質の担保
16. 正しいと言えない。ビジネス要件で異なる 予測価格と実価格の差を10%におさめて！ （１回でも超えたらだめ！） 予測価格と実価格の差を10%におさめて！ （平均がおさまっていればいいよ）
17. 重要！損失関数（残差） = 誤差 例） ① 平均絶対誤差 (MAE)： →残差の絶対値の平均値（０であるほど良い） ② 平均二乗誤差 (MSE)： →残差の2乗の平均値（０であるほど良い） 損失関数で残差を誤差に変換。 ビジネス要件に適用＆誤差が下がるように重み調整
18. 超重要！未知の評価データで再評価 要件を満たせる重み計算ができた！でも予測はちゃんとできる？ 学習用 データセット 評価用 データセット 学習用データセットにのみ適した重みであることが多い。 これは過学習と呼ばれ、実用に耐えないモデルである。
19. 深層学習って何？
20. 深層学習のフロー 特徴データ 学習用 データセット 予測値 真の値 誤差 重み 重みの更新 特徴変換 オプティ マイザ 異なるのは特徴変換とオプティマイザ
21. 超重要！層と関数で新しい特徴を作る 結婚できるか？ （0 or 1） 入力層 出力層 隠れ層 （入力を変換、新しい特徴に） X1 X2 X3 Z B 年齢 年収 顔面 バイアス W1 W2 W3 F P X =（ X1, X2, X3 ） W =（ W1, W2, W3 ） Z = X・W+b F = 0 or 1 0 = if（ Z < 0） 1 = if（ Z ≥ 0） （層） （関数） 重みの 追加 値の変換
22. 「層」と「関数」を重ねるのが深層学習
23. オプティマイザ（最適化） 誤差を小さくする アルゴリズム（計算式）の 定義 ※ 詳細省きます。「keras optimizer」で調べてください
24. 機械学習の流れを理解する Kaggleに挑戦してもらう 深層学習の何がうれしいの？ １複雑な重み計算： → 層の数だけ重み計算 ２入力値自体を変形： → 関数で重み計算しやすい入力値に変換 ３入力型に応じて処理を使い分ける： → 様々なインプットが可能
25. いよいよ、Kerasで「深層学習」
26. 深層学習用の高水準フレームワーク ・深層学習用のコードを簡単に書ける ・TensorFlowやCNTK，Theanoをバックエンドに稼働 ・Pythonで実行可能（※ 3.6までサポート） ・数学の知識が浅くても実行が可能
27. Kerasが扱えるデータ一覧 データの種類 データ例 ベクトル（行列） CSVで表示可能なデータ シーケンス 文章 時系列 株価、天気 画像 - 音声 - 動画 -
28. 機械・深層学習のモデル構築フロー データセットの定義 モデル構築 損失関数の定義 前処理・データのベクトル化 パラメータチューニング
29. ケース１ データ： ボストンの住宅価格データセット 目的変数： 住宅価格（回帰） 特徴変数： 各種住宅情報の行列データ 使用するネットワーク： 全結合
30. Collaboratory URL http://urx.blue/XutV
31. 特徴量のスケール（桁）をそろえる！ 前処理： 学習の大前提： 決められた回数で一定の更新幅（学習率）で重み計算 ① 学習総回数が決まっている ② 更新幅は全特徴データに適用される スケールが異なる弊害： ① 特徴の最適な重みが見つけられない ② モデルの性能が大幅に下がってしまう
32. 全結合ネットワークの解説 Dense(層の数, 関数, 入力)： ・直前の入力に重みとバイアスを加えて足し合わせる ・結合させた後、指定した関数を実施 X1 X2 X3 Z1 B 年齢 年収 顔面 バイアス W1 W2 W3 Z1 = X1W1+X2W2+X3W3+B1 全結合層の公式 Z2 Z2 = X1W1+X2W2+X3W3+B2
33. 全結合ネットワークの解説 Z1 B バイアス Z2 relu関数： ・値が1未満なら０に、1以上ならその値を返す sigmoid関数： ・0～1の値を返す。値が小さければ０に、大きければ１に近づく Z3 F F F P relu sigmoid
34. 参考：活性化関数とオプティマイザ 問題の種類 最後の層の活性化関数 損失関数 任意の値に対する回帰 なし mse ０~１の値に対する回帰 sigmoid binary_crossentropy 2項分類 sigmoid binary_crossentropy 多クラス単一ラベル分類 softmax categorycal_crossentropy 多クラス多ラベル分類 sigmoid categorycal_crossentropy
35. ケース２ データ： ファッション画像データセット 目的変数： 画像の服の種類は？（多項分類） 特徴変数： 服の画像 使用するネットワーク： 畳み込みニューラルネットワーク（CNN）
36. 畳み込みニューラルネットワークとは？ 画像に対する 効率的な特長抽出方法
37. 画像→数値に変換が必要 [[0.1, 1.0, 3.2, 4.0, 3.2, 1.1], [2.1, 0.2, 0.1, 3.1, 2.0, 1.2], [0.3, 0.4, 3.7, 4.1, 5.1, 2.1], [1.1, 0.3, 6.1, 3.5, 2.4, 6.1], [2.1, 2.5, 5.3, 3.1, 3.8, 8.1], [4.3, 5.4, 6.1, 7.7, 4.1, 2.1]]
38. 全結合ネットワークの限界 Z F 全結合 関数 （sigmoid） (softmax) 正解 t 比較 画像全体に対する重みを計算するので計算コストが高い 入力層 出力層 隠れ層 隠れ層 W2 W1 W3
39. なぜ、畳み込みニューラルネットワーク？ 特徴点だけのベクトルを作成して重みを計算するほうが、 重み計算が楽になる 目だけ 髭だけ 鼻だけ 口だけ Z F 全結合 関数 （sigmoid） (softmax) 正解 t 比較
40. Collaboratory URL http://urx.blue/PFsR
41. 畳み込みニューラルネットワークの解説 convnet2D(フィルタ, (行ピクセル, 列ピクセル) )： ・ピクセルの範囲から画像（画像テンソル）を抽出 ・フィルタ数だけ重みを加えた特徴マップを作成 特徴マップ 入力画像 * 重み１ * 重み２
42. 畳み込みニューラルネットワークの解説 maxpooling2D(行ピクセル, 列ピクセル) ： ・ピクセル範囲の最大値を抽出 ・画像縮小して、重み計算を効率化 特徴マップ 縮小後の特徴マップ
43. 畳み込みニューラルネットワークの解説 Flatten( ) ： ・平滑化層 ・多次元のデータを1次元テンソル（ベクトル）に変換 特徴マップ 1次元の特徴マップ
44. 畳み込みニューラルネットワークの解説 1 1 1 1 0 1 1 1 1 0 1 1 1 1 0 1 1 1 1 0 1 1 1 1 0 2 3 1 1 入力（5 x 5） フィルタ（2 x 2） 5 5 5 3 5 5 5 3 5 5 5 3 5 5 5 3 (0*2+1*1+3*1+1*1=5) Conv2D(1, (2, 2)) 特徴マップ MaxPooling(2, 2) 5 5 5 5 特徴マップ ① 2*2の範囲を抽出し 適当な重みを追加 ② 合計した値で特徴 マップを作成 ③ 最大値のみ抽出
45. 活性化関数の解説 softmax関数： ・値が1となるような確率ベクトルを返す。[ 0.1, 0.2, 0.1, 0.5 ] 猫：0.05(5%) 犬：0.59(59%) 虎：0.25(25%) 亀：0.05(5%) 猿：0.05(5%) 人：0.01(1%)
46. ケース３ データ： IMDbデータセット 目的変数： 文章がポジティブかネガティブか？（2項分類） 特徴変数： テキスト 使用するネットワーク： リカレントニューラルネットワーク （SimpleRNN, LSTM, GRU）
47. リカレントニューラルネットワークとは？ 特徴の前後関係を 記憶しておく方法
48. 全結合ネットワーク、CNNの限界 記憶を持たず、点の観測のみを入力とみなす ？ 晴れの日が続いているから、明日も晴れそうだな！ 当日の気象情報だと、曇りかなあ？？
49. リカレントニューラルネットワーク（RNN）とは？ 処理中の状態（重み）を維持し、次の処理で結合させる。 前の状態が、次の重み計算に使用されることを覚えよう。 入力(t - 1) 出力(t-1) 入力(t) 出力(t) 入力(t + 1) 出力(t+1) 状態(t) 状態(t+1) 出力 = 活性化関数( 重み1 x 入力(t) 重み2 x 入力(t-1) + バイアス )
50. Collaboratory URL http://ur0.biz/PIhn
51. Tokenizar：テキストのベクトル変換インスタンス ① インデックス取得（fit_on_texts） ・テキストで、単語のインデックスを作成 ② インデックス変換（texts_to_sequences） ・文字列をインデックスのリストに変換 ③ テンソル変換（pad_sequences） ・整数のリストを2次元の長さが均一のテンソルに変換 前処理：
52. リカレントニューラルネットワークの解説 Embedding層： 1. 単語をインデックスのリストに変換 「I am Shinya Murakawa in Japanease.」 => [1 2 3 4 5 6 7] 2. ダミー変数に変換 → 3. 次元の圧縮 1 2 3 4 5 6 7 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 [[0.1, 0.3, 0.2, 1, 0.5, 0.6, 0.2]]
53. SimpleRNNをLSTM（長短期記憶）で代替 入力(t - 1) 出力(t-1) 入力(t) 出力(t) 出力 = 活性化関数( 重み1 x 入力(t) 重み2 x 入力(t-1) 重み3 x 忘却層 + バイアス ) 忘却ゲート 出力ゲート 入力ゲート 入力(t+1) 出力(t+1) 忘却ゲート 出力ゲート 入力ゲート
54. 入力(t - 1) 出力(t-1) 入力(t) 出力(t) 出力 = 活性化関数( 重み1 x 入力(t) 重み2 x 入力(t-1) + バイアス ) 更新ゲート 出力ゲート 入力(t+1) 出力(t+1) 更新ゲート 出力ゲート SimpleRNNをGRUで代替
55. リカレントニューラルネットワーク専用層 recurrent_dropout( 割合 )： ・RNNに適用させたdropout層。過学習の防止に使用 return_sequences (Boolean)： ・RNN層の出力を、次のRNN層の入力に使用（残差接続） ・勾配消失の防止に使用される
56. 最後に
57. 次に来るもの プログラム合成とAutoML
58. あ ＝ Analytics（分析） い ＝ If（条件分岐のコード） う ＝ Unsatisfied（不満足） え ＝ Error（ヒューマンエラー） お ＝ Overused（使いすぎ） 機械学習がなくす「あいうえお」 ※ 個人的な見解です。