Deep Learning入門

Transcript

1. Deep Learning入門 2018年6月24日 内山 良介 step63r
2. 「AIは単なるプログラムではない」
3. 「AIは勝手に賢くなる」
4. 「いずれ人間 vs AIの戦争が起こる」
5. ありません
6. AIとは
7. Artificial Intelligence Machine Learning Deep Learning
8. Artificial Intelligence • 弱いAI • 特化型AI • 汎用型AI • 強いAI
9. Machine Learning • 教師あり学習 • 回帰 • 分類 • 教師なし学習 • クラスタリング • 強化学習
10. Deep Learning • DNN (Deep Neural Network) • CNN (Convolutional Neural Network) • RNN (Recurrent Neural Network)
11. AIとは、認知の真似ごとである
12. 認知 (Recognition) これはネコです これはネコです 人間 AI 四足歩行 ヒゲがある もふもふ
13. Deep Learningとは
14. Deep Learningとは、脳神経を真似したものである
15. ニューロン ニューロン (神経細胞) 2 1 3 1 2 3 モデル化 数理モデル化されたニューロン
16. 人間は「経験」と「確率」で認知している まっすぐだから「1」かな？ 上に横棒があるから「7」にも見える 折り返しがあるのは「9」である可能性も高い
17. 神経伝達を活性化関数として模造 ニューロン (神経細胞) 2 1 3 1 2 3 モデル化 数理モデル化されたニューロン 活性化関数
18. 活性化関数の例 シグモイド関数
19. 活性化関数の例 ハイパボリックタンジェント
20. 活性化関数の例 ステップ関数
21. 活性化関数の例 ReLU関数
22. ニューラルネットワーク 入力層 中間層 出力層 活性化関数
23. 出力層の設計 恒等関数
24. 出力層の設計 ソフトマックス関数
25. Demo PythonによるNeural Networkの実装
26. 分析プロセスの3要素
27. 分析プロセスの3要素 訓練 Training テスト Testing 検証 Validation
28. 分析プロセスの3要素 訓練 Training テスト Testing 検証 Validation
29. 訓練とは 入力 モデル 出力 入力データを学習し、 モデルを構築
30. 学習モデルの抽象化 = 0 0 + 1 1 + 2 2 + 3 3 + 4 4 + 5 5 + ⋯ + 重み（入力の重要度） 入力データ 確率的なアウトプット バイアス
31. 訓練とは、パラメータ決めである
32. 確率的勾配降下法（SGD） 損失関数が最小値を取る値（重み）を求める 0 = 0 − 0 1 = 1 − 1 損失関数 に対する の偏微分
33. SGDによる 0 2 + 1 2 の最小値近似
34. 分析プロセスの3要素 訓練 Training テスト Testing 検証 Validation
35. 過学習（Overfitting） 訓練データに対しては非常に高精度だが、 テストデータに対してほとんど対応できていない 過学習
36. ハイパーパラメータ • 各層のニューロンの数 • バッチサイズ（繰り返し回数） • 学習係数 • 荷重減衰 過学習を抑制するためにはハイパーパラメータの調整が必要 ハイパーパラメータ
37. 検証とは 入力 モデル 出力 未使用の 入力 出力 作成したモデルのハイパーパラメータが 妥当かどうかを確認
38. 損失関数 2乗和誤差 = 1 2 ෍ − 2 クロスエントロピー誤差 = − ෍ log
39. 分析プロセスの3要素 訓練 Training テスト Testing 検証 Validation
40. テストとは 入力 学習済み モデル 出力 未知の 入力 出力 作成したモデルを利用し、 未知の入力でも期待通りの精度となることを確認
41. 検証と何が違うのか 検証 テスト About Train, Validation and Test Sets in Machine Learning 検証用データセット モデルのハイパーパラメータを調整する際に使われる。検証用データセットがモデルに組み込まれる と、より偏った評価になる可能性がある。 テスト用データセット 最終的なモデルに対して偏りなく評価するために使われる。
42. 使うデータは 8:1:1 くらい 訓練 検証 テスト
43. パラメータの最適化
44. 重み・バイアスの最適化 重みとバイアスを最適化したい（前提） ミニバッチの損失関数を最小化する SGDの勾配を計算する 重みとバイアスを更新する
45. ハイパーパラメータの最適化 ハイパーパラメータの範囲を予め設定しておく 検証データで精度を評価する 設定した範囲からランダムにサンプリングする 過学習を抑制しつつ、再学習する
46. Demo Neural Network Consoleを使ってみる
48. Appendix
49. 参考文献 ゼロから作るDeep Learning Pythonで学ぶディープラーニングの理論と実装 O’Reilly Japan 2016年9月 斎藤 康毅
50. 参考文献 • ディープラーニング（Deep Learning）とは？【入門編】 | LeapMind BLOG • Choosing the right estimator — scikit-learn 0.19.1 documentation • Rでisomap（多様体学習のはなし） • AIとは？AI（人工知能）とDeep Learning（深層学習）を簡単に説明 • 【Deep Learning with Python】機械学習の基礎 - Going Faraway • なぜ教師あり学習でバリデーションセットとテストセットを分ける必要があるのか？ - Qiita • About Train, Validation and Test Sets in Machine Learning • [ディープラーニング] 活性化関数 – Tech Memo • 文系にもわかるニューラルネットワークコンソール入門：「affine」って何？ – Shelitas • 強化学習入門 ～これから強化学習を学びたい人のための基礎知識～ - Platinum Data Blog by BrainPad • AIを知るための4つの類型 「特化型」と「汎用型」、「強い」と「弱い」 | MUFG Innovation Hub • 心や意識の謎、脳科学はここまで近づいた｜出世ナビ｜NIKKEI STYLE • 損失関数について、ざっくりと考える - Qiita • 再帰型ニューラルネットワーク: RNN入門 - Qiita • 活性化関数のまとめ（ステップ、シグモイド、ReLU、ソフトマックス、恒等関数） - Qiita • ディープラーニング(深層学習)を理解してみる(活性化／損失関数) - デジタル・デザイン・ラボラトリーな日々 • NumPyでニューラルネットワークを実装してみる 実装編 – DeepAge • Pythonでフレームワークを使わずにニューラルネットワークを実装 - かざん技術ブログ • Neural Network Console
51. Thank you!!