中学生でもわかる深層学習

第1章　理論編
・深層学習とは (p.13-)
・ニューラルネットワークとは (p.31-)
・どうやって学習するか: 勾配降下法 (p.57-)
・深層学習の注意点 (p.91-)

第2章　応用編
・分類問題 (p.110-)
・画像認識 (p.120-)
・音声認識／自然言語処理 (p.151-)
・講演のまとめ (p.167-)

Transcript

1. 中学生でもわかる深層学習 2024/3/29 米田優峻 (E869120)
2. 自己紹介 米田 優峻 (よねだ まさたか) • 2002 年生まれ • 2021 年東京大学入学 • 2023 年東京大学理学部情報科学科に進学 主な実績 • 国際情報オリンピックで 3 回金メダル獲得 • プログラミングや数学の本を 3 冊出版 (著書累計 7 万部) 2
3. はじめに 現在、深層学習が 世界を動かしている 3
4. たとえば、ChatGPT
5. 人間を超える将棋や囲碁の AI https://www.engadget.com/2016-03-12-watch-alphago-vs-lee-sedol-round-3-live-right-now.html
6. そして自動運転にも、深層学習が使われている
7. はじめに それでは、深層学習とは一体どういうものか？ 中身は一体どうなっているのか？ 7
8. はじめに それでは、深層学習とは一体どういうものか？ 中身は一体どうなっているのか？ 本スライドではこの疑問を解決します！ 8
9. • 深層学習の仕組みと中身のアルゴリズム、そして応用について初学者でもわかりやすく 説明します。 • 中学レベルの数学で理解できると思うので、数学に自信のない方もぜひお読みください。 (これは中学生・高校生向けの講演として作成されました) • 最初に機械学習の説明もあるので、機械学習を全然知らない人でも大丈夫です。 このスライドについて 諸注意 このスライドは入門的な内容となっています。深層学習を全部説明しているわけでは ないのでご注意ください。また、厳密さに欠ける部分があることもご了承ください。 9
10. 目次 1章 理論編 1.1 深層学習とは 1.2 ニューラルネットワーク 1.3 どうやって学習するか？ 1.3 ～勾配降下法～ 1.4 深層学習の注意点 (1) 1.5 深層学習の注意点 (2) 13 31 57 91 100 ……………………… ………… ………… ……………… ……………… 2章 応用編 2.1 分類問題 2.2 画像認識 2.3 音声認識・自然言語処理 講演のまとめ 110 120 151 167 …………………………… …………………………… ………… …………………………… 全 176ページ 10
11. • 本スライドを作成するにあたって、AIcia_Solid 氏からフィー ドバックをいただきました。ご協力ありがとうございます。 謝辞 11
12. 第 1 章 理論編
13. 機械学習とは まず、深層学習の前に 機械学習とは何でしょうか 13
14. 機械学習とは 機械学習 コンピュータがデータを自動で学習し 未知のデータに対して予測・判断する技術 = 14
15. 機械学習の基本的な流れ 機械学習は、基本的に以下のような流れで行われます ステップ 1 いくつかの訓練データを用いて、どのような計算式ならば正 しく予測できそうかを学習する ステップ 2 学習した計算式を用いて、未知のデータに対して予測を行う 15
16. 機械学習の基本的な流れ 機械学習は、基本的に以下のような流れで行われます ステップ 1 いくつかの訓練データを用いて、どのような計算式ならば正 しく予測できそうかを学習する ステップ 2 学習した計算式を用いて、未知のデータに対して予測を行う 人間ならば… テストの過去問を解いて どういうやり方ならば 高得点を取れるか学習する のと同じ 16
17. 機械学習の基本的な流れ 機械学習は、基本的に以下のような流れで行われます ステップ 1 いくつかの訓練データを用いて、どのような計算式ならば正 しく予測できそうかを学習する ステップ 2 学習した計算式を用いて、未知のデータに対して予測を行う 人間ならば… 過去問の学習を駆使して 実際にテストを解くのと同じ 17
18. 機械学習の基本的な流れ 機械学習は、基本的に以下のような流れで行われます ステップ 1 いくつかの訓練データを用いて、どのような計算式ならば正 しく予測できそうかを学習する ステップ 2 学習した計算式を用いて、実際に予測を行う 人間ならば… 過去問の学習を駆使して 実際にテストを解くのと同じ 具体例を見ていきましょう！ 18
19. 機械学習: 具体例 機械学習の例 1 顔写真から年齢を推定するプログラム まず、いくつかの学習用データから どういう式ならば正しく予測できそうか学習 未知の画像データを受け取り 学習した式に基づいて年齢を予測 予測式は 0.1x 1 + 0.2x 2 か？ 66歳 81歳 この画像は 70 歳！ 0.1x 1 + 0.2x 2 19
20. 機械学習: 具体例 機械学習の例 1 顔写真から年齢を推定するプログラム まず、いくつかの学習用データから どういう式ならば正しく予測できそうか学習 未知の画像データを受け取り 学習した式に基づいて年齢を予測 予測式は 0.1x 1 + 0.2x 2 か？ 66歳 81歳 この画像は 70 歳！ 0.1x 1 + 0.2x 2 20
21. 機械学習: 具体例 機械学習の例 1 顔写真から年齢を推定するプログラム まず、いくつかの学習用データから どういう式ならば正しく予測できそうか学習 未知の画像データを受け取り 学習した式に基づいて年齢を予測 予測式は 0.1x 1 + 0.2x 2 か？ 66歳 81歳 この画像は 70 歳！ 0.1x 1 + 0.2x 2 21
22. 機械学習: 具体例 機械学習の例 2 過去 1 週間分の株価から明日の株価を予想するプログラム まず、いくつかの学習用データから どういう式ならば正しく予測できそうか学習 未知の株価データを受け取り 学習した式に基づいて株価を予測 予測式は 0.5x 1 + 0.7x 2 か？ +50円 -40円 明日は 100 円上がる！ 0.5x 1 + 0.7x 2 22
23. 機械学習: 具体例 機械学習の例 2 過去 1 週間分の株価から明日の株価を予想するプログラム まず、いくつかの学習用データから どういう式ならば正しく予測できそうか学習 未知の株価データを受け取り 学習した式に基づいて株価を予測 予測式は 0.5x 1 + 0.7x 2 か？ +50円 -40円 明日は 100 円上がる！ 0.5x 1 + 0.7x 2 23
24. 機械学習: 具体例 機械学習の例 2 過去 1 週間分の株価から明日の株価を予想するプログラム まず、いくつかの学習用データから どういう式ならば正しく予測できそうか学習 未知の株価データを受け取り 学習した式に基づいて株価を予測 予測式は 0.5x 1 + 0.7x 2 か？ +50円 -40円 明日は 100 円上がる！ 0.5x 1 + 0.7x 2 24
25. 機械学習: 具体例 機械学習の例 3 将棋の局面から勝率を予測するプログラム まず、いくつかの学習用データから どういう式ならば正しく予測できそうか学習 未知の局面データを受け取り 学習した式に基づいて勝率を予測 予測式は 0.8x 1 + 0.9x 2 か？ 80% 10% この局面は勝率 50%！ 0.8x 1 + 0.9x 2 25
26. 機械学習: 具体例 機械学習の例 3 将棋の局面から勝率を予測するプログラム まず、いくつかの学習用データから どういう式ならば正しく予測できそうか学習 未知の局面データを受け取り 学習した式に基づいて勝率を予測 予測式は 0.8x 1 + 0.9x 2 か？ 80% 10% この局面は勝率 50%！ 0.8x 1 + 0.9x 2 26
27. 機械学習: 具体例 機械学習の例 3 将棋の局面から勝率を予測するプログラム まず、いくつかの学習用データから どういう式ならば正しく予測できそうか学習 未知の局面データを受け取り 学習した式に基づいて勝率を予測 予測式は 0.8x 1 + 0.9x 2 か？ 80% 10% この局面は勝率 50%！ 0.8x 1 + 0.9x 2 27
28. 深層学習とは そこで、予測に使う計算式としては 様々なものが考えられます 28
29. 深層学習とは たとえば、0.1×(1ピクセル目) + 0.2×(2ピクセル目) + … のような形の式で予測する方法が考えられます 1 ピクセル目 2 ピクセル目 3 ピクセル目 4 ピクセル目 年齢の 予想 + 0.1×(1ピクセル目) + 0.2×(2ピクセル目) + 0.3×(3ピクセル目) : 29
30. 深層学習とは しかしその中でも、計算にニューラルネットワークを 用いたものが深層学習です 1 ピクセル目 2 ピクセル目 3 ピクセル目 4 ピクセル目 年齢の 予想 30
31. 1.1 1.3 1.2 1.4 深層学習とは ニューラルネットワークとは どうやって学習を行うか ～勾配降下法～ 深層学習の注意点 (1) 1.5 深層学習の注意点 (2)
32. ニューラルネットワークとは 入力層 中間層 出力層 ニューラルネットワークは入力層・中間層・出力層からなり 中間層での演算結果をもとに出力が決まります 32
33. ニューラルネットワークとは 入力層 中間層 出力層 60 50 70 まず入力層で入力 (画像のピクセルなど) を受け取り 1 ピクセル目 2 ピクセル目 3 ピクセル目 33
34. ニューラルネットワークとは 入力層 中間層 出力層 60 50 70 24 21 次に中間層では前の層から順に計算が行われ 1 ピクセル目 2 ピクセル目 3 ピクセル目 34
35. ニューラルネットワークとは 入力層 中間層 出力層 30 0 60 50 70 24 21 次に中間層では前の層から順に計算が行われ 1 ピクセル目 2 ピクセル目 3 ピクセル目 35
36. ニューラルネットワークとは 入力層 中間層 出力層 24 6 30 0 60 50 70 24 21 次に中間層では前の層から順に計算が行われ 1 ピクセル目 2 ピクセル目 3 ピクセル目 36
37. ニューラルネットワークとは 入力層 中間層 出力層 24 6 42 30 0 60 50 70 24 21 最後に出力層で、予測結果 (年齢など) が出力されます 42 歳 1 ピクセル目 2 ピクセル目 3 ピクセル目 37
38. ニューラルネットワークとは 入力層 中間層 出力層 0.1 0.2 0.1 0.0 0.1 0.3 0.9 0.5 0.8 0.6 -0.6 0.4 0.2 0.7 1.5 1.0 ここで、それぞれの線には重みが付けられており この値によって計算結果が決まります 38
39. ニューラルネットワークとは 入力層 中間層 出力層 60 50 70 24 0.1 0.2 0.1 0.0 0.1 0.3 0.9 0.5 0.8 0.6 -0.6 0.4 0.2 0.7 1.5 1.0 具体的には、計算結果は (線の始点)×(重み) の合計ですが 0 未満になった場合は 0 にします※ ※これは代表的な計算方法の一例であることに注意 (他にも計算方法はある)。詳細は本節最後の補足を参照 +70×0.1 +60×0.2 +50×0.1 =24 39
40. ニューラルネットワーク: 具体例 それでは、具体例で実際に計算してみましょう 40
41. ニューラルネットワーク: 具体例 入力層 中間層 出力層 60 50 70 24 0.1 0.2 0.1 0.0 0.1 0.3 0.9 0.5 0.8 0.6 -0.6 0.4 0.2 0.7 1.5 1.0 まず、1 層目上側は 70×0.1 + 60×0.2 + 50×0.1 = 24 41
42. ニューラルネットワーク: 具体例 入力層 中間層 出力層 60 50 70 24 21 0.1 0.2 0.1 0.0 0.1 0.3 0.9 0.5 0.8 0.6 -0.6 0.4 0.2 0.7 1.5 1.0 次に、1 層目下側は 70×0.0 + 60×0.1 + 50×0.3 = 21 42
43. ニューラルネットワーク: 具体例 入力層 中間層 出力層 30 60 50 70 24 21 0.1 0.2 0.1 0.0 0.1 0.3 0.9 0.5 0.8 0.6 -0.6 0.4 0.2 0.7 1.5 1.0 次に、2 層目上側は 24×0.9 + 21×0.4 = 30 43
44. ニューラルネットワーク: 具体例 入力層 中間層 出力層 30 0 60 50 70 24 21 0.1 0.2 0.1 0.0 0.1 0.3 0.9 0.5 0.8 0.6 -0.6 0.4 0.2 0.7 1.5 1.0 次に、2 層目下側は 24×(-0.6) + 21×0.5 = -3.9 だが 0 未満なので計算結果は 0 44
45. ニューラルネットワーク: 具体例 入力層 中間層 出力層 24 30 0 60 50 70 24 21 0.1 0.2 0.1 0.0 0.1 0.3 0.9 0.5 0.8 0.6 -0.6 0.4 0.2 0.7 1.5 1.0 次に、3 層目上側は 30×0.8 + 0×0.7 = 24 45
46. ニューラルネットワーク: 具体例 入力層 中間層 出力層 24 6 30 0 60 50 70 24 21 0.1 0.2 0.1 0.0 0.1 0.3 0.9 0.5 0.8 0.6 -0.6 0.4 0.2 0.7 1.5 1.0 次に、3 層目下側は 30×0.2 + 0×0.6 = 6 46
47. ニューラルネットワーク: 具体例 入力層 中間層 出力層 24 6 42 30 0 60 50 70 24 21 0.1 0.2 0.1 0.0 0.1 0.3 0.9 0.5 0.8 0.6 -0.6 0.4 0.2 0.7 1.5 1.0 最後に、出力は 24×1.5 + 6×1.0 = 42 → 予測年齢は 42 歳 47
48. 深層学習の本質 ここで、どんな重みを付けるかによって 予測精度が大幅に異なる 48
49. 深層学習の本質 たとえば、左の重みを付けると 30 歳以上ずれるのに 右の重みを付けると大体 ±10 歳しかずれないことは良くある 0.1 0.2 0.4 0.3 0.5 0.6 0.4 0.2 0.3 0.4 1.5 1.0 0.3 0.2 0.5 0.1 0.4 0.6 0.5 0.3 0.5 0.5 1.0 1.5 49
50. 深層学習の本質 そこで深層学習では、訓練データでの誤差が 最小になるように学習を行い、重みを決める (訓練データで良いものは実データでも良いだろうという考え方) 50
51. • 誤差の測り方には様々なものがあるが、2 乗 誤差の合計が採用されることが多い • 単純な絶対値の合計ではない理由は様々 • 計算しやすい • 大きい誤差のあるデータが少なくなりやすい • 経験上性能が良くなりやすい etc. 補足: 誤差の測り方 2 乗誤差の例 データ 1 データ 2 データ 3 (28, 34) 誤差 6 (70, 69) 誤差 1 (62, 65) 誤差 3 (予測, 正解) 2 乗誤差の合計は 62 + 12 + 32 = 46 51
52. • 深層学習の計算では、途中で値が 0 未満に なったら 0 にする • この理由は、もし 0 にする処理を行わない 場合、どう重みを決めても出力が 0.1x 1 + 0.2x 2 + 0.3x 3 のような形になり、複雑な式を 表現できなくなるため 補足: なぜ 0 未満を 0 にするのか？ 入力 x 1 入力 x 2 入力 x 3 絶対に 0.1x 1 + 0.2x 2 + 0.3x 3 のような形になってしまう！ 52
53. • 深層学習の計算では、途中で値が 0 未満に なったら 0 にする • この理由は、もし 0 にする処理を行わない 場合、どう重みを決めても出力が 0.1x 1 + 0.2x 2 + 0.3x 3 のような形になり、複雑な式を 表現できなくなるため • 具体例は左図 補足: なぜ 0 未満を 0 にするのか？ 入力 x 1 入力 x 2 入力 x 3 例：上の重みの場合 0.625x 1 + 0.875x 2 + 1.125x 3 0.1 0.2 0.30.4 0.5 0.6 0.5 0.5 0.5 0.5 1.5 1.0 53
54. • 深層学習の計算では、途中で値が 0 未満に なったら 0 にする • この理由は、もし 0 にする処理を行わない 場合、どう重みを決めても出力が 0.1x 1 + 0.2x 2 + 0.3x 3 のような形になり、複雑な式を 表現できなくなるため • 具体例は左図 補足: なぜ 0 未満を 0 にするのか？ 入力 x 1 入力 x 2 入力 x 3 例：上の重みの場合 0.462x 1 + 0.884x 2 + 1.789x 3 0.3 0.1 0.40.1 0.5 0.9 0.1 0.3 0.7 0.9 1.2 1.3 54
55. • 深層学習の計算では、途中で値が 0 未満に なったら 0 にする • この理由は、もし 0 にする処理を行わない 場合、どう重みを決めても出力が 0.1x 1 + 0.2x 2 + 0.3x 3 のような形になり、複雑な式を 表現できなくなるため • 具体例は左図 補足: なぜ 0 未満を 0 にするのか？ 入力 x 1 入力 x 2 入力 x 3 例：上の重みの場合 0.318x 1 + 0.295x 2 + 0.318x 3 0.2 0.3 0.20.5 0.4 0.5 0.3 0.6 0.5 0.4 0.8 0.1 55
56. • ここで、0 未満を 0 にする部分の処理を活性 化関数という • 活性化関数にはそれ以外にもシグモイド関 数などがあるが、とりあえず現段階では「0 未満を 0 にする処理をするのだ」と思って おけばよい 補足: なぜ 0 未満を 0 にするのか？ ※ 0 未満を 0 にする活性化関数は「ReLU」と呼ばれることがある 活性化関数の例 0 未満を 0 にする シグモイド 関数 0 未満を 半分にする 56
57. 1.1 1.3 1.2 1.4 深層学習とは ニューラルネットワークとは どうやって学習を行うか ～勾配降下法～ 深層学習の注意点 (1) 1.5 深層学習の注意点 (2)
58. どうやって学習を行うか 重みの学習は、基本的に 勾配降下法を用いて行う 58
59. 勾配降下法とは 勾配降下法は、ざっくり書くと下図のような流れで行われる 59 ステップ 1 ランダムに重みの初期値を決める ステップ 2 重みを少し変更することで、誤差を小さくする ステップ 3 ステップ 2 を繰り返し、誤差をさらに小さくしていく
60. 勾配降下法とは 勾配降下法は、ざっくり書くと下図のような流れで行われる 60 ステップ 1 ランダムに重みの初期値を決める ステップ 2 重みを少し変更することで、誤差を小さくする ステップ 3 ステップ 2 を繰り返し、誤差をさらに小さくしていく 1.4 1.4 0.6 0.3 0.6 0.6 0.2 0.3 0.4 0.7 0.1 0.8 誤差 1000
61. 勾配降下法とは 勾配降下法は、ざっくり書くと下図のような流れで行われる 61 ステップ 1 ランダムに重みの初期値を決める ステップ 2 重みを少し変更することで、誤差を小さくする ステップ 3 ステップ 2 を繰り返し、誤差をさらに小さくしていく 1.4 1.4 0.6 0.3 0.6 0.6 0.2 0.3 0.4 0.7 0.1 0.8 誤差 1000 1.4 0.3 0.6 0.2 0.3 0.4 0.7 0.1 0.8 誤差 980 -0.1 0.5 -0.1 0.5 -0.1 1.3
62. 勾配降下法とは 勾配降下法は、ざっくり書くと下図のような流れで行われる 62 ステップ 1 ランダムに重みの初期値を決める ステップ 2 重みを少し変更することで、誤差を小さくする ステップ 3 ステップ 2 を繰り返し、誤差をさらに小さくしていく 1.4 1.4 0.6 0.3 0.6 0.6 0.2 0.3 0.4 0.7 0.1 0.8 誤差 1000 1.4 0.3 0.6 0.2 0.3 0.4 0.7 0.1 0.8 誤差 980 1.3 0.5 0.3 0.6 0.5 0.2 0.3 0.7 0.1 0.8 誤差 965 … -0.1 -0.1 -0.1 1.3 0.5 0.5 -0.2 0.2 +0.1 1.5
63. 勾配降下法とは 勾配降下法は、ざっくり書くと下図のような流れで行われる 63 ステップ 1 ランダムに重みの初期値を決める ステップ 2 重みを少し変更することで、誤差を小さくする ステップ 3 ステップ 2 を繰り返し、誤差をさらに小さくしていく 1.4 1.4 0.6 0.3 0.6 0.6 0.2 0.3 0.4 0.7 0.1 0.8 誤差 1000 1.4 0.3 0.6 0.2 0.3 0.4 0.7 0.1 0.8 誤差 980 1.3 0.5 0.3 0.6 0.5 0.2 0.3 0.7 0.1 0.8 誤差 965 … -0.1 -0.1 -0.1 1.3 0.5 0.5 -0.2 0.2 +0.1 1.5 では、誤差が減るように重みを変えるには どうすれば良いか？
64. 誤差を減らすには ところで、1 本の線の重みを ちょっとだけ変更することを考える 64
65. 1.4 1.4 誤差を減らすには 0.6 0.3 0.6 0.6 0.2 0.3 0.4 0.7 0.1 0.8 1.4 1.4 0.601 0.3 0.6 0.6 0.2 0.3 0.4 0.7 0.1 0.8 誤差が減る • 重みを増やしたら誤差が減った場合 → (当然だが) 重みを増やした方が良さそう！ 65
66. 1.4 1.4 • 重みを増やしたら誤差が減った場合 → (当然だが) 重みを増やした方が良さそう！ • 重みを増やしたら誤差が増えた場合 誤差を減らすには 0.6 0.3 0.6 0.6 0.2 0.3 0.4 0.7 0.1 0.8 1.4 1.4 0.601 0.3 0.6 0.6 0.2 0.3 0.4 0.7 0.1 0.8 誤差が増える 66
67. 誤差が増える 1.4 1.4 • 重みを増やしたら誤差が減った場合 → (当然だが) 重みを増やした方が良さそう！ • 重みを増やしたら誤差が増えた場合 → 逆に重みを 減らした方が良さそう！ 誤差を減らすには 0.6 0.3 0.6 0.6 0.2 0.3 0.4 0.7 0.1 0.8 1.4 1.4 0.601 0.3 0.6 0.6 0.2 0.3 0.4 0.7 0.1 0.8 1.4 1.4 0.599 0.3 0.6 0.6 0.2 0.3 0.4 0.7 0.1 0.8 誤差が減りそう 67
68. 1.4 1.4 • 重みを増やしたら誤差が減った場合 → (当然だが) 重みを増やした方が良さそう！ • 重みを増やしたら誤差が増えた場合 → 逆に重みを 減らした方が良さそう！ • 重みを増やしたら誤差がほぼ変わらなかった場合 → 重みを増やしても減らしても意味無さそう！ 誤差を減らすには 0.6 0.3 0.6 0.6 0.2 0.3 0.4 0.7 0.1 0.8 1.4 1.4 0.601 0.3 0.6 0.6 0.2 0.3 0.4 0.7 0.1 0.8 誤差が変わらない 68
69. 誤差を減らすには まとめると、ある線の重みをちょっとだけ増やしたとき 誤差が大きく減少 → 重みを増やした方が良さそう 誤差がほぼ不変 → 減らしても増やしても意味ない 誤差が大きく増加 → 重みを減らした方が良さそう 69
70. 誤差を減らすには まとめると、ある線の重みをちょっとだけ増やしたとき 誤差が大きく減少 → 重みを増やした方が良さそう 誤差がほぼ不変 → 減らしても増やしても意味ない 誤差が大きく増加 → 重みを減らした方が良さそう 70 そこで右図のように、誤差の減少分に比例して 重みを増やせばよいのでは？ 誤差 -30 誤差 0-5 誤差 0+5 誤差 +30 重み +0.30 重み +0.05 重み -0.05 重み -0.30 重要
71. 誤差を減らすには 71 答え
72. 誤差を減らす方法 72 手順 A 各線について、この線の重みだけをちょっとだけ増やしたとき 1 当たり誤差がどれくらい減るかをメモする
73. 誤差を減らす方法 73 手順 A 各線について、この線の重みだけをちょっとだけ増やしたとき 1 当たり誤差がどれくらい減るかをメモする 1.4 1.4 0.6 0.3 0.6 0.6 0.2 0.3 例 1: 以下の変更で誤差が 0.3 減った場合 1.4 1.4 0.601 0.3 0.6 0.6 0.2 0.3 ?? ?? ?? ?? ?? ?? ?? ?? メモ ※要は偏微分を計算するということだが、大学レベルの知識になってしまうので、このような説明の仕方を行った
74. 誤差を減らす方法 74 手順 A 各線について、この線の重みだけをちょっとだけ増やしたとき 1 当たり誤差がどれくらい減るかをメモする 例 1: 以下の変更で誤差が 0.3 減った場合 ?? ?? 300 ?? ?? ?? ?? ?? メモ 0.001 の変更で 誤差が 0.3 減る → 300 をメモ 1.4 1.4 0.6 0.3 0.6 0.6 0.2 0.3 1.4 1.4 0.601 0.3 0.6 0.6 0.2 0.3 ※要は偏微分を計算するということだが、大学レベルの知識になってしまうので、このような説明の仕方を行った
75. 誤差を減らす方法 75 手順 A 各線について、この線の重みだけをちょっとだけ増やしたとき 1 当たり誤差がどれくらい減るかをメモする 1.4 1.4 0.6 0.3 0.6 0.6 0.2 0.3 例 2: 以下の変更で誤差が 0.2 増えた場合 1.4 1.4 0.6 0.3 0.6 0.6 0.201 0.3 ?? ?? 300 ?? ?? ?? ?? ?? メモ ※要は偏微分を計算するということだが、大学レベルの知識になってしまうので、このような説明の仕方を行った
76. 誤差を減らす方法 76 手順 A 各線について、この線の重みだけをちょっとだけ増やしたとき 1 当たり誤差がどれくらい減るかをメモする 1.4 1.4 0.6 0.3 0.6 0.6 0.2 0.3 例 2: 以下の変更で誤差が 0.2 増えた場合 1.4 1.4 0.6 0.3 0.6 0.6 0.201 0.3 ?? ?? 300 ?? ?? ?? -200 ?? メモ 0.001 の変更で 誤差が -0.2 減る → -200 をメモ ※要は偏微分を計算するということだが、大学レベルの知識になってしまうので、このような説明の仕方を行った
77. 誤差を減らす方法 77 手順 A 各線について、この線の重みだけをちょっとだけ増やしたとき 1 当たり誤差がどれくらい減るかをメモする 1.4 1.4 0.6 0.3 0.6 0.6 0.2 0.3 例 3: 以下の変更で誤差が変わらなかった場合 1.4 1.4 0.3 0.6 0.6 0.2 0.301 ?? ?? 300 ?? ?? ?? -200 ?? メモ 0.6 ※要は偏微分を計算するということだが、大学レベルの知識になってしまうので、このような説明の仕方を行った
78. 誤差を減らす方法 78 手順 A 各線について、この線の重みだけをちょっとだけ増やしたとき 1 当たり誤差がどれくらい減るかをメモする 1.4 1.4 0.6 0.3 0.6 0.6 0.2 0.3 例 3: 以下の変更で誤差が変わらなかった場合 1.4 1.4 0.3 0.6 0.6 0.2 0.301 ?? ?? 300 ?? ?? ?? -200 0 メモ 0.6 0.001 の変更で 誤差が 0 減る → 0 をメモ ※要は偏微分を計算するということだが、大学レベルの知識になってしまうので、このような説明の仕方を行った
79. 誤差を減らす方法 79 手順 B メモした値の何倍か (0.001 倍など) を各線に足す
80. 誤差を減らす方法 80 手順 B メモした値の何倍か (0.001 倍など) を各線に足す メモ 300 -100 100 400 -200 300 -200 0 元々の状態 0.2 0.6 0.5 0.1 1.5 1.0 0.4 0.3 新しい状態 ?? ?? ?? ?? ?? ?? ?? ??
81. 誤差を減らす方法 メモ 300 -100 100 400 -200 300 -200 0 元々の状態 0.2 0.6 0.5 0.1 1.5 1.0 0.4 0.3 新しい状態 0.5 ?? ?? ?? ?? ?? ?? ?? 0.001×300 =0.3 を足す 81 手順 B メモした値の何倍か (0.001 倍など) を各線に足す
82. 誤差を減らす方法 メモ 300 -100 100 400 -200 300 0 元々の状態 0.2 0.6 0.5 0.1 1.5 1.0 0.3 新しい状態 0.5 ?? ?? ?? ?? ?? ?? 0.001×200 = -0.2 を足す -200 0.4 0.2 82 手順 B メモした値の何倍か (0.001 倍など) を各線に足す
83. 誤差を減らす方法 メモ 300 -100 100 400 -200 300 元々の状態 0.2 0.6 0.5 0.1 1.5 1.0 新しい状態 0.5 ?? ?? ?? ?? ?? 0.001×0 = 0 を足す -200 0.4 0.2 0 0.3 0.3 83 手順 B メモした値の何倍か (0.001 倍など) を各線に足す
84. 誤差を減らす方法 メモ 300 100 400 -200 300 元々の状態 0.2 0.5 0.1 1.5 1.0 新しい状態 0.5 ?? ?? ?? ?? -200 0.4 0.2 0 0.3 0.3 0.001×-100 = -0.1 を足す -100 0.6 0.5 84 手順 B メモした値の何倍か (0.001 倍など) を各線に足す
85. 誤差を減らす方法 メモ 300 400 -200 300 元々の状態 0.2 0.1 1.5 1.0 新しい状態 0.5 ?? ?? ?? -200 0.4 0.2 0 0.3 0.3 -100 0.6 0.5 100 0.5 0.6 0.001×100 = 0.1 を足す 85 手順 B メモした値の何倍か (0.001 倍など) を各線に足す
86. 誤差を減らす方法 メモ 300 -200 300 元々の状態 0.2 1.5 1.0 新しい状態 0.5 ?? ?? -200 0.4 0.2 0 0.3 0.3 -100 0.6 0.5 100 0.5 0.6 400 0.1 0.5 0.001×400 = 0.4 を足す 86 手順 B メモした値の何倍か (0.001 倍など) を各線に足す
87. 誤差を減らす方法 メモ 300 300 元々の状態 0.2 1.0 新しい状態 0.5 ?? -200 0.4 0.2 0 0.3 0.3 -100 0.6 0.5 100 0.5 0.6 400 0.1 0.5 0.001×-200 = -0.2 を足す -200 1.5 1.3 87 手順 B メモした値の何倍か (0.001 倍など) を各線に足す
88. 誤差を減らす方法 メモ 300 300 元々の状態 0.2 1.0 新しい状態 0.5 1.3 -200 0.4 0.2 0 0.3 0.3 -100 0.6 0.5 100 0.5 0.6 400 0.1 0.5 0.001×300 = 0.3 を足す -200 1.5 1.3 88 手順 B メモした値の何倍か (0.001 倍など) を各線に足す
89. 誤差を減らす方法 メモ 300 300 元々の状態 0.2 1.0 新しい状態 0.5 1.3 -200 0.4 0.2 0 0.3 0.3 -100 0.6 0.5 100 0.5 0.6 400 0.1 0.5 0.001×300 = 0.3 を足す -200 1.5 1.3 89 手順 B メモした値の何倍か (0.001 倍など) を各線に足す あとはこの手順を 何度も繰り返していくだけ！
90. • 手順 A では「重み 1 当たり誤差がどれくらい下がるか」を計算したが、実 は直接計算する必要はない • 誤差逆伝播法という効率的な計算方法が知られており、実用上はこれが使 われている (大学範囲なので本講演では説明しない) 補足: 誤差逆伝播法 90
91. 1.1 1.3 1.2 1.4 深層学習とは ニューラルネットワークとは どうやって学習を行うか ～勾配降下法～ 深層学習の注意点 (1) 1.5 深層学習の注意点 (2)
92. 深層学習の注意点 一般的に、ネットワークを大きくすればするほど 学習後の訓練データでの誤差は小さくなる 誤差 大 誤差 中 誤差 小 > > 92
93. 深層学習の注意点 しかし、未知データの誤差は 小さくなるとは限らない！ 93
94. 深層学習の注意点 しかし、実データの誤差は 小さくなるとは限らない！ なぜ？ → 関数の近似で理解しよう 94
95. 関数の近似で理解しよう x y 5 4 3 2 1 1 2 3 4 5 6 例として、上図のデータを関数で近似したいとする (データは y=0.5x+2 プラスマイナス誤差であるとする) 訓練データ 未知データ 95
96. 関数の近似で理解しよう x y 5 4 3 2 1 1 2 3 4 5 6 確かに訓練データでは、1 次関数より 3 次関数※ の方が 精度よく近似できている x y 5 4 3 2 1 1 2 3 4 5 6 1 次 関 数 3 次 関 数 ※ 3 次関数は、y=〇x3 + 〇x2 + 〇x + 〇 の形で表される関数のことを指す 96
97. 関数の近似で理解しよう x y 5 4 3 2 1 1 2 3 4 5 6 ところが未知データでは、3 次関数の方が 何倍も誤差が出てしまっている！ x y 5 4 3 2 1 1 2 3 4 5 6 1 次 関 数 3 次 関 数 97
98. 深層学習の注意点 このような問題は 過学習 と呼ばれており、機械学習の重要な課題の 1 つである 98
99. • したがって、深層学習を使う際は、ニューラルネットワークの大きさを 適切に決める必要がある • 他にも、データ数を増やすなどの対策もある (訓練データが多いと、同じ 大きさでも過学習が起こりづらくなる) 深層学習の注意点 99
100. 1.1 1.3 1.2 1.4 深層学習とは ニューラルネットワークとは どうやって学習を行うか ～勾配降下法～ 深層学習の注意点 (1) 1.5 深層学習の注意点 (2)
101. 深層学習の注意点 (2) 101 1.3 節では、メモした値の 0.001 倍を足すと記したが この 0.001 の部分を 学習率 という
102. 深層学習の注意点 (2) 102 そして一般には、学習率を大きくするほど 重みが速く変わるため、学習が速く進む 学習率 0.0001 誤差 1000 1.4 1.4 0.6 0.3 0.6 0.6 0.2 0.3 誤差 960 1.4 1.4 0.63 0.29 0.61 0.61 0.18 0.29 誤差 770 1.4 1.4 0.9 0.2 0.7 0.7 0.0 0.2 学習率 0.001
103. 深層学習の注意点 (2) 103 しかし、学習率を大きくしすぎると 重みが変化しすぎるため、逆に誤差が増えてしまう※ 学習率 0.001 誤差 1000 1.4 1.4 0.6 0.3 0.6 0.6 0.2 0.3 誤差 15000 1.4 1.4 30.6 -9.7 10.6 10.6 -19.8 -9.7 学習率 0.1 誤差 770 1.4 1.4 0.9 0.2 0.7 0.7 0.0 0.2 ※最適な場所を通り過ぎてしまう、と考えておくとよい
104. 深層学習の注意点 (2) 104 しかし、学習率を大きくしすぎると 重みが変化しすぎるため、逆に誤差が増えてしまう※ 学習率 0.001 誤差 1000 1.4 1.4 0.6 0.3 0.6 0.6 0.2 0.3 誤差 15000 1.4 1.4 30.6 -9.7 10.6 10.6 -19.8 -9.7 学習率 0.1 誤差 770 1.4 1.4 0.9 0.2 0.7 0.7 0.0 0.2 ※最適な場所を通り過ぎてしまう、と考えておくとよい したがって、学習率の調整も重要 大きすぎても小さすぎてもダメ
105. 第 2 章 応用編
106. 第 2 章について 第 1 章では、出力層が 1 個しかなく、隣接する層が全部線で結ばれた 単純なニューラルネットワークを説明した 入力層 中間層 出力層 106
107. 第 2 章について もちろんこの方法で解ける問題もあるが… あらゆる深層学習の問題が 解けるわけではない 107
108. 第 2 章について たとえば上図のような代表的な問題は 第 1 章の単純な方法では精度がそれほど出ないことが多い 分類問題 画像認識 言語処理 犬 猫 馬 108
109. 第 2 章について それぞれの代表的な問題に対する 解決策を紹介します そこで本章では 109
110. 2.1 2.3 2.2 分類問題 画像認識問題 音声処理・自然言語処理
111. まず、次の問題を考えよう 35度 30度 25度 晴 曇 雨 0 時, 1 時, 2 時, …, 24 時の気温を受け取り この日は晴れ／曇り／雨のどれであるかを正確に判定してみよう 111
112. 単純な方法 一番単純な方法は、1 章のニューラルネットワークを使い 出力が 1.5 未満なら晴れ、1.5～2.5 なら曇り、2.5 以上なら雨とする 入力層 中間層 出力層 0 時: 26.6度 1 時: 26.7度 : 24 時: 24.3度 3.3 なので雨 112
113. 単純な方法 一番単純な方法は、1 章のニューラルネットワークを使い 出力が 1.5 未満なら晴れ、1.5～2.5 なら曇り、2.5 以上なら雨とする 入力層 中間層 出力層 0 時: 26.6度 1 時: 26.7度 : 24 時: 24.3度 2.3 なので雨 しかしこの方法では 精度が出ない 113
114. • 3 クラスに分類する場合より、100 クラスとか に分類する場合を考えるとわかりやすい • 1.5 以下のときグループ 1、1.5～2.5 のときグ ループ 2、2.5～3.5 のときグループ 3…、と割 り振る場合を考える • このとき、自信を持ってグループ 50 だと言え る入力についても、少し誤差が加わっただけ でグループ 49 や 51 に変わってしまう！ 精度が出ない理由 7.00 5.00 6.00 50.0 7.02 5.01 6.03 50.6 グループ 51 グループ 50 わずかな誤差 114
115. 解決策 そこで 出力層を増やす戦略を使おう！ 115
116. 分類問題の解き方 分類問題では、3 つの出力層を用意し どれが一番大きいかで晴れ／曇り／雨かを決める戦略が有効 入力層 中間層 出力層 0 時: 26.6度 1 時: 26.7度 : 24 時: 24.3度 晴れ: 4.0 曇り: 5.0 雨: 8.0 雨が一番大きい →答えは雨だ！ 116
117. これで上手くいく理由 なぜこれで上手くいくか？ 117
118. これで上手くいく理由 • たとえば 100 クラス分類でグループ 50 が答えの場合を考える • もし答えに自信がある場合、入力に 少し誤差が出たくらいではグループ 50 が最大であることは揺らがない • 前述の問題点が解消される 7.00 5.00 6.00 グループ 50: 40.0 その他最大: 8.0 7.02 5.01 6.03 グループ 50: 38.9 その他最大: 8.5 わずかな誤差 118
119. 発展: 確率付き分類 実は「確率 95% で雨」のように、確率付きの 分類を行うこともできる 具体的には、晴, 曇, 雨の出力がそれぞれ a, b, c とし、e=2.718… を自然対数の底とすると • 晴の予測確率は ea ÷ (ea + eb + ec)※ • 曇の予測確率は eb ÷ (ea + eb + ec)※ • 雨の予測確率は ec ÷ (ea + eb + ec)※ ※別に e の何乗ではなく 2 の何乗、としても本質的には変わらないが、後々計算しやすいのでこの値を用いることが多い 晴れ 4.0 曇り 5.0 雨 8.0 e4 + e5 + e8 e4 = 約 2% e4 + e5 + e8 e5 = 約 5% e4 + e5 + e8 e8 = 約 94% 119
120. 2.1 2.3 2.2 分類問題 画像認識問題 音声処理・自然言語処理
121. まず、次の問題を考えよう 1 章冒頭の例と同様に顔写真を受け取り その人の年齢をできるだけ正確に予測してみよう 70 歳 121
122. 単純な方法 一番単純な方法は、1 章のニューラルネットワークを使い 入力としては左上のピクセルから順に並べる 入力層 中間層 出力層 (1, 1) ピクセル (1, 2) ピクセル : (40, 50) ピクセル 122
123. 単純な方法 一番単純な方法は、1 章のニューラルネットワークを使い 入力としては左上のピクセルから順に並べる 入力層 中間層 出力層 (1, 1) ピクセル (1, 2) ピクセル : (50, 40) ピクセル しかしこの方法では 精度が出ない 123
124. 精度が出ない理由 画像データを分析する際は、周辺のピクセルとの関係性が重要 しかし前述の方法では、この関係性が学習されづらい 関係性の例 このあたりに 線がありそう 124
125. 解決策 そこで 畳み込みニューラルネットワーク を使おう！ 125
126. 畳み込みニューラルネットワーク 畳み込みニューラルネットワーク (CNN) は、以下の手順からなる ステップ 1 畳み込み操作・プーリング操作を何回か行う ステップ 2 その後、操作を行った後の画像に対して 1 章のニューラルネットワークを通す 具体例は後述 126
127. 畳み込みニューラルネットワーク ステップ 1-1 まず、あるフィルタ※ に対して畳み込みを行う 畳み込みは画像にフィルタを重ねて、掛け算の合計を求める処理 (文章より例を見た方が分かりやすいと思う) ※フィルタは複数枚あるのが一般的だが、ここではわかりやすさの都合上 1 枚であるとする 1 0 2 0 1 2 2 1 0 3 0 0 1 0 0 1 2 2 2 3 0 1 2 1 1 1 2 3 4 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 畳み込み前 フィルタ 畳み込み後 127
128. 畳み込みニューラルネットワーク ステップ 1-1 まず、あるフィルタ※ に対して畳み込みを行う 畳み込みは画像にフィルタを重ねて、掛け算の合計を求める処理 (文章より例を見た方が分かりやすいと思う) ※フィルタは複数枚あるのが一般的だが、ここではわかりやすさの都合上 1 枚であるとする 1 0 2 0 1 2 2 1 0 3 0 0 1 0 0 1 2 2 2 3 0 1 2 1 1 1 2 3 4 15 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 畳み込み前 フィルタ 畳み込み後 ×1 ×2 ×3 ×4 1×1+0×2 2×3+2×4 = 15 128
129. 畳み込みニューラルネットワーク ステップ 1-1 まず、あるフィルタ※ に対して畳み込みを行う 畳み込みは画像にフィルタを重ねて、掛け算の合計を求める処理 (文章より例を見た方が分かりやすいと思う) ※フィルタは複数枚あるのが一般的だが、ここではわかりやすさの都合上 1 枚であるとする 1 0 2 0 1 2 2 1 0 3 0 0 1 0 0 1 2 2 2 3 0 1 2 1 1 1 2 3 4 15 14 ? ? ? ? ? ? ? ? ? ? ? ? ? ? 畳み込み前 フィルタ 畳み込み後 ×1 ×2 ×3 ×4 0×1+2×2 2×3+1×4 = 14 129
130. 畳み込みニューラルネットワーク ステップ 1-1 まず、あるフィルタ※ に対して畳み込みを行う 畳み込みは画像にフィルタを重ねて、掛け算の合計を求める処理 (文章より例を見た方が分かりやすいと思う) ※フィルタは複数枚あるのが一般的だが、ここではわかりやすさの都合上 1 枚であるとする 1 0 2 0 1 2 2 1 0 3 0 0 1 0 0 1 2 2 2 3 0 1 2 1 1 1 2 3 4 15 14 5 ? ? ? ? ? ? ? ? ? ? ? ? ? 畳み込み前 フィルタ 畳み込み後 ×1 ×2 ×3 ×4 2×1+0×2 1×3+0×4 = 5 130
131. 畳み込みニューラルネットワーク ステップ 1-1 まず、あるフィルタ※ に対して畳み込みを行う 畳み込みは画像にフィルタを重ねて、掛け算の合計を求める処理 (文章より例を見た方が分かりやすいと思う) ※フィルタは複数枚あるのが一般的だが、ここではわかりやすさの都合上 1 枚であるとする 1 0 2 0 1 2 2 1 0 3 0 0 1 0 0 1 2 2 2 3 0 1 2 1 1 1 2 3 4 15 14 5 14 ? ? ? ? ? ? ? ? ? ? ? ? 畳み込み前 フィルタ 畳み込み後 ×1 ×2 ×3 ×4 0×1+1×2 0×3+3×4 = 14 131
132. 畳み込みニューラルネットワーク ステップ 1-1 まず、あるフィルタ※ に対して畳み込みを行う 畳み込みは画像にフィルタを重ねて、掛け算の合計を求める処理 (文章より例を見た方が分かりやすいと思う) ※フィルタは複数枚あるのが一般的だが、ここではわかりやすさの都合上 1 枚であるとする 1 0 2 0 1 2 2 1 0 3 0 0 1 0 0 1 2 2 2 3 0 1 2 1 1 1 2 3 4 15 14 5 14 6 ? ? ? ? ? ? ? ? ? ? ? 畳み込み前 フィルタ 畳み込み後 ×1 ×2 ×3 ×4 2×1+2×2 0×3+0×4 = 6 132
133. 畳み込みニューラルネットワーク ステップ 1-1 まず、あるフィルタ※ に対して畳み込みを行う 畳み込みは画像にフィルタを重ねて、掛け算の合計を求める処理 (文章より例を見た方が分かりやすいと思う) ※フィルタは複数枚あるのが一般的だが、ここではわかりやすさの都合上 1 枚であるとする 1 0 2 0 1 2 2 1 0 3 0 0 1 0 0 1 2 2 2 3 0 1 2 1 1 1 2 3 4 15 14 5 14 6 8 ? ? ? ? ? ? ? ? ? ? 畳み込み前 フィルタ 畳み込み後 ×1 ×2 ×3 ×4 2×1+1×2 0×3+1×4 = 8 133
134. 畳み込みニューラルネットワーク ステップ 1-1 まず、あるフィルタ※ に対して畳み込みを行う 畳み込みは画像にフィルタを重ねて、掛け算の合計を求める処理 (文章より例を見た方が分かりやすいと思う) ※フィルタは複数枚あるのが一般的だが、ここではわかりやすさの都合上 1 枚であるとする 1 0 2 0 1 2 2 1 0 3 0 0 1 0 0 1 2 2 2 3 0 1 2 1 1 1 2 3 4 15 14 5 14 6 8 5 ? ? ? ? ? ? ? ? ? 畳み込み前 フィルタ 畳み込み後 ×1 ×2 ×3 ×4 1×1+0×2 1×3+0×4 = 5 134
135. 畳み込みニューラルネットワーク ステップ 1-1 まず、あるフィルタ※ に対して畳み込みを行う 畳み込みは画像にフィルタを重ねて、掛け算の合計を求める処理 (文章より例を見た方が分かりやすいと思う) ※フィルタは複数枚あるのが一般的だが、ここではわかりやすさの都合上 1 枚であるとする 1 0 2 0 1 2 2 1 0 3 0 0 1 0 0 1 2 2 2 3 0 1 2 1 1 1 2 3 4 15 14 5 14 6 8 5 6 ? ? ? ? ? ? ? ? 畳み込み前 フィルタ 畳み込み後 ×1 ×2 ×3 ×4 0×1+3×2 0×3+0×4 = 6 135
136. 畳み込みニューラルネットワーク ステップ 1-1 まず、あるフィルタ※ に対して畳み込みを行う 畳み込みは画像にフィルタを重ねて、掛け算の合計を求める処理 (文章より例を見た方が分かりやすいと思う) ※フィルタは複数枚あるのが一般的だが、ここではわかりやすさの都合上 1 枚であるとする 1 0 2 0 1 2 2 1 0 3 0 0 1 0 0 1 2 2 2 3 0 1 2 1 1 1 2 3 4 15 14 5 14 6 8 5 6 11 ? ? ? ? ? ? ? 畳み込み前 フィルタ 畳み込み後 ×1 ×2 ×3 ×4 0×1+0×2 1×3+2×4 = 9 136
137. 畳み込みニューラルネットワーク ステップ 1-1 まず、あるフィルタ※ に対して畳み込みを行う 畳み込みは画像にフィルタを重ねて、掛け算の合計を求める処理 (文章より例を見た方が分かりやすいと思う) ※フィルタは複数枚あるのが一般的だが、ここではわかりやすさの都合上 1 枚であるとする 1 0 2 0 1 2 2 1 0 3 0 0 1 0 0 1 2 2 2 3 0 1 2 1 1 1 2 3 4 15 14 5 14 6 8 5 6 11 16 ? ? ? ? ? ? 畳み込み前 フィルタ 畳み込み後 ×1 ×2 ×3 ×4 0×1+1×2 2×3+2×4 = 16 137
138. 畳み込みニューラルネットワーク ステップ 1-1 まず、あるフィルタ※ に対して畳み込みを行う 畳み込みは画像にフィルタを重ねて、掛け算の合計を求める処理 (文章より例を見た方が分かりやすいと思う) ※フィルタは複数枚あるのが一般的だが、ここではわかりやすさの都合上 1 枚であるとする 1 0 2 0 1 2 2 1 0 3 0 0 1 0 0 1 2 2 2 3 0 1 2 1 1 1 2 3 4 15 14 5 14 6 8 5 6 11 16 15 ? ? ? ? ? 畳み込み前 フィルタ 畳み込み後 ×1 ×2 ×3 ×4 1×1+0×2 2×3+2×4 = 15 138
139. 畳み込みニューラルネットワーク ステップ 1-1 まず、あるフィルタ※ に対して畳み込みを行う 畳み込みは画像にフィルタを重ねて、掛け算の合計を求める処理 (文章より例を見た方が分かりやすいと思う) ※フィルタは複数枚あるのが一般的だが、ここではわかりやすさの都合上 1 枚であるとする 1 0 2 0 1 2 2 1 0 3 0 0 1 0 0 1 2 2 2 3 0 1 2 1 1 1 2 3 4 15 14 5 14 6 8 5 6 11 16 15 18 ? ? ? ? 畳み込み前 フィルタ 畳み込み後 ×1 ×2 ×3 ×4 0×1+0×2 2×3+3×4 = 18 139
140. 畳み込みニューラルネットワーク ステップ 1-1 まず、あるフィルタ※ に対して畳み込みを行う 畳み込みは画像にフィルタを重ねて、掛け算の合計を求める処理 (文章より例を見た方が分かりやすいと思う) ※フィルタは複数枚あるのが一般的だが、ここではわかりやすさの都合上 1 枚であるとする 1 0 2 0 1 2 2 1 0 3 0 0 1 0 0 1 2 2 2 3 0 1 2 1 1 1 2 3 4 15 14 5 14 6 8 5 6 11 16 15 18 9 ? ? ? 畳み込み前 フィルタ 畳み込み後 ×1 ×2 ×3 ×4 1×1+2×2 0×3+1×4 = 9 140
141. 畳み込みニューラルネットワーク ステップ 1-1 まず、あるフィルタ※ に対して畳み込みを行う 畳み込みは画像にフィルタを重ねて、掛け算の合計を求める処理 (文章より例を見た方が分かりやすいと思う) ※フィルタは複数枚あるのが一般的だが、ここではわかりやすさの都合上 1 枚であるとする 1 0 2 0 1 2 2 1 0 3 0 0 1 0 0 1 2 2 2 3 0 1 2 1 1 1 2 3 4 15 14 5 14 6 8 5 6 11 16 15 18 9 17 ? ? 畳み込み前 フィルタ 畳み込み後 ×1 ×2 ×3 ×4 2×1+2×2 1×3+2×4 = 17 141
142. 畳み込みニューラルネットワーク ステップ 1-1 まず、あるフィルタ※ に対して畳み込みを行う 畳み込みは画像にフィルタを重ねて、掛け算の合計を求める処理 (文章より例を見た方が分かりやすいと思う) ※フィルタは複数枚あるのが一般的だが、ここではわかりやすさの都合上 1 枚であるとする 1 0 2 0 1 2 2 1 0 3 0 0 1 0 0 1 2 2 2 3 0 1 2 1 1 1 2 3 4 15 14 5 14 6 8 5 6 11 16 15 18 9 17 16 ? 畳み込み前 フィルタ 畳み込み後 ×1 ×2 ×3 ×4 2×1+2×2 2×3+1×4 = 16 142
143. 畳み込みニューラルネットワーク ステップ 1-1 まず、あるフィルタ※ に対して畳み込みを行う 畳み込みは画像にフィルタを重ねて、掛け算の合計を求める処理 (文章より例を見た方が分かりやすいと思う) ※フィルタは複数枚あるのが一般的だが、ここではわかりやすさの都合上 1 枚であるとする 1 0 2 0 1 2 2 1 0 3 0 0 1 0 0 1 2 2 2 3 0 1 2 1 1 1 2 3 4 15 14 5 14 6 8 5 6 11 16 15 18 9 17 16 15 畳み込み前 フィルタ 畳み込み後 ×1 ×2 ×3 ×4 2×1+3×2 1×3+1×4 = 15 143
144. 畳み込みニューラルネットワーク ステップ 1-2 次に、畳み込みをしたデータに対してプーリングを行う プーリングは 2×2 毎※に区切って max (または平均) を取る処理 ※もちろん、2×2 毎ではなく 3×3 毎などになる場合もある 144
145. 畳み込みニューラルネットワーク ステップ 1-2 次に、畳み込みをしたデータに対してプーリングを行う プーリングは 2×2 毎※に区切って max (または平均) を取る処理 ※もちろん、2×2 毎ではなく 3×3 毎などになる場合もある 15 14 5 14 6 8 5 6 9 16 15 18 9 17 16 15 最大値は 15 15 ? ? ? 145
146. 畳み込みニューラルネットワーク ステップ 1-2 次に、畳み込みをしたデータに対してプーリングを行う プーリングは 2×2 毎※に区切って max (または平均) を取る処理 ※もちろん、2×2 毎ではなく 3×3 毎などになる場合もある 15 14 5 14 6 8 5 6 9 16 15 18 9 17 16 15 最大値は 14 15 14 ? ? 146
147. 畳み込みニューラルネットワーク ステップ 1-2 次に、畳み込みをしたデータに対してプーリングを行う プーリングは 2×2 毎※に区切って max (または平均) を取る処理 ※もちろん、2×2 毎ではなく 3×3 毎などになる場合もある 15 14 5 14 6 8 5 6 9 16 15 18 9 17 16 15 最大値は 17 15 14 17 ? 147
148. 畳み込みニューラルネットワーク ステップ 1-2 次に、畳み込みをしたデータに対してプーリングを行う プーリングは 2×2 毎※に区切って max (または平均) を取る処理 ※もちろん、2×2 毎ではなく 3×3 毎などになる場合もある 15 14 5 14 6 8 5 6 9 16 15 18 9 17 16 15 最大値は 18 15 14 17 18 148
149. 畳み込みニューラルネットワーク ステップ 2 最後に、畳み込み・プーリングを行ったデータに対して 1 章のニューラルネットワークを適用する 入力層 中間層 出力層 15 14 17 18 プーリング後 15 14 17 18 149
150. • 畳み込みニューラルネットワークは、畳み込み・プーリング処理によって 周辺のピクセルとの関係性を取り入れられる • したがって、単純な方法における問題点が解消され、精度が向上する なぜ上手くいくか？ 150
151. 2.1 2.3 2.2 分類問題 画像認識問題 音声処理・自然言語処理
152. まず、次の問題を考えよう 音声データを受け取り それが人の声であるかどうかを判定してみよう 152
153. 単純な方法 一番単純な方法は、各フレームでの音の大きさを入力として 出力が 2 個の単純なニューラルネットワークを使う方法 入力層 中間層 出力層 1 フレーム目: 60dB 2 フレーム目: 50dB 3 フレーム目: 40dB 4 フレーム目: 70dB 人の声である 人の声でない 153
154. 単純な方法 一番単純な方法は、各フレームでの音の大きさを入力として 出力が 2 個の単純なニューラルネットワークを使う方法 入力層 中間層 出力層 1 フレーム目: 60dB 2 フレーム目: 50dB 3 フレーム目: 40dB 4 フレーム目: 70dB 人の声である 人の声でない 154 しかしこの方法では 精度が出ない
155. • 音声分析では、前のフレームとの関係性が 非常に重要 • しかし単純な方法では、前のフレームとの 関係性よりも「どのフレームにどの音が 鳴ったか」の方が重要視されてしまう • たとえば例 1 と例 2 で全然違う判定になる ということもあり得る 精度が出ない理由 例 1 例 2 大 小 大 小 時間がずれただけ 155
156. 解決策 そこで リカレントニューラルネットワーク を使おう！ 156
157. リカレントニューラルネットワーク リカレントニューラルネットワークは 上図のように前の状態を入力としたネットワーク構造 1 個目の データ 2 個目の データ 3 個目の データ 4 個目の データ 出力 そのまま コピー そのまま コピー そのまま コピー 157
158. リカレントニューラルネットワーク 1 フレーム目の結果は 1 フレーム目の入力データから決まり 1 個目の データ 2 個目の データ 3 個目の データ 4 個目の データ 出力 そのまま コピー そのまま コピー そのまま コピー 158
159. リカレントニューラルネットワーク 2 フレーム目の結果は 1 フレーム目の中間層と 2 フレーム目の入力データから決まり 1 個目の データ 2 個目の データ 3 個目の データ 4 個目の データ 出力 そのまま コピー そのまま コピー そのまま コピー 159
160. リカレントニューラルネットワーク 3 フレーム目の結果は 2 フレーム目の中間層と 3 フレーム目の入力データから決まり 1 個目の データ 2 個目の データ 3 個目の データ 4 個目の データ 出力 そのまま コピー そのまま コピー そのまま コピー 160
161. リカレントニューラルネットワーク 4 フレーム目の結果は 3 フレーム目の中間層と 4 フレーム目の入力データから決まる 1 個目の データ 2 個目の データ 3 個目の データ 4 個目の データ 出力 そのまま コピー そのまま コピー そのまま コピー 161
162. リカレントニューラルネットワーク 4 フレーム目の結果は 3 フレーム目の中間層と 4 フレーム目の入力データから決まる 1 個目の データ 2 個目の データ 3 個目の データ 4 個目の データ 出力 そのまま コピー そのまま コピー そのまま コピー 前の結果が利用されるため 精度が上がる 162
163. RNN のもう 1 つの利点 実はリカレントニューラルネットワークの重みは時系列毎に変わらない たとえば青の辺の重みはすべて同じ 1 個目の データ 2 個目の データ 3 個目の データ 4 個目の データ 出力 そのまま コピー そのまま コピー そのまま コピー 163
164. RNN のもう 1 つの利点 1 個目の データ 2 個目の データ 3 個目の データ 4 個目の データ 出力 そのまま コピー そのまま コピー そのまま コピー 実はリカレントニューラルネットワークの重みは時系列毎に変わらない たとえば赤の辺の重みもすべて同じ 164
165. RNN のもう 1 つの利点 したがって、 • 単純な方法よりパラメータ数が少ない (学習が簡単) • 音声がどんな長さであっても対応できる などの利点もある！ 165
166. RNN の応用例 なお、リカレントニューラルネットワークは 音声処理だけでなく、自然言語処理や時系列解析にも応用される 音声処理 機械翻訳 株価解析 166
167. スライドのまとめ
168. 講演のまとめ (1/3) 入力層 中間層 出力層 深層学習は、上図のようなニューラルネットワークを用いて 機械学習を行う手法のことである 168
169. • ニューラルネットワークの最適な重みは、勾配降下法を用いて 計算することができる • また、ニューラルネットワークのサイズが大きくなると、訓練 データの精度が上がるのに未知データに対応できない過学習と いう問題が起こる場合があるので、注意が必要である 講演のまとめ (2/3) 169
170. さらに、単純なニューラルネットワークで精度が出ない問題もあ るが、それぞれ以下のように工夫をすれば解ける • 分類問題：出力数を増やし、一番値の大きい出力を答えとする • 画像処理：畳み込みニューラルネットワークを使い、周辺のピクセル との関係性を取り込めるようにする • 音声処理：リカレントニューラルネットワークを使い、前のフレーム との関係性を取り込めるようにする 講演のまとめ (3/3) 170
171. おわりに 深層学習は 今まさに世界を変えています 171
172. ChatGPT をはじめ、人智を超えるサービスが次々と現れています
173. そして AI によって、約半分の仕事が 20 年で奪われると言われています
174. 皆さんが就職する頃には、AI で仕事が大きく変わるかもしれない
175. そんな状況だからこそ、ぜひ深層学習にも 興味を持っていただけると嬉しいです
176. 最後までお読みいただき ありがとうございました