IDEA 2月度 LT資料

Transcript

1. 2024年 2月度 IDEA LT 微分積分いつ使うん？ Presented by @pirotyyy
2. 本LTではこの疑問における 「微分」の使い道について紹介します！ 微分積分いつ使うん？
3. Deep Learning 微分積分いつ使うん？ 疑問に対する答えは... 「画像分類問題」を例に考えてみる。
4. 画像分類問題とは？ 与えられた画像について、それが何かを識別する問題 例）与えらた画像が「犬」、「猫」、「虎」のうちどの画像か識別する ラベル：犬 犬っすね
5. 例）与えらた画像が「犬」、「猫」、「虎」のうちどの画像か識別する 犬 フロー 入力 重みづけ 出力（確率） 20% 100% 猫 60% 0% 虎 20% 0% 出力 目標 誤差 80% 60% 20% ✖️ ＝
6. 出力 = 入力 ✖️ 重み 入力と出力と重みの関係 犬 20% 100% 猫 60% 0% 虎 20% 0% 出力 目標 誤差 80% 60% 20% 「誤差」をできる限り小さくしたい！！ 調整可能 （定数） どうしたら精度が上がるか？？ 重みを調整することで、 誤差を小さくすることを考える
7. 1. 重みと誤差の関係を表すグラフを考える 重み 誤 差 現在 小 大 どのように重みを調整すれば良いのか？ 現在の点から、誤差を小さくするため には、どちらの方向にグラフが傾いて いるかを知る必要がある。 つまり、現在の点におけるグラフの接 線の傾きがわかればいい！ ん？？接線の傾き。。？？ 接線
8. 「微分」だ！！！！！！
9. 微分ってなんだっけ？ グラフのある点における接線の傾き 例）グラフの例 増える方向 減る方向 x y yを大きくしたい xの値を大きくすればいい yを小さくしたい xの値を小さくすればいい 接線の増減の仕方と、 元のグラフの増減の仕方は同じ
10. 2. 現在の点における接線の傾きを用いて重みを修正する 重み 誤 差 小 大 現在 このケースでは、 「誤差を減らしたい」ので、 「重み」を小さくすればいい 誤差が減る方向 調整後 接線 例）グラフの例 増える方向 減る方向 x y yを大きくしたい xの値を大きくすればいい yを小さくしたい xの値を小さくすればいい どのように重みを調整すれば良いのか？
11. まとめ Deep Learning におけるモデルの精 度向上のためには、 「重みを調整して、誤差を減らす」 必要がある。 犬 20% 100% 猫 60% 0% 虎 20% 0% 出力 目標 誤差 80% 60% 20% 重み 誤 差 小 大 現在 誤差が減る方向 調整後 接線 誤差をできる限り 小さくしたい！！ 重みと誤差のグラフに 置き換える ちなみに、今回紹介した重みの最適 化手法を「勾配降下法」という。 その過程において、「微分」は非常 に有用なツールとなっている。
12. EX: ちょっとだけ数学のお話 実際のディープラーニングで用いるのは偏微分（多変数関数が対象） 上の式に従って、行列を用いて並列に計算する。
13. 書籍名： ゼロから作るDeep Learning 出版社： オライリー・ジャパン 著者名： 斎藤康毅（さいとう こうき） さん 参考資料