機械学習のための数学 〜微分・偏微分の計算, 勾配降下法（最急降下法）〜

機械学習を学ぶ上で必要となる「微分・偏微分」と、単純パーセプトロンを学ぶ上で必要となる「勾配降下法（最急降下法）」を理解し、実際に計算ができることが目標です。

Transcript

1. Copyright©　2016 Leprachaun Corp. All Rights Reserved
   機械学習のための数学
   微分・偏微分の計算,
   勾配降下法（最急降下法）
   

   View Slide

2. Copyright©　2016 Leprachaun Corp. All Rights Reserved
   微分
   

   View Slide

3. Copyright©　2016 Leprachaun Corp. All Rights Reserved
   微分とは
   

   View Slide

4. Copyright©　2016 Leprachaun Corp. All Rights Reserved
   微分係数？導関数？
   

   View Slide

5. Copyright©　2016 Leprachaun Corp. All Rights Reserved
   微分係数とは
   

   View Slide

6. Copyright©　2016 Leprachaun Corp. All Rights Reserved
   微分係数とは
   What’s !?
   

   View Slide

7. Copyright©　2016 Leprachaun Corp. All Rights Reserved
   微分係数（補足）
   この値を
   極限という
   

   View Slide

8. Copyright©　2016 Leprachaun Corp. All Rights Reserved
   微分係数（具体例）
   

   View Slide

9. Copyright©　2016 Leprachaun Corp. All Rights Reserved
   微分係数（具体例）
   因数分解！
   

   View Slide

10. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    微分係数（具体例）
    

    View Slide

11. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    微分係数（具体例）
    約分して
    

    View Slide

12. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    微分係数（具体例）
    

    View Slide

13. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    微分係数（具体例）
    

    View Slide

14. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    微分係数（具体例）
    

    View Slide

15. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    微分係数（具体例）
    この値は何を
    意味する？
    

    View Slide

16. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    微分係数の意味
    

    View Slide

17. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    微分係数の意味
    

    View Slide

18. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    微分係数の意味
    

    View Slide

19. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    微分係数の意味
    微分係数の値と一致
    

    View Slide

20. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    微分係数の意味
    微分係数は, 点aにおける
    接線の傾きを表す！
    

    View Slide

21. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    導関数とは
    

    View Slide

22. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    導関数（求め方）
    

    View Slide

23. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    導関数（具体例）
    

    View Slide

24. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    微分練習問題
    

    View Slide

25. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    微分練習問題（回答）
    

    View Slide

26. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    微分練習問題（回答）
    

    View Slide

27. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    微分練習問題（回答）
    

    View Slide

28. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    関数の四則演算に対する微分
    

    View Slide

29. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    関数の四則演算に対する微分
    

    View Slide

30. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    関数の四則演算に対する微分（具体例）
    

    View Slide

31. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    偏微分
    

    View Slide

32. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    偏…微分？
    

    View Slide

33. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    そう, 偏った微分.
    

    View Slide

34. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    偏微分とは
    

    View Slide

35. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    偏微分（具体例）
    実際に計算してみよう！
    

    View Slide

36. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    偏微分（具体例）
    

    View Slide

37. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    勾配降下法（最急降下法）
    

    View Slide

38. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    勾配降下法（最急降下法）
    

    View Slide

39. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    もちろんこいつ！
    勾配降下法（最急降下法）
    

    View Slide

40. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    勾配降下法（最急降下法）
    これはグラフ全体が分かって
    いるから分かる！
    

    View Slide

41. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    じゃあ、全体が分からない
    ときはどうする？
    勾配降下法（最急降下法）
    

    View Slide

42. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    勾配降下法（最急降下法）
    

    View Slide

43. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    こいつに
    注目！
    こいつに注目！
    勾配降下法（最急降下法）
    

    View Slide

44. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    この点での
    傾きは正！
    この点での
    傾きは負！
    勾配降下法（最急降下法）
    

    View Slide

45. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    この点は
    負の方向
    に！
    勾配降下法（最急降下法）
    この点は
    正の方向に！
    

    View Slide

46. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    この点は
    負の方向に！
    この点は
    正の方向に！
    勾配降下法（最急降下法）
    緑の点を傾きに比例した
    距離だけ動かしてみる
    

    View Slide

47. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    勾配降下法（最急降下法）
    

    View Slide

48. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    勾配降下法（最急降下法）
    

    View Slide

49. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    勾配降下法（最急降下法）
    

    View Slide

50. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    勾配降下法（最急降下法）
    この勾配降下法には
    弱点がある…（次回）
    

    View Slide

51. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    以上です。
    

    View Slide

52. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    ありがとうございました！
    

    View Slide

53. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    付録
    

    View Slide

54. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    関数の極限の厳密な定義
    

    View Slide

55. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    導関数一覧
    

    View Slide

56. Copyright©　2016 Leprachaun Corp. All Rights Reserved
    合成関数の微分
    

    View Slide