Deep_feedforward_network

深層順伝播型ネットワーク
Chapter 6 in Deep learning Book
深層学習本（Deep learning book by Ian Goodfellow）
URL：http://www.deeplearningbook.org/
Tag: deep learning, machine learning, mathematics

1. /1 86 9 / 1 1
2. U 9 • MU • 9 / • / • e U • M e U • X e U • RX P U Me U • e U • • LM L U • e U R • 2 • R 9 1 • • • • 6 • • 8 • 9 O U • U
3. / / / / • 
   • • 26=3 3 2 • • x 3 ) x 6 • f3 6 • / • / 13 2 9 • / • x3 x 2 9 8 2 3 • ( ) ) )
4. 1 4 / 1 (depth) 6(width)  
   y = f(x) 
5. , 1 2 , 0 • 9 = 5 / 8 O / 5/ 6 • ) (
6. X1 O / X 6 5 0 • O • • • / =R • , . = • 8 b 9/ =
7. 8 / • 769 1 ReLU
8.   
   
     ReLU
9.   
   
    
10. / 0 8 / • 0 8/ 0 / • 8 0 91 6
11. / 1 • 9 6 • 8 6 • 8 • 8 • • 8 •
12. 8 9 9 6/ • 9 81 • 9 9 • 9 2 • 2 8 6
13. 1 6 9 /3 ؔ܎ͳ͍෦෼ΛͱͬͺΒͬͨ 8
14. • 6 • 4 1 • 68 9 1 • 6 / 6 g
15. 8 /// 9 I i • 65 ) • () 1 9
16. • • ) ) 9 • 9 8 6 • f / 9 ((( 1 8
17. 79 . 79 42 79 /83 6 9 71 79 79
18. 9 9 1 8 / 6
19. 0 0 2 y= - - = 8 1 6 - 1 ) z ---/ 1 - 8 6 8 =- 9 ( (
20. t 8 2 2 e 0 -9 t • • • t/ 8 e • 8 t e 1 te- • oh 6 n 9
21. 168 9 9 1
     / 2
22. / • 6 6 • 68 12 6 • 68 89 • 2 2 9 6 2
23. 1 1 1 86 86 1 9 23 9 / 1 1 186 1 1
24. 4 4 4 9 1 2 / 4 9 8649 /8 8
25.  
    
     
26. o R be 0 R L . / 0 R 9 2 0 8 = < 60 L x UNL 80 6 8 1
27. R L S S 9 U 9 87 /1 2 6
28. 8 6 2 , 6 / 6 1 9 9, 6 B ,
29. H 1 H 9/ 8 612 • • •
30.     
    
     
31. 6 8 / / 1 / 3 9 1
32. 6 1 8 R 2 6 9 2 / R 3 n 1 1 1
33. yvein ? yvei B 89  
        1 f O6 • hu t B W r g 8 3 11 /, O 9
34. 6 9 18 3 8 / /4 14
35. 9 3 8 8 5 8 1 /6 1 98 9 1 91 1
36. /
37.  
    
     
38. 6 C 6 6 ) • / 6 • 6 19 • 3 8
39. 9 ) 9 C C 9 9 8 8 N/ 3 3 1 6 y 1 y 2 z
40. 6 84 1 B6 6 / 0 9 y 1 y 2 z 1 1 1 1 1 1 2 2 + 2 2 1 1 2 2 2 + 2
41. k iB 9 E c 86 B E B )41 . 12 1 /B Bk iB g 2aB 1aB
42. 86 4 12 1 / y h l h l-1 a l f W, b …
43. • T • T C • 1 , • • F6 C 8 C • , 31 /14 , 1 • 9 9 C
44. 1 / 6 4 8 ˜8  +ͱ˜8  +Λܭࢉ͍ͨ͠ ʙखॱʙ 8ͷਖ਼ଇԽͷޯ഑͸Е8J ˜6 +.-& Λܭࢉ ˜) +.-& 
    85
    ˜6 +.-& Λܭࢉ 8
    
    )5
    ˜6 +.-&
    Е8 6ͷʹର͢Δ˜) +.-& ͷཁૉΛʹ ͨ͠΋ͷΛ˜6 +.-& ͱ͢Δ 8
    
    95
    ˜6 +.-&
    Е8
45. 1 / 4 #BDL
    QSPQBHBUJPO͸ࣗಈඍ෼ͷํ๏ͷछʹ͗͢ͳ͍ ࣗಈඍ෼ͷख๏͸େ͖ͭ͘  όοΫϫʔυϞʔυ஝ੵʢϦόʔεϞʔυʣ • #BDL
    QSPQBHBUJPO͸ͬͪ͜ • ݁Ռ͔Βॱʑʹඍ෼ͯ͠ม਺·ͰḷΓͭ͘  ϑΥϫʔυϞʔυ஝ੵ • ม਺ͷํ͔Βඍ෼͍ͯͬͯ͠ɼ݁Ռ·ͰḷΓͭ͘
46. 1 / ϑΥϫʔυϞʔυͱόοΫϫʔυͲ͕͍͍ͬͪͷ͔ʁ ˠܭࢉ͕ૣ͘ͳΔํΛબͿɽ &YQ
    "#$%ͱ͍͏ͭͷϠίϏߦྻͷੵΛߟ͑Δ  %͕ྻϕΫτϧɼ"͕ଟ͘ͷߦ͔ΒͳΔߦྻͷ৔߹ ͢ͳΘͪɼೖྗ͕ଟ਺ʹର͠ɼग़ྗ͕Ұͭ  ϑΥϫʔυϞʔυͰܭࢉ ˠߦྻಉ࢜ͷੵΛ௥͍ͬͯ͘  όοΫϫʔυͰܭࢉ ˠߦྻͱϕΫτϧͷੵ͚ͩΛܭࢉ  "ͷߦ਺͕%ͷྻ਺ΑΓগͳ͍৔߹  ϑΥϫʔυϞʔυͷํ͕ޮ཰͍͍ΑͶɽߦྻܭࢉָ͕ɽ "#$% #BDLXBSE 'PSXBSE
47. w w h T 6 , / 1/ /2 s 9 s s 9 a8 “h F s e 4 l e w 7 s ns r r o
48. 4 8 96 / 2 96 4 2 H/ H 1 /
49.