Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

DeepNLP_BackPropagation_Rnn_and_Cnn

izuna385
July 02, 2018

 DeepNLP_BackPropagation_Rnn_and_Cnn

深層学習による自然言語処理 2.5から2.9まで

izuna385

July 02, 2018
Tweet

More Decks by izuna385

Other Decks in Science

Transcript

  1. • : D !(#) 1 ∇!(#) • L 1 )

    ) ( 1 S G G 1 & '()*+, = .(/ 012 .(⋯ .(/ 2 '()*+, + 5(2)))) 62 67 68 69 /(:) ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ;2 ;7 /(:<2) = − 1 = = + 1
  2. . . ! ℎ($) ℎ(&) ℎ(') (($) ((&) ((') ℎ(')=

    ( ' ( & ( $ ! *+(,) *- = *+(,) *.(/) 0 *.(/) *.(1) 0 *.(1) *- •    
  3. (

  4. ( )

  5. 2'+   )NN  2 #) 0%&1&-" (3*, )

    .( !/$→    → Residual Connection, Batch Nomalization( )  ! Loss func ! Loss func
  6.  : Residual Connection –– F(x) (→-!()) F(x) + x

     → & " - Identity Mapping  ' : -*&%,+' ./$  # Identity – [1] He, Kaiming, et al. "Identity mappings in deep residual networks." European Conference on Computer Vision. Springer, Cham, 2016. . .
  7. 0 1 . 2 C2 2 " 3 2 3

    2 ) 2 2 ( 3 23 2 !"#$ !" %"&$ %"#$ %" %"&$ '() '() '() '*+, '*+, -"#$ = /(!"#$ ) -" -"&$ %" !" M I NR 2 '*+, O L '() : input P / L !" = '*+, 2 !"#$ + '() %" ,, L
  8. 2 . 3 !" #$% &% !" #$' !" #$(

    !% #$% !% #$' !% #$( !' #$% !' #$' !' #$( !( #$% !( #$' !( #$( &' &( )% )' )(
  9. 2 . 3 !" #$% &% !" #$' !" #$(

    !% #$% !% #$' !% #$( !' #$% !' #$' !' #$( !( #$% !( #$' !( #$( &' &( )% )' )(
  10. 2 . 3 !" #$% &% !" #$' !" #$(

    !% #$% !% #$' !% #$( !' #$% !' #$' !' #$( !( #$% !( #$' !( #$( &' &( )% )' )(
  11. 2 . 3 !" #$% &% !" #$' !" #$(

    !% #$% !% #$' !% #$( !' #$% !' #$' !' #$( !( #$% !( #$' !( #$( &' &( )% )' )( • 23 !* # 1
  12.  : !"#$ !%&  '( )( … … )*

    '* ………… ………… +( +* !"#$ (-) !%& (-) '% …… '/ )/ +/ 
  13. ) (

  14. 8 99 2 :9.8 9 9 6 5 3 2

    2 5 2 28 79 8 3 9 1 56 2 59 7 /0-
  15. RNN   Vanishing/Exploding Gradient  : !"#$ !%& 

    '( )( … … )* '* ………… ………… +( +* !"#$ (-) !%& (-) '% …… '/ )/ +/