Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[Paper Reading] Attention is All You Need

Daiki Tanaka
August 04, 2019

[Paper Reading] Attention is All You Need

presentation slides for "Attention is All You Need" (https://arxiv.org/abs/1706.03762)

Daiki Tanaka

August 04, 2019
Tweet

More Decks by Daiki Tanaka

Other Decks in Research

Transcript

  1. • : ( 1 2 • C G • )I

    G ( • )G G 7 GK B • 1 C B • 1 A 2 C B G : • . A 9 6G A B G : • 0B . G B G : • ) 1 C 6 J G L • NIA G G B • BB 2 B GIA
  2. • . .. . . ,. . . • .

    . . . . , . . . . . • . . . . . ., . . . ,. . • . ., . ., . . .,. . , . ., . . ., . .
  3. • . , . . . . . , .

    , . . • . . . . . , . . . . . . . . . .
  4.  • , , , .. . . , ,

    , • , - , , . , . , , . , .,
  5. • . • . . . ("# , "% ,

    … , "' ) • . • • . . . ()# , )% , … , )' ) • :
  6. • • ( • ) • - - • -

    • - - - • ( ) ) ) :) )
  7. • ,, ), ) , ( , ( , →

    , "##$%#&'% ()$*+, -$+, ./0)$ = 2'3#4/5 ()$*+ 6 -$+7 6 ./0)$
  8. • ) ( ( ( ( , , → (

    "##$%#&'% ()$*+, -$+, ./0)$ = 2'3#4/5 ()$*+ 6 -$+7 6 ./0)$ • ( , ( ( ( ( ,( , , , →, "##$%#&'% 8)$*+, -$+, ./0)$ = 2'3#4/5 8)$*+ 6 -$+7 6 ./0)$
  9. - - -- - • . .. - • !"#$%&'()(*

    +, - + /)) • !"#$%&' +-1 • . • . 2$$34$5"4 +, -, 6 = !"#$%&' +-1 89 6 89 - . . - . --
  10. • . - , , . - 8 - ,

    . . , , . 8 . . . 8 . • ) . . 8 ., ( - . = - . . 8 ., !", !" $%! !& - . ) . . !" = !& = ()*+,- . ) 0123456$! 7, 8, 9 = :;%<$3 ℎ6$!>, … , ℎ6$!. @A Bℎ6C6 ℎ6$!D = E336%34;%(7@ D G, 8@D H, 9@D I)
  11. -- • , : 3 2 A 2 A 2

    1 2: : : 22 2: 12 12 12 2: : , 2 A2 2 2 3 2 :1 2 ) :1 A2 - 2 3 2 1 : 2: : 2 : 2 3 2: : 2 : 2 2: 12 ( 3 2 2 ) A2 - :1 A2 2 2 3 2 2 2 : 2 2 2 3 2: : 2 : 2 12 12 ) - 2 3 2 .2 :221 2 2: 23 1 :3 : 3 : 2 12 12 2 2 2 2 A 2 2 2 2
  12. • . ) . , . ) . ( -

    , - . , ( , . , . , ) ) • , ) )) . - - . ) , , )) )) ( ) ( ) . -
  13. ) 3 , 4 2 3 , 4 3. 2

    . 3 . )1. 4 , 4 2 1 , . 33.32 .- )1. 1 3. 1 . .. 3 . -. . -. ,2. ( 2-. . . 2 .3 . 2 , 3- 2.3- 4 . 2 . . 3. 4 -.3
  14. - - - • . . . . -- -

    - . !!" # = %&'( #)* + ,* )- + ,- 4 4 4 4 4 4 4 3 1 ( ) 2 %&'( #* )* + ,* )- + ,- %&'( #- )* + ,* )- + ,- %&'( #. )* + ,* )- + ,- %&'( #/ )* + ,* )- + ,- %&'( #0 )* + ,* )- + ,- %&'( #1 )* + ,* )- + ,- %&'( #2 )* + ,* )- + ,- 2 3 1 3 1 3 1 3 1 3 1 3 1
  15. • , . • , • , !" #$%, 2(

    = sin #$% 10000 /0 123456 , !" #$%, 2( + 1 = cos #$% 10000 /0 123456 • #$% , , ( , :
  16. .0 +- +- 1 - + -1+.- +- +- .0

    / . / . / / : / / / /
  17. .

  18. - • ., ,1, 2 ,1 :, 0, ., :

    : . ., . ., 1 . : : ., , : , . 0 - • ., : ,1, 2 ,1 . ., .,
  19.   • • 5 ), . 5 , 5

    5 ) . . =) . ) • ) 5 . ) ( 5 5 ) ) ) . ( 5 5 5 • 5 . , , ) ) ) )
  20. - - - • • 5: ( 0GBED 2A F

    G , ( ) FDEEDHG AG AG A I D • 5: ( 0GBED 1 AG , FDEEDHG AG AG A • 3 N A G A MEA • 6 4 4- 8 28 • . A FH AE , AI H HM • .DB FH AE , AI ) O • I DFDPA , - F • F MI G AG A A A EA GDGB A
  21. • . ( . .= <= • ( . .=

    = < 4 . 4 = . < .= , . = =4 ), = . < .= . < . !"#$ = !&'()* + exp / 012 3 1 5 67890 < . • !&'()* : . = = : 4 , ), • 90 = ∑; <=> 0?@A>B CD 0EFBG@H HG@> I0 JK; G0L MK; ∑; <=> 0?@A>B CD 0EFBG@H I0 JK;
  22.  • . . - . . . - ,

    . , . . . , . . , - -- ., . . - , , . . • . - . . . . , . . . . , . , ,