[Paper Reading] Attention is All You Need

presentation slides for "Attention is All You Need" (https://arxiv.org/abs/1706.03762)

Transcript

1. , , , , , , ,
2. • : ( 1 2 • C G • )I G ( • )G G 7 GK B • 1 C B • 1 A 2 C B G : • . A 9 6G A B G : • 0B . G B G : • ) 1 C 6 J G L • NIA G G B • BB 2 B GIA
3. • . • • •
4. • . .. . . ,. . . • . . . . . , . . . . . • . . . . . ., . . . ,. . • . ., . ., . . .,. . , . ., . . ., . .
5. • . , . . . . . , . , . . • . . . . . , . . . . . . . . . .
6. 
    • , , , .. . . , , , • , - , , . , . , , . , .,
7. • . • . . . ("# , "% , … , "' ) • . • • . . . ()# , )% , … , )' ) • :
8. • • ( • ) • - - • - • - - - • ( ) ) ) :) )
9. -- - -- - -- -
10. • ,, ), ) , ( , ( , → , "##$%#&'% ()$*+, -$+, ./0)$ = 2'3#4/5 ()$*+ 6 -$+7 6 ./0)$
11. • !""#$"%&$ '(#)*, ,#*, -./(# = 1&2"3.4 '(#)* 5 ,#*6 5 -./(# . . , . . . . , . .
12. • ) ( ( ( ( , , → ( "##$%#&'% ()$*+, -$+, ./0)$ = 2'3#4/5 ()$*+ 6 -$+7 6 ./0)$ • ( , ( ( ( ( ,( , , , →, "##$%#&'% 8)$*+, -$+, ./0)$ = 2'3#4/5 8)$*+ 6 -$+7 6 ./0)$
13. - - -- - • . .. - • !"#$%&'()(* +, - + /)) • !"#$%&' +-1 • . • . 2$$34$5"4 +, -, 6 = !"#$%&' +-1 89 6 89 - . . - . --
14. • . - , , . - 8 - , . . , , . 8 . . . 8 . • ) . . 8 ., ( - . = - . . 8 ., !", !" $%! !& - . ) . . !" = !& = ()*+,- . ) 0123456$! 7, 8, 9 = :;%<$3 ℎ6$!>, … , ℎ6$!. @A Bℎ6C6 ℎ6$!D = E336%34;%(7@ D G, 8@D H, 9@D I)
15. -- • , : 3 2 A 2 A 2 1 2: : : 22 2: 12 12 12 2: : , 2 A2 2 2 3 2 :1 2 ) :1 A2 - 2 3 2 1 : 2: : 2 : 2 3 2: : 2 : 2 2: 12 ( 3 2 2 ) A2 - :1 A2 2 2 3 2 2 2 : 2 2 2 3 2: : 2 : 2 12 12 ) - 2 3 2 .2 :221 2 2: 23 1 :3 : 3 : 2 12 12 2 2 2 2 A 2 2 2 2
16. - ) - ) (
      . - .. -- / .
17. • . ) . , . ) . ( - , - . , ( , . , . , ) ) • , ) )) . - - . ) , , )) )) ( ) ( ) . -
18. ) 3 , 4 2 3 , 4 3. 2 . 3 . )1. 4 , 4 2 1 , . 33.32 .- )1. 1 3. 1 . .. 3 . -. . -. ,2. ( 2-. . . 2 .3 . 2 , 3- 2.3- 4 . 2 . . 3. 4 -.3
20. - - - • . . . . -- - - . !!" # = %&'( #)* + ,* )- + ,- 4 4 4 4 4 4 4 3 1 ( ) 2 %&'( #* )* + ,* )- + ,- %&'( #- )* + ,* )- + ,- %&'( #. )* + ,* )- + ,- %&'( #/ )* + ,* )- + ,- %&'( #0 )* + ,* )- + ,- %&'( #1 )* + ,* )- + ,- %&'( #2 )* + ,* )- + ,- 2 3 1 3 1 3 1 3 1 3 1 3 1
22. • , . • , • , !" #$%, 2( = sin #$% 10000 /0 123456 , !" #$%, 2( + 1 = cos #$% 10000 /0 123456 • #$% , , ( , :
23. .0 +- +- 1 - + -1+.- +- +- .0 / . / . / / : / / / /
24. . - .. -- / .
25. .
26. . - .. -- / .
27. - • ., ,1, 2 ,1 :, 0, ., : : . ., . ., 1 . : : ., , : , . 0 - • ., : ,1, 2 ,1 . ., .,
28. 
     • • 5 ), . 5 , 5 5 ) . . =) . ) • ) 5 . ) ( 5 5 ) ) ) . ( 5 5 5 • 5 . , , ) ) ) )
29. - - - • • 5: ( 0GBED 2A F G , ( ) FDEEDHG AG AG A I D • 5: ( 0GBED 1 AG , FDEEDHG AG AG A • 3 N A G A MEA • 6 4 4- 8 28 • . A FH AE , AI H HM • .DB FH AE , AI ) O • I DFDPA , - F • F MI G AG A A A EA GDGB A
30. • . ( . .= <= • ( . .= = < 4 . 4 = . < .= , . = =4 ), = . < .= . < . !"#$ = !&'()* + exp / 012 3 1 5 67890 < . • !&'()* : . = = : 4 , ), • 90 = ∑; <=> 0?@A>B CD 0EFBG@H HG@> I0 JK; G0L MK; ∑; <=> 0?@A>B CD 0EFBG@H I0 JK;
33. - -- - -
34. - -- - - . .
35. 
     • . . - . . . - , . , . . . , . . , - -- ., . . - , , . . • . - . . . . , . . . . , . , ,
36. • -- / . / - • . . . / /- . . / -