Slide 1
Slide 1 text
AI
2019/08/27
Tung Nguyen, LINE/Clova NLP
Slide 2
Slide 2 text
Agenda
•
•
# "
•
!$
%
Slide 3
Slide 3 text
• 0 7 1 1 0
• $(=5!3 !@)*0!
• $> ! !B+
• C? !.;&/
• -"C
•
7 2 A1
• '%
• ,#!8 9:46A1
•
Slide 4
Slide 4 text
No content
Slide 5
Slide 5 text
No content
Slide 6
Slide 6 text
No content
Slide 7
Slide 7 text
No content
Slide 8
Slide 8 text
subtitle
TITLE
Slide 9
Slide 9 text
F P F8KFNIG
8
8
D
C : 8 D 8 :
:
: : : :
: 8 : 8
8 LM
D
8
Slide 10
Slide 10 text
F P F8KFNIG
8
8
D
C : 8 D 8 :
:
: : : :
: 8 : 8
8 LM
D
8
• A
• ( Q U
• &) K
G LV N I
Slide 11
Slide 11 text
Slide 12
Slide 12 text
B C 7 E 2 7 B8 ,0
, , 1 A9 0
,2 B7 C B 9B
VF 2 TU
• RSPN ,
• 2A7 1 29 1 , 9 1 1 7
• O MPGL 1
• , 1 , 1
Slide 13
Slide 13 text
0 / 0 12
. / / . . / / .
E .
:
Slide 14
Slide 14 text
BERTology ≒ Transformer + Task setting
•
• total_loss = masked_lm_loss + next_sentence_loss
•
Span masking in [SpanBERT]
3 levels masking in
[]
Slide 15
Slide 15 text
• G d aS N
• , ( ( ).
• su y iN 0 ( ( - (
• n a 2 -
• :
• , : : : B : :
• L (
•
• r suecg Tc I p T m S
• m tl PR T
• MIM Esu oXT
Slide 16
Slide 16 text
• #
2 - -
parameters 94M 110M 340M 110M 1B
Slide 17
Slide 17 text
• #
• OOM: https://github.com/google-research/bert#out-of-memory-issues
2 - -
parameters 94M 110M 340M 110M 1B
Hidden Technical Debt in Machine Learning Systems (D Scully et al @Google)
Slide 18
Slide 18 text
• SN VP B a s ? lqum
• de o E n
• I M n
• R U B n
• b VP B a s ? i um
• I M t
• gCVP BU
• @B T L
• SN VP B a s ? lqum
• de o E n
• I M n
• R U B n
• b VP B a s ? i um
• I M t
• gCVP BU
• @B T L
/
b
b
Slide 19
Slide 19 text
$
• ) - U P bG
• T : . / - / .
• T ) / : . / 2-/ : / - 2
• () U : - 2 2-/ /
• -. ) Pad
• : / -. - / / . 2 : . . -
/ -. . 2 / : : .
• c C _ F