Universal language models: research frontier and application to real services

Transcript

1.  
      AI 
   
    2019/08/27 Tung

   Nguyen, LINE/Clova NLP

2. Agenda • 
    •  # " •  !$

   %

3. 
   • 0 7 1 1 0 • $(=5!3!@)*0! •

   $>!!B+ • C? !
   .;&/ • -"C     •
    7   2 A1   • '% • ,#!8
   9:46A1 • </2A1
4. None
5. None
6. None
7. None

8. subtitle TITLE

9. F P F8KFNIG 8 
    8 D C : 8

   D 8 :    
      : : : : : : 8 : 8 8 LM D 8

10. F P F8KFNIG 8 
     8 D C : 8

    D 8 : : : : : : : 8 : 8 8 LM D 8 • A • ( Q U • &) K G LV N I

11. 
    
     

12. 
     B C 7 E 2 7 B8 ,0 ,

    , 1 A9 0 ,2 B7 C B 9B VF 2 TU • RSPN , • 2A7 1 29 1 , 9 1 1 7 • O MPGL 1 • , 1 , 1

13. 0 / 0 12 . / / . . /

    / . E . :

14. BERTology ≒ Transformer + Task setting • • total_loss =

    masked_lm_loss + next_sentence_loss • Span masking in [SpanBERT] 3 levels masking in [
    
    ]

15. 
     • G d aS N • , ( (

    ). • su y iN 0 ( ( - ( • n a 2 - • : • , : : : B : : • L ( • • r suecg Tc I p T m S • m tl PR T • MIM Esu oXT

16. 
     • # 2 - - parameters 94M 110M 340M

    110M 1B

17. 
     • # • OOM: https://github.com/google-research/bert#out-of-memory-issues 2 - - parameters

    94M 110M 340M 110M 1B Hidden Technical Debt in Machine Learning Systems (D Scully et al @Google)

18. 
     • SN VP B a s ? lqum •

    de o E n • I M n • R U B n • b VP B a s ? i um • I M t • gCVP BU • @B T L • SN VP B a s ? lqum • de o E n • I M n • R U B n • b VP B a s ? i um • I M t • gCVP BU • @B T L / b b

19. $ • ) - U P bG • T :

    . / - / . • T ) / : . / 2-/ : / - 2 • () U : - 2 2-/ / • -. ) Pad • : / -. - / / . 2 : . . - / -. . 2 / : : . • c C _ F