Universal language models: research frontier and application to real services

AIプロダクトショーケース -AIを実装したプロダクトの技術大公開
https://techplay.jp/event/741962
での登壇資料です

Transcript

1.  
      AI 
   
    2019/08/27 Tung Nguyen, LINE/Clova NLP
2. Agenda • 
    •  # " •  !$ %
3. 
   • 0 7 1 1 0 • $(=5!3!@)*0! • $>!!B+ • C? !
   .;&/ • -"C     •
    7   2 A1   • '% • ,#!8
   9:46A1 • </2A1
8. subtitle TITLE
9. F P F8KFNIG 8 
    8 D C : 8 D 8 :    
      : : : : : : 8 : 8 8 LM D 8
10. F P F8KFNIG 8 
     8 D C : 8 D 8 : : : : : : : 8 : 8 8 LM D 8 • A • ( Q U • &) K G LV N I
11. 
    
     
12. 
     B C 7 E 2 7 B8 ,0 , , 1 A9 0 ,2 B7 C B 9B VF 2 TU • RSPN , • 2A7 1 29 1 , 9 1 1 7 • O MPGL 1 • , 1 , 1
13. 0 / 0 12 . / / . . / / . E . :
14. BERTology ≒ Transformer + Task setting • • total_loss = masked_lm_loss + next_sentence_loss • Span masking in [SpanBERT] 3 levels masking in [
    
    ]
15. 
     • G d aS N • , ( ( ). • su y iN 0 ( ( - ( • n a 2 - • : • , : : : B : : • L ( • • r suecg Tc I p T m S • m tl PR T • MIM Esu oXT
16. 
     • # 2 - - parameters 94M 110M 340M 110M 1B
17. 
     • # • OOM: https://github.com/google-research/bert#out-of-memory-issues 2 - - parameters 94M 110M 340M 110M 1B Hidden Technical Debt in Machine Learning Systems (D Scully et al @Google)
18. 
     • SN VP B a s ? lqum • de o E n • I M n • R U B n • b VP B a s ? i um • I M t • gCVP BU • @B T L • SN VP B a s ? lqum • de o E n • I M n • R U B n • b VP B a s ? i um • I M t • gCVP BU • @B T L / b b
19. $ • ) - U P bG • T : . / - / . • T ) / : . / 2-/ : / - 2 • () U : - 2 2-/ / • -. ) Pad • : / -. - / / . 2 : . . - / -. . 2 / : : . • c C _ F