Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Universal language models: research frontier and application to real services

Universal language models: research frontier and application to real services

AIプロダクトショーケース -AIを実装したプロダクトの技術大公開
https://techplay.jp/event/741962
での登壇資料です

53850955f15249a1a9dc49df6113e400?s=128

LINE Developers
PRO

August 27, 2019
Tweet

Transcript

  1.      AI   2019/08/27 Tung

    Nguyen, LINE/Clova NLP
  2. Agenda •  •  # " •  !$

    %
  3.  • 0 7 1 1 0 • $(=5!3!@)*0! •

    $>!!B+ • C? !.;&/ • -"C     •   7   2 A1   • '% • ,#!8 9:46A1 • </2A1
  4. None
  5. None
  6. None
  7. None
  8. subtitle TITLE

  9. F P F8KFNIG 8  8 D C : 8

    D 8 :        : : : : : : 8 : 8 8 LM D 8
  10. F P F8KFNIG 8  8 D C : 8

    D 8 : : : : : : : 8 : 8 8 LM D 8 • A • ( Q U • &) K G LV N I
  11.    

  12.  B C 7 E 2 7 B8 ,0 ,

    , 1 A9 0 ,2 B7 C B 9B VF 2 TU • RSPN , • 2A7 1 29 1 , 9 1 1 7 • O MPGL 1 • , 1 , 1
  13. 0 / 0 12 . / / . . /

    / . E . :
  14. BERTology ≒ Transformer + Task setting • • total_loss =

    masked_lm_loss + next_sentence_loss • Span masking in [SpanBERT] 3 levels masking in []
  15.  • G d aS N • , ( (

    ). • su y iN 0 ( ( - ( • n a 2 - • : • , : : : B : : • L ( • • r suecg Tc I p T m S • m tl PR T • MIM Esu oXT
  16.  • # 2 - - parameters 94M 110M 340M

    110M 1B
  17.  • # • OOM: https://github.com/google-research/bert#out-of-memory-issues 2 - - parameters

    94M 110M 340M 110M 1B Hidden Technical Debt in Machine Learning Systems (D Scully et al @Google)
  18.  • SN VP B a s ? lqum •

    de o E n • I M n • R U B n • b VP B a s ? i um • I M t • gCVP BU • @B T L • SN VP B a s ? lqum • de o E n • I M n • R U B n • b VP B a s ? i um • I M t • gCVP BU • @B T L / b b
  19. $ • ) - U P bG • T :

    . / - / . • T ) / : . / 2-/ : / - 2 • () U : - 2 2-/ / • -. ) Pad • : / -. - / / . 2 : . . - / -. . 2 / : : . • c C _ F