Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Universal language models: research frontier an...

Universal language models: research frontier and application to real services

AIプロダクトショーケース -AIを実装したプロダクトの技術大公開
https://techplay.jp/event/741962
での登壇資料です

Avatar for LINE Developers

LINE Developers

August 27, 2019
Tweet

More Decks by LINE Developers

Other Decks in Technology

Transcript

  1.  • 0 7 1 1 0 • $(=5!3!@)*0! •

    $>!!B+ • C? !.;&/ • -"C     •   7   2 A1   • '% • ,#!8 9:46A1 • </2A1
  2. F P F8KFNIG 8  8 D C : 8

    D 8 :        : : : : : : 8 : 8 8 LM D 8
  3. F P F8KFNIG 8  8 D C : 8

    D 8 : : : : : : : 8 : 8 8 LM D 8 • A • ( Q U • &) K G LV N I
  4.  B C 7 E 2 7 B8 ,0 ,

    , 1 A9 0 ,2 B7 C B 9B VF 2 TU • RSPN , • 2A7 1 29 1 , 9 1 1 7 • O MPGL 1 • , 1 , 1
  5. BERTology ≒ Transformer + Task setting • • total_loss =

    masked_lm_loss + next_sentence_loss • Span masking in [SpanBERT] 3 levels masking in []
  6.  • G d aS N • , ( (

    ). • su y iN 0 ( ( - ( • n a 2 - • : • , : : : B : : • L ( • • r suecg Tc I p T m S • m tl PR T • MIM Esu oXT
  7.  • # • OOM: https://github.com/google-research/bert#out-of-memory-issues 2 - - parameters

    94M 110M 340M 110M 1B Hidden Technical Debt in Machine Learning Systems (D Scully et al @Google)
  8.  • SN VP B a s ? lqum •

    de o E n • I M n • R U B n • b VP B a s ? i um • I M t • gCVP BU • @B T L • SN VP B a s ? lqum • de o E n • I M n • R U B n • b VP B a s ? i um • I M t • gCVP BU • @B T L / b b
  9. $ • ) - U P bG • T :

    . / - / . • T ) / : . / 2-/ : / - 2 • () U : - 2 2-/ / • -. ) Pad • : / -. - / / . 2 : . . - / -. . 2 / : : . • c C _ F