文献紹介:Universal Language Model Fine-tuning for Text Classification

文献紹介:Universal Language Model Fine-tuning for Text Classification

9e650916f36300d64c9c61eeb4ab697e?s=128

Taichi Aida

March 25, 2019
Tweet

Transcript

  1. ( 5 29 / / / 2 12 5 2

    5 3 9 -2 ) / 5350/ 5      
  2.  •   •    

  3.  • L M F N U P 6 L

    • L 3 • F - T
  4.   • F - • 4 • 4

  5.   • M P UMFNM gon 2 • 2

    85 2 tL gon • M T U hrM6 - 4 1 -5 M s L e F 5545 5- u • iN a M go L F • f
  6.   • • • • 6

  7.  • fh W a ma ML I fh Mo

    T CT • k gNc W V T • u kNADT 7 S N sM - 7 Ne T • 7 7 7 r t 7 7 7 7 fh W T
  8. 

  9. 

  10. • 2, 9 gd e I N a C 8

    • 010 5 k • m 0103 -0, • iW • V N 8 8
  11. 

  12. • - - • s • f !" v #1#

    u • 2 $ un ∇& ' $ D D m et ai r c ( 1 $) = $)+, − ! . ∇& ' $ ⇨ $) " = $)+, " − !" . ∇ &0 '($) • g !"+, = ⁄ !" 2.6 v Dge
  13. • • 1 • 3 • •

  14. 

  15. • • 1 C g c 5 • C a!"

    C C 5 i C a
  16. • - • z G r - - B o

    n G • e r l G • G r - - B • aP B B r s B • 1 6 - - -1 • gi • m dx T • - - -1 1 • l f • C f c tu B
  17.    • 7 • • 1 7 •

    7 • 6
  18.  • 8 1 8 • - 8 -

  19.  • T M F • LU 9 - 1

    - - M F • 6 1 1 1 1