文献紹介:Universal Language Model Fine-tuning for Text Classification

文献紹介:Universal Language Model Fine-tuning for Text Classification

9e650916f36300d64c9c61eeb4ab697e?s=128

Taichi Aida

March 25, 2019
Tweet

Transcript

  1. 1.

    ( 5 29 / / / 2 12 5 2

    5 3 9 -2 ) / 5350/ 5      
  2. 3.

     • L M F N U P 6 L

    • L 3 • F - T
  3. 5.

      • M P UMFNM gon 2 • 2

    85 2 tL gon • M T U hrM6 - 4 1 -5 M s L e F 5545 5- u • iN a M go L F • f
  4. 7.

     • fh W a ma ML I fh Mo

    T CT • k gNc W V T • u kNADT 7 S N sM - 7 Ne T • 7 7 7 r t 7 7 7 7 fh W T
  5. 8.

    

  6. 9.

    

  7. 10.

    • 2, 9 gd e I N a C 8

    • 010 5 k • m 0103 -0, • iW • V N 8 8
  8. 11.

    

  9. 12.

    • - - • s • f !" v #1#

    u • 2 $ un ∇& ' $ D D m et ai r c ( 1 $) = $)+, − ! . ∇& ' $ ⇨ $) " = $)+, " − !" . ∇ &0 '($) • g !"+, = ⁄ !" 2.6 v Dge
  10. 14.

    

  11. 15.
  12. 16.

    • - • z G r - - B o

    n G • e r l G • G r - - B • aP B B r s B • 1 6 - - -1 • gi • m dx T • - - -1 1 • l f • C f c tu B
  13. 19.

     • T M F • LU 9 - 1

    - - M F • 6 1 1 1 1