[VJAI Paper reading] Language models 2019

Presentation of new researches on language models in 2019 at VJAI Paper reading.

Transcript

1. ,
2. - • ) /0 0 - - 1 08 0 08 0 • /0 • 8 2 • - 0/ 8 2 • 0 80 82 20 /0 () • - 0/ 0 0 08 8 1 8 / 0 1 / 08 8 • 0 80 0 8 0 / - 0/ 0 0 08 8 • 0 0 - 0 / 0 0 / /0 /00 08 08 08 0
3. -
4. • - • ) • ) - C • ) • ) C C • ) • • A - • C CA • ( • - A ) - - A • C )
5. • ) . • - C A • - C (, A A B A • ) AA A • , A A B
6. • , ECI: ) 3 EC : • .CE: ) 3 C ) 3 3 • ,BG: E G: B H G BC : : 2 B ) 3 ) ,) • , ECI: GG:BG CB : B - :G • : • .CE: G CE: : CE CE: C HG G CB • B :E B CG I G CB ) 3 G HB :E GE B: • . C B I : • (HEE:BG -. B : EB G G G EC E : G - G BCG E: : :G • C :I:E G G BC :E: B: E L B H : HB :E G B B M
7. 0 / 0
8.  
    • O1 B C 5BDFCOOK 2 RRFNT : 0 • BPFR. TTPS. BRX V OR BCS - - • N N PFR PBRB FTFRS E GG W T 1 • FBK LFBRN N RBTF. SFF TBCLF GRO T C • BR N P 7 STFPS SB F BS 1 / • 0EB FPS LON S PORTBNT FT NO G RT FR NGO N DOEF SB F F BS 1 • 1FTB . -, NSTFBE OG 1 S --- CFTTFR GOR LBR F CBTD • 3BTB • 1OOK2ORP S 22 9FWS :PFN FC FXT TOR FS. 61 • RB N N • 0LL SF FNDF LFN T . ) • 3 NB D BSK N BSK N ON GL • 9O 9FXT SFNTFNDF PRFE DT ON LON FR SF FNDF S FNO • , ? ( 61 • ,7 CBTD X ) 7 STFP X LON FR VS 1 • FRFL CFTTFR T BN A89FT OG 7 CBTD X ) 7 STFP ON 61 BCLF
9. • 2A 1 5 5 • 0 A ) EEA ) : 5 ( ( • . : A E 7 9 E • : • BF :E ) • / / E E A 7 E : BF F:
10. 
     • > 9 )% C 3BI % !7: . %, C R MNR NM EB EPCNBP 2 • B EP0 HRR 0 BPVIT%NPG BC (/ -%() () • 4NMRIM B PE RPBIMIMG • RIRB EBPMIMG0 > 9 (% FIP R RHEM GPB B B MEU RB • ?B ELCE IMG • 8 EP BPBLEREP • 3ERB)0 %/. • ?PBIMIMG • . !, ( !1 63
11. • @8:ER B 6NNGKE 49 • A EP0 RR 0 AP T NPG AB /& &.()- • 7E EA • 4NLB M MG PECSPPEMR RN PAM NPLEP RN KEAPM KNMGEP SBBE PAM NPLEP@8 • 2SRNPEGPE TE LN EK T ASRNEMCN MG LN EK X 35 • EPLSRAR NM L PNTE NTEP NPUAP BAC UAP M 3 8 9 • EA LNPE EPE • RR 0 LE SL CNL 1 KMER REAL A A P CNL AP NM RS N KMER AM BEPR U R KAPGE LN EK +A (+- +/ C&
12. 
     • : : D A I AC : B I CD • /F A ACI https://github.com/google-research/bert#out-of-memory-issues • , : A D C D G CA A C C , • , FD C BB A D • : D C :I • / #/ • B • AC G F C D C C D F A I D • . FD A BC C : A D • BA BD ##: F A # F:: : #BI AC C D AC CD • A C 2 BD ## C D AC C F:: : A# • .A I BC C : A FD : C A 2 • - :F : F CD : D A DA G I BA AC AG A 2 - - parameters 94M 110M 340M 110M 1B