LLMを用いた擬似ラベルデータセットによる記事分類タスクの精度改善/yans2025

[S2-P24] LLMを用いた擬似ラベルデータセットによる記事分類タスクの精度改善
日本経済新聞社 鶴田 拓磨 , 德永 和朗 , 大島 拓人
https://yans.anlp.jp/entry/yans2025program

Transcript

1. Ξϊςʔγϣϯ਺ ຊ --.Λ༻͍ٖͨࣅϥϕϧσʔληοτʹΑΔهࣄ෼ྨλεΫͷ ਫ਼౓վળ ɾ৽ฉهࣄ͸ɺ଎ใੑΛॏࢹͨ͠ʰχϡʔεʱɺ എܠ΍จ຺Λิ଍͢Δʰχϡʔεղઆʱɺࣾઆɾ ίϥϜͱ͍ͬͨʰಡΈ෺ʱͷछྨʹେผͰ͖Δɻ ௽ా ୓ຏɺ℄Ӭ ࿨࿕ɺେౡ ୓ਓ
   
   ೔ຊܦࡁ৽ฉࣾ <41> σʔληοτ ɾ͜ͷ෼ྨʹؔ͢Δهࣄ΁ͷλά෇͚͸ Ξϊςʔγϣϯίετ΋ߴ͘ɺ࣮ݱ͍ͯ͠ͳ͍ ɾλά෇͚ʹΑΓʮϢʔβʔߦಈͷཧղʯ ʮهࣄਪનʯ౳΁ͷԠ༻͕ظ଴͞ΕΔɻ ࢖༻Ϟσϧ
   
   w
   TCJOUVJUJPOTNPEFSOCFSUKBN
   .PEFSO#&35 w
   LVOMQEFCFSUBWCBTF+BQBOFTF
   %F#&35B ϥϕϧൺ χϡʔε
   
   χϡʔεղઆ
   
   ಡΈ෺
    ɾ5SBJOͰ͸֓Ͷͱͨ͠ ɾ5FTUͰ͸֓ͶͰ͋Δ ਤ
   σʔληοτͷৄࡉ৘ใ ද
   ϓϩϯϓτมߋͰͷ--.ਪ࿦ͷධՁൺֱ --.
   ʹΑΔٖࣅϥϕϧʹΑͬͯɺهࣄ෼ྨλεΫʹ͓͍ͯ#&35ܥϞσϧͷਫ਼౓ΛޮՌతʹ޲্Ͱ͖Δ͜ͱΛࣔͨ͠ɻ w
   ʮGFXTIPU
   αϯϓϧʯͱʮ෼ྨϑϩʔϓϩϯϓτʯΛ༻͍ͯɺ--.
   ͰٖࣅϥϕϧΛੜ੒ w
   .PEFSO#&35
   %F#&35Bͷ྆ϞσϧͰݕূ͠ɺʮڭࢣϥϕϧʴٖࣅϥϕϧͷར༻ʯʹΑΓਫ਼౓޲্Λ֬ೝ w
   ڭࢣσʔλ͕ݶΒΕΔঢ়گʹ͓͍ͯɺຊख๏͸෼ྨλεΫਫ਼౓޲্ʹ༗ޮͰ͋Δ͜ͱΛࣔͨ͠ ֓ཁ --.Ξϊςʔγϣϯ #&35ʹΑΔ෼ྨ݁Ռ       Ξϊςʔγϣϯ਺  ຊ Ξϊςʔγϣϯ਺  ຊ 5SBJO IVNBO 5SBJO --. 5FTU QBTU  Ξϊςʔγϣϯ਺ ຊ 5FTU GVUVSF UFTUσʔλ
    ɾdਓͷΞϊςʔλʔ͕ධՁ ɾUSBJOσʔλ͔Β཭Εͨ࣌ظͷ
   
   هࣄΛ࢖༻ USBJOσʔλ
    ɾओʹਓͷΞϊςʔλʔ͕ධՁ ɾ--.ʹΑΔΞϊςʔγϣϯ΋࣮ࢪ ද
   ͭͷϞσϧʹΑΔਫ਼౓ධՁ .PEFSO #&35 #F#&35B ڭࢣϥϕϧ ڭࢣ ٖࣅϥϕϧ ڭࢣϥϕϧ ڭࢣ ٖࣅϥϕϧ $7 PPG 
    
    
    
    5FTU QBTU 
    
    
    
    5FTU GVUVSF 
    
    
    
   
   ৄࡉ͸ผදʹࣔ͢ 5SBJO IVNBO 5SBJO --. TU
   TUBHF OE
   TUBHF ֶश σʔλ 5SBJO IVNBO 5SBJO --. ͸ ֶशͷ్த·Ͱ ࢖༻ ೔ܦిࢠ൛ͷτοϓϖʔδʹܝࡌ͞ΕͨهࣄΛݩʹσʔληοτΛ࡞੒ͨ͠ 
    ϓϩϯϓτ վળલ ϓϩϯϓτ վળޙ χϡʔε 
    
    χϡʔε ղઆ 
    
    ಡΈ෺ 
    શମ 
    
    ϓϩϯϓτνϡʔχϯά
    ɾهࣄ෼ྨϑϩʔͷఆٛɾهࡌ ɾϑϩʔʹج͍ͮͨGFXTIPUͷهࡌ ਫ਼౓ݕূ
    ɾ
   USBJO IVNBO ͔Β֤ϥϕϧ݅Λແ࡞ҝநग़ ɾϓϩϯϓτ޻෉ͷ༗ແʹ͓͚Δ֤"DDVSBDZͷࠩΛൺֱ ɾ0QFO"*
   PNJOJΛ࢖༻
   ਤ
   هࣄ෼ྨϑϩʔͷུ֓ਤ ࣭໰# ಡΈ෺ ࣭໰$ χϡʔε χϡʔε ղઆ ࣭໰" ݁Ռ
    ɾχϡʔεղઆͰਫ਼౓͕େ෯ʹվળ ɾχϡʔεχϡʔεղઆͷ൑அج४Λϓϩϯϓτʹ ఆٛͰ͖ͨͨΊ͔ ਫ਼౓ݕূ
   
   w
   "DDVSBDZʢશମਖ਼ղ཰ʣͰධՁ ֶशઃఆ
    ۀ຿ʹ͓͚ΔϞνϕʔγϣϯ
    32
    ෳࡶͳจষ෼ྨʹ͓͍ͯɺ--.Λ༻͍ͯΞϊςʔγϣϯίετΛ཈͑෼ྨثͷֶशਫ਼౓ΛߴΊΔ͜ͱ͸Մೳʁ ݁Ռ
    ɾ--.ٖࣅϥϕϧΛ༻͍Δ͜ͱͰ༧ଌਫ਼౓͕վળͨ͠ 
   QU 
   QU 
   QU 
   QU 
   QU 
   QU