LLM Science Examにおけるデータ戦略まとめ

第4回 Data-Centric AI勉強会 -コンペLT大会- 発表資料

Transcript

1. --.4DJFODF&YBNʹ͓͚Δσʔλઓུ·ͱΊ
   ୈճ%BUB$FOUSJD"*ษڧձίϯϖ-5େձ
   ೥݄೔
   5BLBTIJ4PNFZB
   

   View Slide

2. ࣗݾ঺հ
   ໊લɿTPNFZB
   ܦྺɿϙευΫʢ෺ੑ෺ཧֶʣˠ"*ΤϯδχΞ
   ࢓ࣄɿը૾ೝࣝɺσʔληϯτϦοΫ"*
   ,BHHMFɿ$7 /-1 Ի੠ͳͲษڧ໨తͰࢀՃ
   ຊ೔࿩͢ίϯϖ
   

   View Slide

3. --.4DJFODF&YBN֓ཁ
   ։࠵ظؒɿ
   ࢀՃνʔϜ਺ɿUFBNT
   ධՁࢦඪɿ.FBO"WFSBHF1SFDJTJPO!
   ੍໿ɿ(16ϝϞϦ(# ఏग़࣌ؒ࣌ؒ ໰୊਺໿໰
   ओ࠵ɿ,BHHMF
   2VFTUJPO
   8IBUJTUIFEFDBZFOFSHZGPS
   UIFGSFFOFVUSPOEFDBZ
   QSPDFTT
   ʢࣗ༝தੑࢠ่յաఔͷ่յΤωϧ
   Ϊʔ͸ʁʣ
   0QUJPO
   " .F7
   # .F7
   $ .F7
   % .F7
   & .F7
   "OTXFS&
   (15
   ՊֶతͳτϐοΫͷจষ
   XJLJQFEJBจষΛQSPNQUʹ
   ࣭໰ɾબ୒ࢶɾղ౴Λੜ੒
   ྫ
   ίϯϖͷλεΫ
   Պֶʹؔ࿈͢Δଟબ୒ࢶ໰୊Λղ͘
   IUUQTXXXLBHHMFDPNDPNQFUJUJPOTLBHHMFMMNTDJFODFFYBN
   

   View Slide

4. Ξϓϩʔν
   ίϯϖॳظɿੜ੒σʔλͰͷֶश
   ίϯϖத൫Ҏ߱ɿ3"(ʢ3FUSJFWBM"VHNFOUFE(FOFSBUJPOʣΞϓϩʔν
   (15
   ੜ੒σʔλ
   dL
   Ϟσϧ
   EFCFSUB --.ͳͲͷ༷ʑͳϞσϧΛࢼ͕͢
   είΞ͕ఔ౓Ͱ಄ଧͪʹͳΔ
   ˣ
   ϞσϧֶशʹΑͬͯXJLJQFEJBશͯͷՊֶ஌
   ࣝΛ֫ಘ͢Δͷ͸ෆՄೳʁ
   ֶश
   ྨࣅจষݕࡧ
   DPOUFYU
   2VFTUJPO
   0QUJPO
   *OQVUDPOUFYU
   4ZTUFN"OTXFSUIFGPMMPXJOH
   NVMUJQMFDIPJDFRVFTUJPOCZʢলུʣ
   2VFTUJPORVFTUJPO
   "
   PQUJPO"
   #
   PQUJPO#
   $
   PQUJPO$
   %
   PQUJPO%
   &
   PQUJPO&
   "OTXFS
   1SPNQU5FNQMBUF
   Ϟσϧ
   ਪ࿦
   "
   είΞdୡ੒
   wσʔλͷ࣭
   wݕࡧਫ਼౓
   ͕ॏཁ
   .PEFM$FOUSJD
   %BUB$FOUSJD
   ΫΤϦ
   σʔλιʔε
   

   View Slide

5. ίϯϖιϦϡʔγϣϯུ֓
   ΤϯδχΞϦϯά
   σʔλ
   wXJLJQFEJBUFYUEVNQ
   wֶशɾධՁ༻σʔλੜ੒
   wσʔλΫϨϯδϯά
   wΫϥελϦϯά
   ݕࡧ
   wจষຒΊࠐΈ
   

   TFOUFODFUSBOTGPSNFS
   

   UGJEG
   

   #.
   wۙ๣୳ࡧ
   Ϟσϧ
   w&ODPEFSNPEFM
   

   EFCFSUBWMBSHF
   w%FDPEFSNPEFM
   

   #
   

   #
   

   #
   ςΩετલॲཧ
   0QFO"*"1*
   GBJTT
   FMBTUJDTFBSDI
   ϝϞϦ؅ཧ
   -MBNB
   .JTUSBM
   -P3"2-P3"
   େن໛Ϟσϧͷਪ࿦
   ຊ೔࿩͢෦෼
   

   View Slide

6. ݕࡧઓུ
   ެ։OPUFCPPLʢϕʔεϥΠϯʣɿXJLJQFEJBͷهࣄ୯ҐͰݕࡧˠީิهࣄΛηϯςϯε୯ҐͰ෼ׂͯ͠࠶ݕࡧ
   ສهࣄ
   TFOUFODF
   USBOTGPSNFS
   ϕΫτϧԽ
   ςετσʔλ 2VFTUJPO 0QUJPO
   ʴ
   ϕΫτϧ%#
   ΫΤϦ
   8IBUJTUIFEFDBZFOFSHZGPSUIFGSFFOFVUSPOEFDBZQSPDFTT
   .F7.F7 .F7.F7.F7
   ީิهࣄ
   ʢ5PQ݅ʣ CMJOH
   fi
   SF
   ϥΠϒϥϦ
   ηϯςϯε෼ׂ
   ۙ๣୳ࡧ
   TFOUFODF
   USBOTGPSNFS
   ϕΫτϧԽ
   ϕΫτϧԽ
   ۙ๣୳ࡧ
   ݕࡧ݁Ռͷηϯςϯε
   ʢ5PQ݅ʣ
   'PSUIFGSFFOFVUSPO UIFEFDBZFOFSHZGPSUIJT
   QSPDFTT CBTFEPOUIFSFTUNBTTFTPGUIF
   OFVUSPO QSPUPOBOEFMFDUSPO
   JT.F7
   ΫΤϦ
   ϕΫτϧ%#
   

   View Slide

7. ݕࡧͷ޻෉
   จষͷϕΫτϧԽख๏
   w 4FOUFODF5SBOTGPSNFS
   

   .5-FBEFSCPSEʢ4FOUFODF5SBOTGPSNFSͷ-FBSEFSCPBEʣ͔Β༷ʑͳϞσϧΛࢼͯ͠είΞ্͕͕Δ΋ͷΛબఆ
   

   ྫɿHUFTNBMMCBTF CHFTNBMMCBTF
   w 5'*%'
   

   4FOUFODF5SBOTGPSNFS͚ͩͰͳ͘ɺ5'*%'΍#.ͳͲ/-1ͷैདྷख๏΋༗ޮͩͬͨ
   

   ʢઐ໳༻ޠͳͲಛఆͷهࣄͰ͔͠࢖ΘΕͳ͍୯ޠ͕ଟ͍ʁʣ
   จষ෼ׂ
   w จͷ۠੾Γ
   

   ύϥάϥϑ୯ҐɺηϯςϯεʢҰจʣ୯Ґɺ·ͨ͸ͦͷதؒͷෳ਺จΛ·ͱΊͨ୯ҐͳͲɺνʔϜΑ༷ͬͯʑ
   3FSBOLFS
   w ީิจষͷத͔ΒΑΓؔ࿈౓͕ߴ͍จষ্͕ҐʹͳΔΑ͏ฒͼସ͑
   

   View Slide

8. 3FUSJFWFS3FSBOLFSΞʔΩςΫνϟ
   IUUQTXXXQJOFDPOFJPMFBSOTFSJFTSBHSFSBOLFST ΑΓਤΛҾ༻
   3FUSJFWFSTFOUFODFUSBOTGPSNFS
   3FUSJFWFSSFDBMMॏࢹ
   ˣ
   3FSBOLFSQSFDJTJPOॏࢹ
   3FSBOLFS#&35 %FCFSUB
   5XP4UBHF3FUSJFWBM
   OE SE UIͷνʔϜ͕࢖༻
   ݕࡧͷ޻෉
   

   View Slide

9. σʔλઓུ
   8JLJQFEJBจষͷલॲཧ
   w ਺஋ɺ਺ࣜͷద੾ͳύʔε
   

   ޿͘༻͍ΒΕ͍ͯΔXJLJQFEJBQBSTFS XJLJFYUSBDUPSͳͲ
   ͸Պֶܥͷهࣄʹଟ͍਺஋දݱ΍਺ࣜΛద੾ʹύʔεͰ͖ͳ͍
   

   ্ҐνʔϜ͸͜ͷ͜ͱ͕ݕࡧੑೳɺϞσϧͷਪ࿦ੑೳΛ੍ݶ͍ͯ͠Δ͜ͱʹؾ͖ͮɺಠࣗͷલॲཧΛ૊ΈࠐΜͩΦϦδφϧ
   σʔληοτΛ࡞੒͍ͯͨ͠
   ΫϥελϦϯά
   8JLJQFEJBͷશମͰ͸ͳ͘ՊֶܥͷهࣄͰΫϥελϦϯάͨ͠αϒηοτΛ༻͍Δ
   1SPT
   ՊֶܥҎ֎ͷؔ࿈ͷͳ͍هࣄΛ͋Β͔͡Ίআ֎Ͱ͖Δɺݕࡧର৅͕গͳ͍ͷͰݕࡧϓϩηε͕ߴ଎Խ͢Δ
   $POT
   ςετσʔλʹؔ࿈͢ΔจষΛ͢΂ͯΧόʔͰ͖͍ͯͳ͍Մೳੑ͕͋Δ
   {{val|0.782343|u=MeV}}
   -VBεΫϦϓτͰຒΊࠐ·Εͨ
   ਺஋Λద੾ʹલॲཧͰ͖ͳ͍
   

   View Slide

10. ·ͱΊ
    w Ϟσϧͷਪ࿦ύϑΥʔϚϯε޲্ʹ͸ೖྗ͢Δσʔλͷ࣭͕େ੾
    

    σʔλࣗମͷ඼࣭վળͱؔ࿈͢ΔจষΛਫ਼౓ྑ͘ݕࡧ͢Δ͜ͱ্͕Ґೖ৆ͷϙΠϯτͩͬͨ
    

    w ্ҐͷνʔϜ΄ͲΤϥʔ෼ੳΛపఈ͍ͯ͠Δɻެ։σʔληοτͷ՝୊Λݟ͚ͭಠࣗͷΫϦʔ
    χϯάख๏Λ༻͍ΔͳͲ࣭ͷߴ͍σʔληοτ࡞੒ʹ࣌ؒΛ͔͚͍ͯͨ
    ʢࢀߟʣ
    ,BHHMF--.4DJFODF&YBNEJTDVTTJPO
    LBHHMF--.ίϯϖɹ্Ґղ๏·ͱΊ
    ,BHHMFίϯϖʢ--.4DJFODF&YBNʣͷৼΓฦΓͱ্Ґղ๏·ͱΊ
    ʢ༨ஊʣ౰ॳ͸--.Λ܇࿅͢ΔͨΊʹܭࢉϦιʔε͕ඞཁͳίϯϖ͔ͱࢥ͕ͬͨɺ%FCFSUBͷΑ͏ͳʢ--.ͱൺ΂ʣ
    ൺֱతখ͍͞ϞσϧͷΈͰۚϝμϧΛ֫ಘ͍ͯ͠ΔνʔϜ΋ଟ͔ͬͨˠ%BUB$FOUSJDͳΞϓϩʔν͕ޮ͘ίϯϖͩͬͨ
    

    View Slide