LA-Bench 2025：実験指示から実行可能手順を生成するためのデータセット/LA-Bench 2025: A Dataset for Generating Executable Experimental Procedures from Experimental Instructions

LA-Bench 2025ɿ࣮ݧࢦ͔ࣔΒ ࣮ߦՄೳखॱΛੜ੒͢ΔͨΊͷσʔληοτ 加藤祥太1 西田理彦2 酒井雄介3 尾崎
遼4 杉山亜矢斗2 山田涼太5 1京都大学 2ラボラトリーオートメーション協会 3東京大学 4理化学研究所 5Science Aid株式会社 [email protected] 2026-06-10 2026年度人工知能学会全国大会（第40回）

• ࣗ཯࣮ݧɿࣗಈ࣮ݧ૷ஔͱػցֶश Λ૊Έ߹Θͤɺ࣮ݧͷܭըɾ࣮ߦɾ ղੳΛดϧʔϓͰճ͢࢓૊Έɻ • ࡐྉɾԽֶɾੜ໋ՊֶͰਐలɻ • طଘϕϯνϚʔΫͷओͳର৅͸ɺ ʮͲͷ࣮ݧΛ࣍ʹ࣮ߦ͢Δ͔ʯ ͱ͍͏୳ࡧઓུɻ
• ࣗಈ࣮ݧ͸࣮ݱ͞Ε͍ͯΔ͔ʁ എܠʛࣗ཯ۦಈϥϘ TFMGESJWJOHMBCPSBUPSZ 4%- 1 ࣗ཯ۦಈϥϘϫʔΫϑϩʔͷུ֓ਤ Adesiji, A.D. et al. (2026) “Benchmarking self-driving labs,” Digital Discovery, 5(1), pp. 14–27.

• ࣗಈ࣮ݧʹ͸࣮ݧࢦ͔ࣔΒ࣮ߦՄೳखॱ΁ͷม׵͕ٻΊΒΕΔɻ • ࣮ݧࢦࣔɿ࣮ݧ໨తͱཁٻࣄ߲ • ࣮ߦՄೳखॱɿ۩ମతͳ਺ྔɾ৚݅ɾૢ࡞ର৅Λ໌ࣔͨ͠खॱ • ࣮ߦՄೳͳཻ౓ͷ࣮ݧखॱ͸ෆ׳Εͳ࣮ݧऀʹ΋໾ཱͭɻ ຊݚڀͷର৅ʛ࣮ݧࢦ͔ࣔΒͷ࣮ݧखॱੜ੒ 2
ϔΩαϝνϨϯδΞϛϯਫ༹ӷͱ ηόίΠϧΫϩϦυͷϔΩαϯ༹ӷΛ ༻͍ͯք໘ॏॖ߹Λߦ͍ɺφΠϩϯ ϑΟϥϝϯτΛ߹੒͢Δɻ ϑΟϥϝϯτΛચড়ɾס૩ͨ͠ޙɺ νϡʔϒʹอ؅ͤΑɻ ࣮ݧࢦࣔʢࣗવݴޠʣ <>ք໘ܗ੒ɿϏʔΧʔ"Λ ܏͚ɺ Ψϥε๮ʹԊΘͤrඵͰ஫͙ɻ ඵ੩ஔʢ֧፩ͳ͠ʣɻ <>ચড়ᶄɿ./B)$0 ਫ༹ӷ N- ʹ෼ਁ௮͠ɺ)$M Λத࿨ɻ ࣮ߦՄೳखॱʢൈਮʣ

• ࣮ݧखॱੜ੒λεΫͷධՁ͸೉͍͠ɻ • ෺඼੍໿΍ૢ࡞ॱংͳͲͷ ଟ໘తͳ੍໿Λಉ࣌ʹຬͨ͢ඞཁ͕͋Δɻ • ߹ཧతͳผղ͕ෳ਺ଘࡏ͢Δɻ • طଘݚڀ͸͍ͣΕ΋ผྖҬͰɺ ΢Σοτ࣮ݧͷධՁઃܭ͸ະཱ֬ɻ
ຊݚڀͷ໨తʛϕϯνϚʔΫͷߏஙͱධՁख๏ઃܭ 3 ੜ੒ɾධՁ நग़ɾߏ଄Խ ΢Σοτ࣮ݧ ൚༻λεΫ • 8/65 • 8-1 • 1D.41 --.BTBKVEHF ຊݚڀ -"#FODI ຊݚڀͷ໨త ࣮ߦՄೳखॱੜ੒λεΫΛ࡞੒͠ɺධՁํ๏Λઃܭ͢Δ͜ͱ

• ߏ੒ཁૉ • ࣮ݧࢦࣔʢࣗવݴޠͷ໨తɾཁٻࣄ߲ʣ • ࣮ߦՄೳखॱʢ൪߸෇͖ɾཻ౓نఆʣ • ࠾఺ج४ʢڞ௨ͱݸผʣ • ໰୊਺ɿ໰ʢྫ୊
։ൃ༻ ࠷ऴධՁ༻ ʣ • ର৅࣮ݧखॱͷઐ໳Ո͕ઃܭɻ • ෺඼੍໿ɾ࿦ཧߏ଄ͷૢ࡞ಛੑΛଟ༷Խɻ -"#FODIʛσʔληοτͷશମ૾ 4 ࣮ݧࢦࣔʢࣗવݴޠͷ ໨తɾཁٻࣄ߲ʣ ࣮ݧखॱ ੜ੒"* ൪߸෇͖ ࣮ߦՄೳ खॱ --.BT BKVEHF ఺ຬ఺ ڞ௨ ʴ ݸผ

• छྨͷೖྗͱ൪߸෇͖࣮ݧखॱͷग़ྗΛؚΉɻ • ୯ͳΔߏ଄ԽͰ͸ͳ͘ɺ҉໧஌ͷิ׬ɺૢ࡞ର৅΍૷ஔͷಛఆɺ ਺஋ύϥϝʔλʢମੵ΍ೱ౓ɺ࣌ؒͳͲʣͷ໌ࣔΛཁٻ͢Δɻ -"#FODIʛλεΫఆٛ 5 ۠෼ ಺༰ ೖྗ
࣮ݧࢦࣔʢ໨తɾཁٻࣄ߲ʣ ඞͣ࢖༻͢Δ෺඼ͷҰཡ ݩϓϩτίϧͷखॱʢࢀߟ࣮ݧखॱʣ ظ଴͞ΕΔ࠷ऴঢ়ଶ ࢀߟจݙ ग़ྗ ൪߸෇͖ͷ࣮ݧखॱɻ۩ମతͳ਺ྔɾ৚݅ɾૢ࡞ର৅Λ໌ࣔ͠ɺֶ෦Ϩϕϧͷ΢Σοτ࣮ݧͷ ܇࿅Λड͚ͨऀ͕ޡղͳ࣮͘ߦͰ͖Δཻ౓ɻखॱ਺ ≤ ɺ֤खॱ ≤ จɻ

• ڞ௨ɾݸผͷ྆ج४ͱ΋ʹɺର৅࣮ݧखॱͷઐ໳Ո͕ઃܭɻ • ڞ௨࠾఺ج४ʢ̑఺ʣɿશ໰ڞ௨ͰઃܭɻೖྗͱରԠɻ ܭࢉޡΓɾ࿦ཧໃ६ɾෆࣗવͳهड़͸ݮ఺ʢ֤߲໨ճ·Ͱʣɻ ࣮ݧࢦࣔͷύϥϝʔλͷਖ਼֬ͳ൓ө ඞਢ෺඼ͷద੾ͳ࢖༻
ݩϓϩτίϧͷ࿦ཧߏ଄ʢॱংɾ෼ذʣͷอ࣋ ظ଴͞ΕΔ࠷ऴঢ়ଶͷ࿦ཧతୡ੒Մೳੑ ҉໧෦෼ͷద੾ͳิ׬ • ݸผ࠾఺ج४ʢ̑఺ʣɿ໰୊͝ͱʹઃܭɻ ֤໰୊ͷग़୊ҙਤʹج͖ͮɺ҆શੑ΍ޮ཰ੑͳͲͷ؍఺Ͱઃܭɻ -"#FODI ʛ̍̌఺ຬ఺ͷධՁઃܭ 6 ೖྗ ࣮ݧࢦࣔ ʢ໨తɾཁٻࣄ߲ʣ ඞͣ࢖༻͢Δ෺඼ͷҰཡ ݩϓϩτίϧͷखॱ ʢࢀߟ࣮ݧखॱʣ ظ଴͞ΕΔ࠷ऴঢ়ଶ ࢀߟจݙ

• ֤໰୊ͷग़୊ҙਤʢ͜͜Ͱ͸҆શੑͱ࣮ݧਫ਼౓ʣΛ൓өͯ͠ɺ ઐ໳Ո͕؍఺ͱ഑఺Λઃܭɻ ݸผ࠾఺ج४ͷྫʛφΠϩϯ ߹੒ 7 ؍఺ ๬·͍͠هड़ ๬·͘͠ͳ͍هड़ ഑఺
҆શੑ ηόίΠϧΫϩϦυͷ෗৯ੑɾ ൃԎੑͷͨΊυϥϑτ಺Ͱ࣮ࢪ ͢Δͱ໌ه ҆શੑͷݴٴͳ͠ɺʮ஫ҙͯ͠ ѻ͏ʯͳͲͷᐆດͳهड़ͷΈ ؀ڥ৚݅ ʢ࣮ݧਫ਼౓ʣ rˆͳͲࣨԹͷ۩ମతൣғ Λ໌ࣔ ʮࣨԹͰʯͱͷΈهࡌ͠ɺ ۩ମతൣғ͕ࣔ͞Ε͍ͯͳ͍ ૢ࡞ٕज़ ʢ࣮ݧਫ਼౓ʣ ʮΨϥε๮ʹԊΘͤrඵͰ ஫͙ʯʮrDNඵͰҾ্͖ ͛ʯͳͲఆྔతͳهड़ ʮ੩͔ʹ஫͙ʯʮΏͬ͘ΓҾ͖ ্͛ΔʯͳͲఆੑతͳදݱʹ ͱͲ·Δ Խֶతཧղ /B)$0 ચড়ͷ໨త ʢ)$Mத࿨ʣΛ໌ࣔ ʮ/B)$0 Ͱચড়͢ΔʯͱͷΈ هࡌ͠ɺ໨తɾݪཧͷهड़ͳ͠

• ֤ճ౴ͷ࠷ऴಘ఺͸ڞ௨ಘ఺ʢrʣͱݸผಘ఺ʢrʣͷ࿨ɻ • --.ʹճ౴ΛؚΉධՁϓϩϯϓτΛ༩͑ɺ ධՁج४ʹجͮ͘఺਺ͱ൑ఆཧ༝ɾࠜڌɾಛهࣄ߲Λग़ྗɻ • ධՁϓϩϯϓτʹىҼ͢ΔภΓΛ௿ݮ͢ΔͨΊɺ ઃܭࢥ૝ͷҟͳΔछྨͷϓϩϯϓτΛಠཱʹ࢖༻ɻ ݫ֨ͳνΣοΫϦετܕɿೋ஋൑ఆʹΑΔอकతධՁ
ࣗ཯ਪ࿦ܕɿஈ֊తਪ࿦ʹΑΔମܥతධՁ ରরσϡΞϧύεܕɿࣦഊ༏ઌͷରরධՁ ڞ௨ςϯϓϨʔτͱϓϩϯϓτຊจͷৄࡉ͸ҎԼͷެ։ϨϙδτϦΛࢀরɻ https://github.com/lasa-or-jp/la-bench/notebooks/Evaluation.ipynb ࣗಈධՁʛ--.BTBKVEHF 8

͋ͳͨ͸ੜ໋Պֶ࣮ݧͷઐ໳ՈͰ͋Γɺݫ֨ͳ࠾఺ऀͰ͢ɻ༩͑ΒΕͨ*OQVUʢJOTUSVDUJPO NBOEBUPSZ@PCKFDUT TPVSDF@QSPUPDPM@TUFQT FYQFDUFE@GJOBM@TUBUFT SFGFSFODFTʣͱɺࢀՃऀͷ 0VUQVUʢQSPDFEVSF@TUFQTʣ͓Αͼ໰୊͝ͱͷTQFDJGJD@DSJUFSJB ΛධՁ͠ɺ+VEHF0VUQVU ͷΈΛฦ ͍ͯͩ͘͠͞ɻग़ྗ͸ҎԼͷϑΟʔϧυʹ׬શ४ڌ͠·͢ɿHFOFSBM@TDPSF
TQFDJGJD@TDPSF GJOBM@TDPSF HFOFSBM@SFBTPO TQFDJGJD@NBUDIFT OPUFTɻ༨෼ͳςΩετ͸Ұ੾ؚΊͳ͍Ͱ͍ͩ͘͞ɻ ධՁํ਑ ܾఆ͸ೋ஋ʢ0,/(ʣɻෆ࣮֬ͳ৔߹͸/(ʢແՃ఺ʣɻਪଌɾิ׬͸͠ͳ͍ɻ ࠜڌ͸ࢀՃऀ0VUQVUͷهड़ͷΈ͔ΒҾ༻͠ɺʮʯͰғΉɻ*OQVU͸র߹ʹͷΈ༻͍ɺҾ༻͠ͳ͍ɻ HFOFSBM@SFBTPO ͸ඞͣߦɻʮ ʙ ൑ఆʢ0,/(ʣ cࠜڌcҾ༻ʯɻ0,ͷ਺͸HFOFSBM@TDPSF ͱҰகͤ͞Δɻ GJOBM@TDPSF HFOFSBM@TDPSF TQFDJGJD@TDPSFɻ੔਺ɻൣғrɻ ա౓ͷ҆શੑͷ্ݶʢDBQʣ͸HFOFSBM@TDPSFࢉग़ޙʹద༻͠ɺOPUFTʹ؆ܿʹهࡌɻͳ͍৔߹͸ۭจ ࣈɻ ݫ֨νΣοΫϦετϓϩϯϓτ

खॱ *OQVU͔Βඞਢύϥϝʔλɾ෺඼ɾखॱ࿦ཧɾظ଴࠷ऴঢ়ଶΛநग़ɻ 0VUQVUΛ૸ࠪ͠ɺૢ࡞Մೳͳ୯Ґʢ-N- NHH౳ʣɾث۩໌ࣔɾॱং෼ذɾܭࢉ੔߹ੑͷ༗ແ Λ֬ೝɻ ͭͷڞ௨࠾఺ج४Λಠཱʹ൑ఆʢ0,/(ʣɻࠜڌ͸0VUQVUͷ۩ମϑϨʔζΛҾ༻ɻ TQFDJGJD@DSJUFSJB Λຬͨ͢ՕॴͷΈTQFDJGJD@NBUDIFT ʹҾ༻Λه࿥͠ɺ֘౰఺ΛՃࢉɻᐆດͳΒɻ ա౓ͷ҆શੑͷ৚݅ʹ֘౰͢Δ৔߹ɺHFOFSBM@TDPSF
Λ࠷େʹDBQɻOPUFT ʹʮDBQཧ༝ʯΛ୹͘ هࡌɻ +VEHF0VUQVU Λฦ͢ɻॴఆϑΟʔϧυҎ֎͸ग़ྗ͠ͳ͍ɻ ڞ௨࠾఺ج४ʢHFOFSBM@TDPSFɺ࠷େ఺ʣ Ճ఺߲໨ʢ֤఺ʣ ʮ࣮ݧࢦࣔʯʹ͓͚ΔύϥϝʔλΛɺ͢΂ͯޡΓͳ͘൓ө͍ͯ͠Δɻ୯ͳΔ࠶ܝ͸ೝΊͳ͍ɻ ʮ࢖༻͢Δ෺඼ʯͷཁૉ͕ɺ͢΂ͯޡΓͳ͘൓ө͍ͯ͠Δɻᐆດͳ૯শͷΈ͸ೝΊͳ͍ɻ ʮݩϓϩτίϧͷखॱʯͷॱং΍෼ذ৚݅ͷ࿦ཧߏ଄Λໃ६ͳ͘൓ө͍ͯ͠Δɻ ݫ֨νΣοΫϦετϓϩϯϓτ

࣮ߦ͢Δ͜ͱͰɺʮظ଴͞ΕΔ࠷ऴঢ়ଶʯΛಘΒΕΔɻ࿦ཧతഁ୼΍ܭࢉϛε͕ͳ͍ɻ ໌ࣔ͞Ε͍ͯͳ͍෦෼Λద੾ʹิ׬͍ͯ͠Δɻهड़͕۩ମతͰ͋Δɻ ݮ఺߲໨ʢ֤఺ʣ ա౓ʹෆࣗવͳ೔ຊޠ΍ϋϧγωʔγϣϯΛؚΉɻ ܭࢉϛε͕͋Δɻ खॱʹໃ६͕͋Δɻ ա౓ͷ҆શੑ ҎԼͷΑ͏ʹա౓ʹ҆શଆʹ౗ͨ͠ճ౴ͷ৔߹ɺڞ௨࠾఺ج४ʢHFOFSBM@TDPSFʣͷ߹ܭ఺Λ࠷େ఺ ͱ͢Δɻ
ೖྗͷखॱΛͦͷ··ग़ྗͱͯ͠هࡌ͍ͯ͠Δɻ ग़యͷ৘ใΛద੾ͳऔࣺબ୒ͳ͘هࡌ͍ͯ͠Δɻ ࣮ݧࢦࣔ΍ݩϓϩτίϧʹ൓ͯ͠தؒ෺Λඞཁྔͷഒ༻ҙ͢ΔͳͲɺΈͩΓʹ࣮ݧ৚݅Λ҆શଆ ʹ౗͍ͯ͠Δɻ ݫ֨νΣοΫϦετϓϩϯϓτ

ద༻ྫ ࠾఺݁Ռ͕఺ͷ৔߹ˠ఺ͷ·· ࠾఺݁Ռ͕఺ͷ৔߹ˠ఺ʹ੍ݶ ࠾఺݁Ռ͕఺ͷ৔߹ˠ఺ʹ੍ݶ ݸผ࠾఺ج४ʢTQFDJGJD@TDPSFɺ࠷େ఺ʣ ໰୊͝ͱʹઃఆ͞Εͨ࠾఺߲໨ʹج͍ͮͯՃ఺͢Δɻ࠾఺߲໨͸ҎԼͷΑ͏ͳ؍఺Ͱઃఆ͞Ε͍ͯΔɻ
ग़୊ҙਤ΁ͷద߹ੑ ҆શੑͷߟྀ ίετޮ཰ ࡞ۀޮ཰ ࣮ݧਫ਼౓޲্΁ͷߩݙ ੜ੒͞Ε࣮ͨݧखॱ͕࠾఺߲໨ͷ৚݅Λ໌ࣔతʹຬͨ͢৔߹ͷΈɺ֘౰͢ΔTDPSFΛՃ఺͠ɺࠜڌͱͳ ΔϑϨʔζΛTQFDJGJD@NBUDIFTʹه࿥͢Δɻᐆດͳهड़͸Ճ఺͠ͳ͍ɻ ݫ֨νΣοΫϦετϓϩϯϓτ

࣮ݧखॱͷৄࡉ౓ʹؔ͢Δඞਢཁ݅ ࣮ݧखॱʢQSPDFEVSF@TUFQTʣ͸ɺ୯ʹϓϩτίϧΛߏ଄Խ͢Δ͚ͩͰ͸ͳ͘ɺ౰֘෼໺ͷֶ෦Ϩϕϧ ͷτϨʔχϯάΛड͚ͨਓ͕ಡΜͰޡղͳ࣮͘ߦͰ͖Δ͜ͱΛ໨ࢦ͍ͯͩ͘͠͞ɻͦͷͨΊʹɺҎԼͷ ఺Λ९क͍ͯͩ͘͠͞ɻ ͢΂ͯͷ৚͕݅໌ࣔԽ͞Ε͍ͯΔɻ ෆ׬શͳهड़͕׬੒͞Ε͍ͯΔɻ ࣮ߦ࣌ʹ࢖༻͞ΕΔ۩ମతͳ਺஋͕ܭࢉ͞Ε͍ͯΔʢ-N-
NHHͳͲ࣮ࡍʹૢ࡞Ͱ͖Δ୯Ґɻ QNPM OH౳ͷΈͷఏࣔ͸ෆՄɻ׵ࢉͯ͠ମੵ΍࣭ྔΛࣔͨ͠৔߹ͷΈՄʣɻ ૢ࡞ର৅΍ث۩ɺ૷ஔͳͲର৅෺͕໌ࣔԽ͞Ε͍ͯΔɻ ݫ֨νΣοΫϦετϓϩϯϓτ

• ධՁର৅ɿ։ൃ༻ ໰ • ධՁϓϩϯϓτɿछྨʢνΣοΫϦετɺࣗ཯ਪ࿦ɺσϡΞϧύεʣ • ධՁثɿ(15OBOPɺ(15NJOJɺ(15 ίϯϖ։࠵࣌ʹ͸HQUNJOJ HQU HQU
HQUNJOJ HQUOBOPΛൺֱ͠ɺ HQU͔HQUNJOJʹΑΔධՁ݁Ռ͕ྑ͍ͱ͍͏ॴײΛಘͨɻ • 5FNQFSBUVSFɿ • ֤ධՁϓϩϯϓτ͇ධՁثͷ૊Έ߹Θͤʢ௨Γʣʹ͍ͭͯɺ ֤໰୊ΛճͣͭධՁɻ ࣮ݧઃఆ 14

• ධՁث͝ͱʹ࠷ߴಘ఺ͷϓϩϯϓτ͕ೖΕସΘΔɻ • ධՁثؒࠩ͸ϓϩϯϓτͰมಈɻࣗ཯ਪ࿦ܕ͸ɻ ஈ֊తਪ࿦Λཁٻ͢ΔͨΊɺେ͖͘มಈͨ͠ͱ༧૝ɻ • σϡΞϧύεܕ͸௿Ίɻࣦഊཧ༝Λ༏ઌ͢Δ͜ͱ͕ݪҼͱ༧૝ɻ ݁Ռͱߟ࡯ʛϓϩϯϓτ YධՁثͷ૊Έ߹Θͤผಘ఺ 15
ධՁث νΣοΫϦετܕ 自律ਪ࿦ܕ σϡΞϧύεܕ ϓϩϯϓτฏۉ (15OBOP ± ± ± ± (15NJOJ ± ± ± ± (15 ± ± ± ± ධՁثฏۉ ± ± ± ±

• શ௨ΓͰݸผʼڞ௨ʢݸผ࠾఺ج४ͷํ͕ຬͨ͠΍͍͢ʣɻ • (15͸ڞ௨ɾݸผͱ΋ʹඪ४ภ͕ࠩখ͘͞ධՁ͕҆ఆɻ ݁Ռͱߟ࡯ʛڞ௨ಘ఺ WTݸผಘ఺ͷ૊Έ߹Θͤผ಺༁ 16 ධՁث ϓϩϯϓτ ڞ௨ಘ఺
ݸผಘ఺ ࠩ (15OBOP νΣοΫϦετܕ ± ± ࣗ཯ਪ࿦ܕ ± ± σϡΞϧύεܕ ± ± (15NJOJ νΣοΫϦετܕ ± ± ࣗ཯ਪ࿦ܕ ± ± σϡΞϧύεܕ ± ± (15 νΣοΫϦετܕ ± ± ࣗ཯ਪ࿦ܕ ± ± σϡΞϧύεܕ ± ±

• ϓϩϯϓτઃܭͱධՁثબ୒͸૬ޓʹӨڹ͠ɺ ධՁ݁Ռʹ൓ө͞ΕΔɻ • ୯ҰͷϓϩϯϓτɾධՁثʹґଘͨ͠ධՁͰ͸ɺ ಛఆͷ૊Έ߹Θͤݻ༗ͷภΓΛഉআͰ͖ͳ͍ɻ • ࣮ݧखॱੜ੒λεΫͷࣗಈධՁͰ͸ɺ ෳ਺ͷධՁઃܭΛซ༻͢Δඞཁ͕͋Δɻ •
(15͸ɺڞ௨ɾݸผͱ΋ʹඪ४ภ͕ࠩখ͘͞ධՁ͕҆ఆ͍ͯͨ͠ɻ ݁Ռͱߟ࡯ʛධՁ͸୯ҰͷධՁثʹґଘ͠ͳ͍ 17

• -"#FODIͷσʔληοτΛར༻ɻ • ෳ਺νʔϜ͔Βͷఏग़खॱʹର͠ɺ ࣗಈධՁͱઐ໳ՈʹΑΔਓखධՁΛ࣮ࢪɻ • Ұൠࣾஂ๏ਓϥϘϥτϦʔΦʔτϝʔγϣϯ ڠձʢ-"4"ʣͷࢧԉͱਓ޻஌ೳֶձͷ ίϯϖςΟγϣϯ։࠵ࢧԉ੍౓ʹΑΓӡӦɻ •
ৄࡉ΍্Ґղ๏ʹ͍ͭͯ͸ɺ ʮ,4ਓ޻஌ೳͱίϯϖςΟγϣϯʯͷ 8FCϖʔδ΍ 4MBDLνϟϯωϧࢀরɻ -"#FODIίϯϖςΟγϣϯͰͷ׆༻ 18 https://lasa-or-jp.github.io/la-bench/ https://kikaku.ai-gakkai.or.jp/article/jsai2026-ks21

• ࣮ݧࢦ͔ࣔΒͷ࣮ߦՄೳखॱੜ੒ΛධՁ͢ΔϕϯνϚʔΫͱͯ͠ -"#FODIσʔληοτʢ໰ʣΛ࡞੒ͨ͠ɻ • --.BTBKVEHFͷධՁϓϩϯϓτΛͭࣔ͠ɺ ධՁϓϩϯϓτͱධՁثͷબ୒ʹΑΔӨڹΛ෼ੳͨ͠ɻ • ࠓޙͷ՝୊ • ࣗಈධՁͱਓखධՁͷࠩҟ෼ੳ
• σʔληοτͷ֦ு • ΑΓߴਫ਼౓ͳʢਓखධՁʹ͍ۙʣධՁͷઃܭ -"#FODIίϯϖςΟγϣϯʹ͝ࢀՃ͍͍ͨͩͨօ༷ɺ͝ࢧԉ͍͍ͨͩͨεϙϯαʔاۀͷօ༷ɺ ͝ڠྗ͍͍ͨͩͨυϝΠϯઐ໳ՈɾӡӦϝϯόʔͷօ༷ʹɺ৺ΑΓޚྱਃ্͛͠·͢ɻ ·ͱΊ 19

Appendix 20

:PVBSFBMJGFTDJFODFFYQFSUBOEBTUSJDUHSBEFS&WBMVBUFUIFQBSUJDJQBOU`T0VUQVU QSPDFEVSF@TUFQT BHBJOTUUIFDPNQFUJUJPO*OQVU JOTUSVDUJPO NBOEBUPSZ@PCKFDUT TPVSDF@QSPUPDPM@TUFQT FYQFDUFE@GJOBM@TUBUFT SFGFSFODFT BOEQSPCMFNTQFDJGJDDSJUFSJB
3FUVSO0/-:UIF+VEHF0VUQVU GJFMETHFOFSBM@TDPSF TQFDJGJD@TDPSF GJOBM@TDPSF HFOFSBM@SFBTPO TQFDJGJD@NBUDIFT OPUFT/PFYUSBUFYU QFSTJTUFODF 0QFSBUFBVUPOPNPVTMZVOUJMFWBMVBUJPOJTGVMMZDPNQMFUF%P/05BTLGPSDMBSJGJDBUJPO 6OEFSVODFSUBJOUZ CJBTUP/( OPDSFEJU QSPDFFEBOEEPDVNFOUEFDJTJPOT QFSTJTUFODF ࣗ཯ਪ࿦ܕϓϩϯϓτ 21

UPPM@QSFBNCMF 3FQISBTFUIFHPBMCSJFGMZl4DPSF0VUQVUBHBJOTU*OQVUVTJOHHFOFSBMDIFDLT TQFDJGJD DSJUFSJBz 1MBO &YUSBDU*OQVUSFRVJSFNFOUT
QBSTF0VUQVU BQQMZGJWFCJOBSZDIFDLTXJUI RVPUFEFWJEFODF BQQMZPWFSTBGFUZDBQJGUSJHHFSFE DPMMFDUTQFDJGJD@NBUDIFT DPNQVUFTDPSFT FNJU+VEHF0VUQVU 4UPQXIFOBMMGJWFDIFDLTEFDJEFETQFDJGJD@NBUDIFT DPNQJMFETDIFNBWBMJEBUFE UPPM@QSFBNCMF TUFFSJOH SFBTPOJOH@FGGPSUNFEJVN VTFNJOJNBMGPSMBUFODZTFOTJUJWFSVOT WFSCPTJUZMPX/PDPNNFOUBSZCFZPOESFRVJSFEGJFMET %FUFSNJOJTNMPXUFNQFSBUVSFBWPJEFNJUUJOHBOZGJFMETCFZPOETDIFNB TUFFSJOH ࣗ཯ਪ࿦ܕϓϩϯϓτ 22

HFOFSBM@DIFDLT@EFGJOJUJPO *OTUSVDUJPOQBSBNFUFSTNVTUCFGVMMZSFGMFDUFE"/%PQFSBUJPOBMJ[FE VOJUTJOTUSVNFOUT 3FTUBUFNFOUBMPOFˠ/( .BOEBUPSZPCKFDUT"--JUFNTDPODSFUFMZVTFEVNCSFMMBDBUFHPSJFTBMPOFˠ/( 1SPUPDPMMPHJDQSFTFSWFPSEFS
CSBODIFT EFQFOEFODJFTGSPNTPVSDF@QSPUPDPM@TUFQT XJUIPVUDPOUSBEJDUJPO "DIJFWBCJMJUZTUFQTMPHJDBMMZZJFMEFYQFDUFE@GJOBM@TUBUFTOPDBMDVMBUJPOPSMPHJDBMFSSPST $PNQMFUFOFTTTQFDJGJDJUZGJMMHBQTBQQSPQSJBUFMZBDUJPOBCMFVOJUT -N- NHH BOE JOTUSVNFOUTQSFTFOU/POPQFSBUJPOBMVOJUTBMPOF FH POMZOHQNPM ˠ/(VOMFTTDPOWFSUFE HFOFSBM@DIFDLT@EFGJOJUJPO ࣗ཯ਪ࿦ܕϓϩϯϓτ 23

FWJEFODF@SVMFT 2VPUF0/-:GSPN0VUQVUGPSHFOFSBM@SFBTPO BOETQFDJGJD@NBUDIFT XSBQQFEJOʮʯ 6TF*OQVUGPSBMJHONFOUDIFDLTPOMZEPOPURVPUFJU *G0VUQVUMBDLTOFDFTTBSZFWJEFODF NBSL/(EPOPUJOWFOU
FWJEFODF@SVMFT PWFS@TBGFUZ@DBQ "QQMZBGUFSDPNQVUJOHHFOFSBM@TDPSFDBQUPNBYJG 0VUQVUDPQJFT*OQVUTUFQTWFSCBUJNXJUIPVUPQFSBUJPOBMJ[BUJPO 0VUQVUQBTUFTSFGFSFODFTFYUFSOBMDPOUFOUXJUIPVUTFMFDUJPO 0VUQVUJOGMBUFTRVBOUJUJFT FH ºJOUFSNFEJBUFT DPOUSBSZUP*OQVUQSPUPDPMXJUIPVU KVTUJGJDBUJPO 3FDPSEDBQCSJFGMZJOOPUFTPUIFSXJTFOPUFTJTFNQUZ PWFS@TBGFUZ@DBQ ࣗ཯ਪ࿦ܕϓϩϯϓτ 24

GPSNBU@TUSJDUOFTT &NJU0/-:HFOFSBM@TDPSF TQFDJGJD@TDPSF GJOBM@TDPSF HFOFSBM@SFBTPO FYBDUMZMJOFT l ʜ ൑ఆʢ0,/(ʣ
cࠜڌcҾ༻z TQFDJGJD@NBUDIFT MJTUPGRVPUFE0VUQVUQISBTFT OPUFT &OTVSF0,DPVOUFRVBMTHFOFSBM@TDPSFGJOBM@TDPSF FRVBMTTVN GPSNBU@TUSJDUOFTT ڞ௨࠾఺ج४ʢHFOFSBM@TDPSFɺ࠷େ఺ʣ Ճ఺߲໨ʢ֤఺ʣ ʮ࣮ݧࢦࣔʯʹ͓͚ΔύϥϝʔλΛɺ͢΂ͯޡΓͳ͘൓ө͍ͯ͠Δɻ୯ͳΔ࠶ܝ͸ೝΊͳ͍ɻ ʮ࢖༻͢Δ෺඼ʯͷཁૉ͕ɺ͢΂ͯޡΓͳ͘൓ө͍ͯ͠Δɻᐆດͳ૯শͷΈ͸ೝΊͳ͍ɻ ʮݩϓϩτίϧͷखॱʯͷॱং΍෼ذ৚݅ͷ࿦ཧߏ଄Λໃ६ͳ͘൓ө͍ͯ͠Δɻ ࣮ߦ͢Δ͜ͱͰɺʮظ଴͞ΕΔ࠷ऴঢ়ଶʯΛಘΒΕΔɻ࿦ཧతഁ୼΍ܭࢉϛε͕ͳ͍ɻ ໌ࣔ͞Ε͍ͯͳ͍෦෼Λద੾ʹิ׬͍ͯ͠Δɻهड़͕۩ମతͰ͋Δɻ ࣗ཯ਪ࿦ܕϓϩϯϓτ 25

ݮ఺߲໨ʢ֤఺ʣ ա౓ʹෆࣗવͳ೔ຊޠ΍ϋϧγωʔγϣϯΛؚΉɻ ܭࢉϛε͕͋Δɻ खॱʹໃ६͕͋Δɻ ա౓ͷ҆શੑ ҎԼͷΑ͏ʹա౓ʹ҆શଆʹ౗ͨ͠ճ౴ͷ৔߹ɺڞ௨࠾఺ج४ʢHFOFSBM@TDPSFʣͷ߹ܭ఺Λ࠷େ఺ ͱ͢Δɻ ೖྗͷखॱΛͦͷ··ग़ྗͱͯ͠هࡌ͍ͯ͠Δɻ
ग़యͷ৘ใΛద੾ͳऔࣺબ୒ͳ͘هࡌ͍ͯ͠Δɻ ࣮ݧࢦࣔ΍ݩϓϩτίϧʹ൓ͯ͠தؒ෺Λඞཁྔͷഒ༻ҙ͢ΔͳͲɺΈͩΓʹ࣮ݧ৚݅Λ҆શଆ ʹ౗͍ͯ͠Δɻ ࣗ཯ਪ࿦ܕϓϩϯϓτ 26

ग़୊ҙਤ΁ͷద߹ੑ ҆શੑͷߟྀ ίετޮ཰ ࡞ۀޮ཰ ࣮ݧਫ਼౓޲্΁ͷߩݙ ࣗ཯ਪ࿦ܕϓϩϯϓτ 27

ੜ੒͞Ε࣮ͨݧखॱ͕࠾఺߲໨ͷ৚݅Λ໌ࣔతʹຬͨ͢৔߹ͷΈɺ֘౰͢ΔTDPSFΛՃ఺͠ɺࠜڌͱͳ ΔϑϨʔζΛTQFDJGJD@NBUDIFTʹه࿥͢Δɻᐆດͳهड़͸Ճ఺͠ͳ͍ɻ ࣮ݧखॱͷৄࡉ౓ʹؔ͢Δඞਢཁ݅ ࣮ݧखॱʢQSPDFEVSF@TUFQTʣ͸ɺ୯ʹϓϩτίϧΛߏ଄Խ͢Δ͚ͩͰ͸ͳ͘ɺ౰֘෼໺ͷֶ෦Ϩϕϧ ͷτϨʔχϯάΛड͚ͨਓ͕ಡΜͰޡղͳ࣮͘ߦͰ͖Δ͜ͱΛ໨ࢦ͍ͯͩ͘͠͞ɻͦͷͨΊʹɺҎԼͷ ఺Λ९क͍ͯͩ͘͠͞ɻ ͢΂ͯͷ৚͕݅໌ࣔԽ͞Ε͍ͯΔɻ ෆ׬શͳهड़͕׬੒͞Ε͍ͯΔɻ
࣮ߦ࣌ʹ࢖༻͞ΕΔ۩ମతͳ਺஋͕ܭࢉ͞Ε͍ͯΔʢ-N- NHHͳͲ࣮ࡍʹૢ࡞Ͱ͖Δ୯Ґɻ QNPM OH౳ͷΈͷఏࣔ͸ෆՄɻ׵ࢉͯ͠ମੵ΍࣭ྔΛࣔͨ͠৔߹ͷΈՄʣɻ ૢ࡞ର৅΍ث۩ɺ૷ஔͳͲର৅෺͕໌ࣔԽ͞Ε͍ͯΔɻ ࣗ཯ਪ࿦ܕϓϩϯϓτ 28

͋ͳͨ͸ੜ໋Պֶ෼໺ͷʮରরܕʢίϯτϥετʣσϡΞϧύεʯ࠾఺ऀͰ͢ɻ*OQVUʢJOTUSVDUJPO NBOEBUPSZ@PCKFDUT TPVSDF@QSPUPDPM@TUFQT FYQFDUFE@GJOBM@TUBUFT SFGFSFODFTʣͱࢀՃऀ0VUQVUʢ QSPDFEVSF@TUFQTʣɺTQFDJGJD@DSJUFSJB ΛධՁ͠ɺ+VEHF0VUQVU ͷΈΛฦ͍ͯͩ͘͠͞ɻ༨෼ͳग़ྗ͸ݫېͰ͢ɻ QFSTJTUFODF
૬ஊ΍֬ೝ͸ߦΘͣɺࣗ཯తʹධՁΛ׬ྃ͢Δɻ ෆ࣮֬ͳ৔߹͸/(ʢແՃ఺ʣɻਪଌ͸͠ͳ͍ɻ൑அཧ༝͸0VUQVUͷҾ༻Ͱࣔ͢ɻ QFSTJTUFODF ධՁϑϨʔϜ 1BTT"ʢ'BJMVSFGJSTUʣ֤ڞ௨ج४ʹ͍ͭͯɺ/(ͱͳΔࠜڌʢܽམͨ͠ύϥϝʔλɺະ࢖༻෺඼ɺॱং෼ذͷ ഁ୼ɺܭࢉ࿦ཧΤϥʔɺૢ࡞ෆೳͳ୯Ґ΍ث۩ͷෆࡏʣΛɺ0VUQVU͔ΒͷΈநग़ɾҾ༻ɻ 1BTT#ʢ&WJEFODFGPSDSFEJUʣ֤ج४ͷ0,৚݅Λຬͨ͢௚઀తͳূڌʢૢ࡞Մೳͳ୯Ґɺ۩ମతث۩ɺશ෺඼ ͷ࢖༻ɺ෼ذҡ࣋ɺ࠷ऴঢ়ଶͷୡ੒ʣΛ0VUQVU͔ΒͷΈநग़ɾҾ༻ɻ িಥղܾ1BTT"͕༗ޮͳࣦഊཧ༝Λࣔͨ͠৔߹ɺ1BTT#͕ͦΕΛ׬શʹଧͪফ͢໌֬ͳҾ༻ূڌΛࣔ͢ͱ͖ͷ Έ0,ɻᐆດ͸/(ɻ ରরσϡΞϧύεܕϓϩϯϓτ 29

ܗࣜɾࢉఆ HFOFSBM@SFBTPO ͸ඞͣߦͰʮ ʙ ൑ఆʢ0,/(ʣ cࠜڌcҾ༻ʯɻҾ༻͸ʮʯͰғΉɻ TQFDJGJD@NBUDIFT ͸ɺຬͨͨ͠TQFDJGJD@DSJUFSJB
͝ͱʹ0VUQVUͷ֘౰ϑϨʔζͷΈΛྻڍɻᐆດͳΒ௥Ճ͠ͳ ͍ɻ GJOBM@TDPSF HFOFSBM@TDPSF TQFDJGJD@TDPSFɻա౓ͷ҆શੑDBQ͸HFOFSBM@TDPSF ࢉग़ޙʹద༻͠ɺOPUFT ʹ؆ܿʹهࡌɻͳ͚Ε͹ۭจࣈɻ ॴఆϑΟʔϧυʢHFOFSBM@TDPSF TQFDJGJD@TDPSF GJOBM@TDPSF HFOFSBM@SFBTPO TQFDJGJD@NBUDIFT OPUFTʣҎ ֎͸ग़ྗېࢭɻ ڞ௨࠾఺ج४ʢHFOFSBM@TDPSFɺ࠷େ఺ʣ Ճ఺߲໨ʢ֤఺ʣ ʮ࣮ݧࢦࣔʯʹ͓͚ΔύϥϝʔλΛɺ͢΂ͯޡΓͳ͘൓ө͍ͯ͠Δɻ୯ͳΔ࠶ܝ͸ೝΊͳ͍ɻ ʮ࢖༻͢Δ෺඼ʯͷཁૉ͕ɺ͢΂ͯޡΓͳ͘൓ө͍ͯ͠Δɻᐆດͳ૯শͷΈ͸ೝΊͳ͍ɻ ʮݩϓϩτίϧͷखॱʯͷॱং΍෼ذ৚݅ͷ࿦ཧߏ଄Λໃ६ͳ͘൓ө͍ͯ͠Δɻ ࣮ߦ͢Δ͜ͱͰɺʮظ଴͞ΕΔ࠷ऴঢ়ଶʯΛಘΒΕΔɻ࿦ཧతഁ୼΍ܭࢉϛε͕ͳ͍ɻ ରরσϡΞϧύεܕϓϩϯϓτ 30

໌ࣔ͞Ε͍ͯͳ͍෦෼Λద੾ʹิ׬͍ͯ͠Δɻهड़͕۩ମతͰ͋Δɻ ݮ఺߲໨ʢ֤఺ʣ ա౓ʹෆࣗવͳ೔ຊޠ΍ϋϧγωʔγϣϯΛؚΉɻ ܭࢉϛε͕͋Δɻ खॱʹໃ६͕͋Δɻ ա౓ͷ҆શੑ ҎԼͷΑ͏ʹա౓ʹ҆શଆʹ౗ͨ͠ճ౴ͷ৔߹ɺڞ௨࠾఺ج४ʢHFOFSBM@TDPSFʣͷ߹ܭ఺Λ࠷େ఺ͱ͢Δɻ ೖྗͷखॱΛͦͷ··ग़ྗͱͯ͠هࡌ͍ͯ͠Δɻ
ग़యͷ৘ใΛద੾ͳऔࣺબ୒ͳ͘هࡌ͍ͯ͠Δɻ ࣮ݧࢦࣔ΍ݩϓϩτίϧʹ൓ͯ͠தؒ෺Λඞཁྔͷഒ༻ҙ͢ΔͳͲɺΈͩΓʹ࣮ݧ৚݅Λ҆શଆʹ౗͍ͯ͠Δɻ ରরσϡΞϧύεܕϓϩϯϓτ 31

ग़୊ҙਤ΁ͷద߹ੑ ҆શੑͷߟྀ ίετޮ཰ ࡞ۀޮ཰ ࣮ݧਫ਼౓޲্΁ͷߩݙ ੜ੒͞Ε࣮ͨݧखॱ͕࠾఺߲໨ͷ৚݅Λ໌ࣔతʹຬͨ͢৔߹ͷΈɺ֘౰͢ΔTDPSFΛՃ఺͠ɺࠜڌͱͳΔϑϨʔζ ΛTQFDJGJD@NBUDIFTʹه࿥͢Δɻᐆດͳهड़͸Ճ఺͠ͳ͍ɻ ରরσϡΞϧύεܕϓϩϯϓτ 32

࣮ݧखॱͷৄࡉ౓ʹؔ͢Δඞਢཁ݅ ࣮ݧखॱʢQSPDFEVSF@TUFQTʣ͸ɺ୯ʹϓϩτίϧΛߏ଄Խ͢Δ͚ͩͰ͸ͳ͘ɺ౰֘෼໺ͷֶ෦ϨϕϧͷτϨʔχ ϯάΛड͚ͨਓ͕ಡΜͰޡղͳ࣮͘ߦͰ͖Δ͜ͱΛ໨ࢦ͍ͯͩ͘͠͞ɻͦͷͨΊʹɺҎԼͷ఺Λ९क͍ͯͩ͘͠͞ɻ ͢΂ͯͷ৚͕݅໌ࣔԽ͞Ε͍ͯΔɻ ෆ׬શͳهड़͕׬੒͞Ε͍ͯΔɻ ࣮ߦ࣌ʹ࢖༻͞ΕΔ۩ମతͳ਺஋͕ܭࢉ͞Ε͍ͯΔʢ-N- NHHͳͲ࣮ࡍʹૢ࡞Ͱ͖Δ୯ҐɻQNPM
OH౳ͷΈ ͷఏࣔ͸ෆՄɻ׵ࢉͯ͠ମੵ΍࣭ྔΛࣔͨ͠৔߹ͷΈՄʣɻ ૢ࡞ର৅΍ث۩ɺ૷ஔͳͲର৅෺͕໌ࣔԽ͞Ε͍ͯΔɻ ରরσϡΞϧύεܕϓϩϯϓτ 33

LA-Bench 2025：実験指示から実行可能手順を生成するためのデータセット/LA-Be...

LA-Bench 2025：実験指示から実行可能手順を生成するためのデータセット/LA-Bench 2025: A Dataset for Generating Executable Experimental Procedures from Experimental Instructions

Shota Kato

More Decks by Shota Kato

Other Decks in Research

Featured

Transcript

LA-Bench 2025ɿ࣮ݧࢦ͔ࣔΒ ࣮ߦՄೳखॱΛੜ੒͢ΔͨΊͷσʔληοτ 加藤祥太1 西田理彦2 酒井雄介3 尾崎

• ࣗ཯࣮ݧɿࣗಈ࣮ݧ૷ஔͱػցֶश Λ૊Έ߹Θͤɺ࣮ݧͷܭըɾ࣮ߦɾ ղੳΛดϧʔϓͰճ͢࢓૊Έɻ • ࡐྉɾԽֶɾੜ໋ՊֶͰਐలɻ • طଘϕϯνϚʔΫͷओͳର৅͸ɺ ʮͲͷ࣮ݧΛ࣍ʹ࣮ߦ͢Δ͔ʯ ͱ͍͏୳ࡧઓུɻ

• ࣮ݧखॱੜ੒λεΫͷධՁ͸೉͍͠ɻ • ෺඼੍໿΍ૢ࡞ॱংͳͲͷ ଟ໘తͳ੍໿Λಉ࣌ʹຬͨ͢ඞཁ͕͋Δɻ • ߹ཧతͳผղ͕ෳ਺ଘࡏ͢Δɻ • طଘݚڀ͸͍ͣΕ΋ผྖҬͰɺ ΢Σοτ࣮ݧͷධՁઃܭ͸ະཱ֬ɻ

• ߏ੒ཁૉ • ࣮ݧࢦࣔʢࣗવݴޠͷ໨తɾཁٻࣄ߲ʣ • ࣮ߦՄೳखॱʢ൪߸෇͖ɾཻ౓نఆʣ • ࠾఺ج४ʢڞ௨ͱݸผʣ • ໰୊਺ɿ໰ʢྫ୊

• छྨͷೖྗͱ൪߸෇͖࣮ݧखॱͷग़ྗΛؚΉɻ • ୯ͳΔߏ଄ԽͰ͸ͳ͘ɺ҉໧஌ͷิ׬ɺૢ࡞ର৅΍૷ஔͷಛఆɺ ਺஋ύϥϝʔλʢମੵ΍ೱ౓ɺ࣌ؒͳͲʣͷ໌ࣔΛཁٻ͢Δɻ -"#FODIʛλεΫఆٛ 5 ۠෼ ಺༰ ೖྗ

• ڞ௨ɾݸผͷ྆ج४ͱ΋ʹɺର৅࣮ݧखॱͷઐ໳Ո͕ઃܭɻ • ڞ௨࠾఺ج४ʢ̑఺ʣɿશ໰ڞ௨ͰઃܭɻೖྗͱରԠɻ ܭࢉޡΓɾ࿦ཧໃ६ɾෆࣗવͳهड़͸ݮ఺ʢ֤߲໨ճ·Ͱʣɻ ࣮ݧࢦࣔͷύϥϝʔλͷਖ਼֬ͳ൓ө ඞਢ෺඼ͷద੾ͳ࢖༻

• ֤໰୊ͷग़୊ҙਤʢ͜͜Ͱ͸҆શੑͱ࣮ݧਫ਼౓ʣΛ൓өͯ͠ɺ ઐ໳Ո͕؍఺ͱ഑఺Λઃܭɻ ݸผ࠾఺ج४ͷྫʛφΠϩϯ ߹੒ 7 ؍఺ ๬·͍͠هड़ ๬·͘͠ͳ͍هड़ ഑఺

ద༻ྫ ࠾఺݁Ռ͕఺ͷ৔߹ˠ఺ͷ·· ࠾఺݁Ռ͕఺ͷ৔߹ˠ఺ʹ੍ݶ ࠾఺݁Ռ͕఺ͷ৔߹ˠ఺ʹ੍ݶ ݸผ࠾఺ج४ʢTQFDJGJD@TDPSFɺ࠷େ఺ʣ ໰୊͝ͱʹઃఆ͞Εͨ࠾఺߲໨ʹج͍ͮͯՃ఺͢Δɻ࠾఺߲໨͸ҎԼͷΑ͏ͳ؍఺Ͱઃఆ͞Ε͍ͯΔɻ

• ධՁର৅ɿ։ൃ༻ ໰ • ධՁϓϩϯϓτɿछྨʢνΣοΫϦετɺࣗ཯ਪ࿦ɺσϡΞϧύεʣ • ධՁثɿ(15OBOPɺ(15NJOJɺ(15 ίϯϖ։࠵࣌ʹ͸HQUNJOJ HQU HQU

• શ௨ΓͰݸผʼڞ௨ʢݸผ࠾఺ج४ͷํ͕ຬͨ͠΍͍͢ʣɻ • (15͸ڞ௨ɾݸผͱ΋ʹඪ४ภ͕ࠩখ͘͞ධՁ͕҆ఆɻ ݁Ռͱߟ࡯ʛڞ௨ಘ఺ WTݸผಘ఺ͷ૊Έ߹Θͤผ಺༁ 16 ධՁث ϓϩϯϓτ ڞ௨ಘ఺

• ϓϩϯϓτઃܭͱධՁثબ୒͸૬ޓʹӨڹ͠ɺ ධՁ݁Ռʹ൓ө͞ΕΔɻ • ୯ҰͷϓϩϯϓτɾධՁثʹґଘͨ͠ධՁͰ͸ɺ ಛఆͷ૊Έ߹Θͤݻ༗ͷภΓΛഉআͰ͖ͳ͍ɻ • ࣮ݧखॱੜ੒λεΫͷࣗಈධՁͰ͸ɺ ෳ਺ͷධՁઃܭΛซ༻͢Δඞཁ͕͋Δɻ •

• -"#FODIͷσʔληοτΛར༻ɻ • ෳ਺νʔϜ͔Βͷఏग़खॱʹର͠ɺ ࣗಈධՁͱઐ໳ՈʹΑΔਓखධՁΛ࣮ࢪɻ • Ұൠࣾஂ๏ਓϥϘϥτϦʔΦʔτϝʔγϣϯ ڠձʢ-"4"ʣͷࢧԉͱਓ޻஌ೳֶձͷ ίϯϖςΟγϣϯ։࠵ࢧԉ੍౓ʹΑΓӡӦɻ •

• ࣮ݧࢦ͔ࣔΒͷ࣮ߦՄೳखॱੜ੒ΛධՁ͢ΔϕϯνϚʔΫͱͯ͠ -"#FODIσʔληοτʢ໰ʣΛ࡞੒ͨ͠ɻ • --.BTBKVEHFͷධՁϓϩϯϓτΛͭࣔ͠ɺ ධՁϓϩϯϓτͱධՁثͷબ୒ʹΑΔӨڹΛ෼ੳͨ͠ɻ • ࠓޙͷ՝୊ • ࣗಈධՁͱਓखධՁͷࠩҟ෼ੳ

Appendix 20

:PVBSFBMJGFTDJFODFFYQFSUBOEBTUSJDUHSBEFS&WBMVBUFUIFQBSUJDJQBOU`T0VUQVU QSPDFEVSF@TUFQT BHBJOTUUIFDPNQFUJUJPO*OQVU JOTUSVDUJPO NBOEBUPSZ@PCKFDUT TPVSDF@QSPUPDPM@TUFQT FYQFDUFE@GJOBM@TUBUFT SFGFSFODFT BOEQSPCMFNTQFDJGJDDSJUFSJB

UPPM@QSFBNCMF 3FQISBTFUIFHPBMCSJFGMZl4DPSF0VUQVUBHBJOTUOQVUVTJOHHFOFSBMDIFDLT TQFDJGJD DSJUFSJBz 1MBO &YUSBDUOQVUSFRVJSFNFOUT

HFOFSBM@DIFDLT@EFGJOJUJPO *OTUSVDUJPOQBSBNFUFSTNVTUCFGVMMZSFGMFDUFE"/%PQFSBUJPOBMJ[FE VOJUTJOTUSVNFOUT 3FTUBUFNFOUBMPOFˠ/( .BOEBUPSZPCKFDUT"--JUFNTDPODSFUFMZVTFEVNCSFMMBDBUFHPSJFTBMPOFˠ/( 1SPUPDPMMPHJDQSFTFSWFPSEFS

FWJEFODF@SVMFT 2VPUF0/-:GSPN0VUQVUGPSHFOFSBM@SFBTPO BOETQFDJGJD@NBUDIFT XSBQQFEJOʮʯ 6TFOQVUGPSBMJHONFOUDIFDLTPOMZEPOPURVPUFJU G0VUQVUMBDLTOFDFTTBSZFWJEFODF NBSL/(EPOPUJOWFOU

GPSNBU@TUSJDUOFTT &NJU0/-:HFOFSBM@TDPSF TQFDJGJD@TDPSF GJOBM@TDPSF HFOFSBM@SFBTPO FYBDUMZMJOFT l ʜ ൑ఆʢ0,/(ʣ

ݮ఺߲໨ʢ֤఺ʣ ա౓ʹෆࣗવͳ೔ຊޠ΍ϋϧγωʔγϣϯΛؚΉɻ ܭࢉϛε͕͋Δɻ खॱʹໃ६͕͋Δɻ ա౓ͷ҆શੑ ҎԼͷΑ͏ʹա౓ʹ҆શଆʹ౗ͨ͠ճ౴ͷ৔߹ɺڞ௨࠾఺ج४ʢHFOFSBM@TDPSFʣͷ߹ܭ఺Λ࠷େ఺ ͱ͢Δɻ ೖྗͷखॱΛͦͷ··ग़ྗͱͯ͠هࡌ͍ͯ͠Δɻ

ద༻ྫ ࠾఺݁Ռ͕఺ͷ৔߹ˠ఺ͷ·· ࠾఺݁Ռ͕఺ͷ৔߹ˠ఺ʹ੍ݶ ࠾఺݁Ռ͕఺ͷ৔߹ˠ఺ʹ੍ݶ ݸผ࠾఺ج४ʢTQFDJGJD@TDPSFɺ࠷େ఺ʣ ໰୊͝ͱʹઃఆ͞Εͨ࠾఺߲໨ʹج͍ͮͯՃ఺͢Δɻ࠾఺߲໨͸ҎԼͷΑ͏ͳ؍఺Ͱઃఆ͞Ε͍ͯΔɻ

ܗࣜɾࢉఆ HFOFSBM@SFBTPO ͸ඞͣߦͰʮ ʙ ൑ఆʢ0,/(ʣ cࠜڌcҾ༻ʯɻҾ༻͸ʮʯͰғΉɻ TQFDJGJD@NBUDIFT ͸ɺຬͨͨ͠TQFDJGJD@DSJUFSJB

ద༻ྫ ࠾఺݁Ռ͕఺ͷ৔߹ˠ఺ͷ·· ࠾఺݁Ռ͕఺ͷ৔߹ˠ఺ʹ੍ݶ ࠾఺݁Ռ͕఺ͷ৔߹ˠ఺ʹ੍ݶ ݸผ࠾఺ج४ʢTQFDJGJD@TDPSFɺ࠷େ఺ʣ ໰୊͝ͱʹઃఆ͞Εͨ࠾఺߲໨ʹج͍ͮͯՃ఺͢Δɻ࠾఺߲໨͸ҎԼͷΑ͏ͳ؍఺Ͱઃఆ͞Ε͍ͯΔɻ

LA-Bench 2025：実験指示から 実行可能手順を生成するためのデータセット/LA-Be...

LA-Bench 2025：実験指示から 実行可能手順を生成するためのデータセット/LA-Bench 2025: A Dataset for Generating Executable Experimental Procedures from Experimental Instructions

More Decks by Shota Kato

Other Decks in Research

Featured

Transcript

LA-Bench 2025：実験指示から実行可能手順を生成するためのデータセット/LA-Be...

LA-Bench 2025：実験指示から実行可能手順を生成するためのデータセット/LA-Bench 2025: A Dataset for Generating Executable Experimental Procedures from Experimental Instructions