Capybara+生成AIでどこまで本当に自然言語のテストを書けるか？

$BQZCBSB ੜ੒"*Ͱ Ͳ͜·Ͱຊ౰ʹ ࣗવݴޠͷςετΛॻ͚Δ͔ʁ !:VTVLF*XBLJ,BJHJPO3BJMT

,BJHJPO3BJMT 3BJMTͷγεςϜςετղ๤ֶ ,BJHJPO3BJMT &&UFTUJOHPO3BJMT $BQZCBSB͕ෆ҆ఆͳςετΛੜΈग़͢ʂ ʮ$BQZCBSBʁ͍ͬͨΜ๨Ε·͠ΐ͏ʯ

ຊ೔ͷ͓୊ $BQZCBSB ੜ੒"*Ͱ Ͳ͜·Ͱຊ౰ʹ ࣗવݴޠͷςετΛॻ͚Δ͔ʁ

ϒϥ΢βࣗಈςετͱੜ੒"* "*ςετࣗಈԽ "*Λ׆༻ͨ͠ςετࣗಈԽ "*Λ׆༻ͨ͠ςετࣗಈԽ

ϒϥ΢βࣗಈςετͱੜ੒"* "*Λ׆༻ͨ͠ςετࣗಈԽ ੜ੒"*Ͱςετίʔυ࡞੒ ςετࣗಈԽʹ͓͚Δ"*׆༻

ੜ੒"* &&ςετ ϑϨʔϜϫʔΫ &&ςετ ϓϥοτϑΥʔϜ "*ೖͬͯΔ

ੜ੒"*ͷ׆༻ʁ ɾ$IBU(15 ɹɹςετσʔλ࡞ΒͤΔ ɹɹ1MBZXSJHIUͷςετίʔυॻ͔ͤΔ ɾ(JU)VC$PQJMPU ɹɹࣅͨΑ͏ͳ34QFD͍ͬͺ͍ॻ͔ͤΔ

ੜ੒"*ͷ׆༻ʂʂ &&ςετ͸࡞͓ͬͯ͠·͍Ͱ͸ͳ͘ɺ8FCαΠτΛվम͢Δͨͼʹ ϝϯςφϯεΛ͠ͳͯ͘͸͍͚·ͤΜɻͳ͔ͳ͔໘౗Ͱ͢ɻ ͜Ε͚ͩ"*͕ݡ͘ͳͬͨΒɺࣗવݴޠͰγεςϜςετΛॻ͍ͯɺ αΠτ͕มΘͬͯ΋ࣗવݴޠͷهࡌΛม͑ͨΒͦͷ··ಈ͘Α͏ʹ͸ Ͱ͖Δ͸ͣͰ͢ɻ

&&ςετӡ༻ͷ՝୊

ʮ࡞͓ͬͯ͠·͍ʯͰ͸ͳ͍ ϨΨγʔϑϩϯτΤϯυΛ Ϟμϯʹஔ͖׵͑·͠ΐ͏

ʮ࡞͓ͬͯ͠·͍ʯͰ͸ͳ͍ Ή͠Ζ࡞͔ͬͯΒ͕େมɾɾɾ ਓؒʹͱͬͯ͸ಉ͡ʮϩάΠϯը໘ʯ ػցʹͱͬͯ͸શવ͕ͪ͏ JOQVU<OBNFlMPHJOz> JOQVUVTFSOBNF

ਓ͕ؒςετ͢Δ৔߹ʜ ʮϩάΠϯը໘ʯͰ͸ &NBJMZVTVLFJXBLJ!FYʜ 1BTT)PHF)PHF ΛೖΕͯϩάΠϯ͢Δɻ μογϡϘʔυʹભҠޙɺ %FWJDFTλϒΛ։͍ͯ 'VMMZ.BOBHFEσόΠεͷ*.&*͕ ৄࡉը໘ʹग़͍ͯΔ͜ͱΛ֬ೝ͍ͨ͠ɻ

ਓ͕ؒςετ͢Δ৔߹ʜ ʮϩάΠϯը໘ʯͰ͸ &NBJMZVTVLFJXBLJ!FYʜ 1BTT)PHF)PHF ΛೖΕͯϩάΠϯ͢Δɻ μογϡϘʔυʹભҠޙɺ %FWJDFTλϒΛ։͍ͯ 'VMMZ.BOBHFEσόΠεͷ*.&*͕ ৄࡉը໘ʹग़͍ͯΔ͜ͱΛ֬ೝ͍ͨ͠ɻ ZVTVLFJXBLJ!FYBNQMFDPN
ZVTVLFJXBLJ!FYBNQMFDPN ZVTVLFJXBLJ!FYBNQMFDPN

ZVTVLFJXBLJ!FYBNQMFDPN ZVTVLFJXBLJ!FYBNQMFDPN ΩʔϘʔυͰ

ZVTVLFJXBLJ!FYBNQMFDPN ZVTVLFJXBLJ!FYBNQMFDPN ஌Βͳ͍ࢠͰ͢Ͷ ஌Βͳ͍ࢠͰ͢Ͷ ஌Βͳ͍ࢠͰ͢Ͷ ʂ Έͬͨ͢ɺɺ΋͏Ұճʜ ·͔͜͜͞ͰμογϡϘʔυͷૢ࡞Λ ଓߦ͢Δਓ͸͍ͳ͍ɻ

ػց͕ςετ͢Δ৔߹ʜ ʮϩάΠϯը໘ʯͰ͸ &NBJMZVTVLFJXBLJ!FYʜ 1BTT)PHF)PHF ΛೖΕͯϩάΠϯ͢Δɻ μογϡϘʔυʹભҠޙɺ %FWJDFTλϒΛ։͍ͯ 'VMMZ.BOBHFEσόΠεͷ*.&*͕ ৄࡉը໘ʹग़͍ͯΔ͜ͱΛ֬ೝ͍ͨ͠ɻ ZVTVLFJXBLJ!FYBNQMFDPN
ZVTVLFJXBLJ!FYBNQMFDPN ZVTVLFJXBLJ!FYBNQMFDPN ஌Βͳ͍ࢠͰ͢Ͷ ஌Βͳ͍ࢠͰ͢Ͷ ஌Βͳ͍ࢠͰ͢Ͷ TMFFQ WJTJUEFWJDFT จ຺൑அ͕ޮ͔ͳ͍ɻ ϦΧόϦ΋͞Εͳ͍··ૢ࡞͕ଓ͖ ςετ͕མͪΔʜʢ fl BLZUFTUʣ Ϣʔβ໊ ύεϫʔυ ʁ ϩάΠϯ͕ඞཁͰ͢ ςετεςοϓఆٛ

&&ςετӡ༻ͷ՝୊ ʮϩάΠϯը໘ʯͰ͸ &NBJMZVTVLFJXBLJ!FYʜ 1BTT)PHF)PHF ΛೖΕͯϩάΠϯ͢Δɻ μογϡϘʔυʹભҠޙɺ %FWJDFTλϒΛ։͍ͯ 'VMMZ.BOBHFEσόΠεͷ*.&*͕ ৄࡉը໘ʹग़͍ͯΔ͜ͱΛ֬ೝ͍ͨ͠ɻ CSPXTFMPHJO
TFUFNBJM bZVTVLFJXBLJ!FYʜ` TFUQBTTXPSE b)PHF)PHF` TMFFQ CSPXTFEFWJDFT ʜʜ ςετεςοϓఆٛ ςετγφϦΦ ίϯςΩετ΋ ͋Δ΂͖ঢ়ଶ΋ ৘ใ͕ܽམ มߋʹऑ͍ ϩέʔλʔ

ࣗવݴޠͰςετΛॻ͚͹ղܾʂ ʮϩάΠϯը໘ʯͰ͸ &NBJMZVTVLFJXBLJ!FYʜ 1BTT)PHF)PHF ΛೖΕͯϩάΠϯ͢Δɻ μογϡϘʔυʹભҠޙɺ %FWJDFTλϒΛ։͍ͯ 'VMMZ.BOBHFEσόΠεͷ*.&*͕ ৄࡉը໘ʹग़͍ͯΔ͜ͱΛ֬ೝ͍ͨ͠ɻ ςετεςοϓఆٛ
ςετγφϦΦ ࣗવݴޠ ʮϩάΠϯը໘ʯͰ͸ &NBJMZVTVLFJXBLJ!FYʜ 1BTT)PHF)PHF ΛೖΕͯϩάΠϯ͢Δɻ μογϡϘʔυʹભҠͰ͖͍ͯͨΒɺ %FWJDFTλϒΛ։͍ͯ 'VMMZ.BOBHFEσόΠεͷ*.&*͕ ৄࡉը໘ʹग़͍ͯΔ͜ͱΛ֬ೝ͍ͨ͠ɻ ϩάΠϯը໘ʹඈ͹͞Ε͍ͯͨΒɺ̏ճ·Ͱ ϦτϥΠͯ͠΄͍͠ɻ ͜͜Β΁ΜͰ ੜ੒"*Λ ࢖͑͹͍͍ʁ

Ͳ͏΍ͬͯࣗવݴޠͰ &&ςετΛ͢Δ͔ʁ

ࣗવݴޠͱ͍͑͹ʜ

ࣗવݴޠͱ͍͑͹ʜ จ຺൑அ͕ޮ͔ͳ͍ɻ ϦΧόϦ΋͞Εͳ͍··ૢ࡞͕ଓ͖ ςετ͕མͪΔʜʢ fl BLZUFTUʣ جຊతʹ͸্͔ΒԼʹ࣮ߦ͢Δ͚ͩ

ࣗવݴޠΛੜ੒"*Ͱม׵ʁ ࣗવݴޠ ʮϩάΠϯը໘ʯͰ͸ &NBJMZVTVLFJXBLJ!FYʜ 1BTT)PHF)PHF ΛೖΕͯϩάΠϯ͢Δɻ μογϡϘʔυʹભҠͰ͖͍ͯͨΒɺ %FWJDFTλϒΛ։͍ͯ 'VMMZ.BOBHFEσόΠεͷ*.&*͕ ৄࡉը໘ʹग़͍ͯΔ͜ͱΛ֬ೝ͍ͨ͠ɻ
ϩάΠϯը໘ʹඈ͹͞Ε͍ͯͨΒɺ̏ճ·Ͱ ϦτϥΠͯ͠΄͍͠ɻ

ࣗવݴޠΛੜ੒"*Ͱม׵͸ࣦഊ͢Δ ฏۉతͳ໋໊ͷηϨΫλ ฏۉతͳߏ੒ͷϖʔδલఏͷεΫϦϓτ ͕ੜ੒͞ΕΔ ࣗવݴޠ ʮϩάΠϯը໘ʯͰ͸ &NBJMZVTVLFJXBLJ!FYʜ 1BTT)PHF)PHF ΛೖΕͯϩάΠϯ͢Δɻ μογϡϘʔυʹભҠͰ͖͍ͯͨΒɺ
%FWJDFTλϒΛ։͍ͯ 'VMMZ.BOBHFEσόΠεͷ*.&*͕ ৄࡉը໘ʹग़͍ͯΔ͜ͱΛ֬ೝ͍ͨ͠ɻ ϩάΠϯը໘ʹඈ͹͞Ε͍ͯͨΒɺ̏ճ·Ͱ ϦτϥΠͯ͠΄͍͠ɻ )5.-ߏ଄΋ ը໘ߏ੒΋஌Βͳ͍

جຊʹ ཱͪฦͬͯΈΑ͏

ਓؒͱػցͷஔ͔Εͨঢ়گͷΪϟοϓ

ਓؒͱػցͷஔ͔Εͨঢ়گͷΪϟοϓ ͋ΕΕɺ·ͩ ϩάΠϯը໘ʜ ΋͏͍͔͍ͬ ϩάΠϯૢ࡞ͩ

ਓؒͱػցͷஔ͔Εͨঢ়گͷΪϟοϓ ͲΕͲΕɾɾɾ ͏·͍͔ͬͨ͘ͳ ͍͟ ΞΫγϣϯʂ

ਓؒͱػցͷஔ͔Εͨঢ়گͷΪϟοϓ ʮϩάΠϯը໘ʯͰ͸ &NBJMZVTVLFJXBLJ!FYʜ 1BTT)PHF)PHF ΛೖΕͯϩάΠϯ͢Δɻ μογϡϘʔυʹભҠͰ͖͍ͯͨΒɺ %FWJDFTλϒΛ։͍ͯ 'VMMZ.BOBHFEσόΠεͷ*.&*͕ ৄࡉը໘ʹग़͍ͯΔ͜ͱΛ֬ೝ͍ͨ͠ɻ ϩάΠϯը໘ʹඈ͹͞Ε͍ͯͨΒɺ̏ճ·Ͱ
ϦτϥΠͯ͠΄͍͠ɻ

ੜ੒"*ʹ ਓؒΆ͍͜ͱΛ ΍ΒͤͯΈΑ͏͡Όͳ͍͔ɻ

ਓؒΆ͍͜ͱ

ਓؒΆ͍͜ͱ ϒϥ΢βը໘ %0.ߏ଄ ஌ೳ ࣍ͷΞΫγϣϯ &NBJMʜ 1BTT Λೖྗ

ਓؒΆ͍͜ͱ ϒϥ΢βը໘ %0.ߏ଄ ࣍ͷΞΫγϣϯ &NBJMʜ 1BTT Λೖྗ ϒϥ΢β ૢ࡞ ஌ೳ

ਓؒΆ͍͜ͱΛੜ੒"*ʹ΍ΒͤΔ ϒϥ΢βը໘ %0.ߏ଄ ࣍ͷΞΫγϣϯ &NBJMʜ 1BTT Λೖྗ ੜ੒ "* 3VCZίʔυ
εΫϦʔϯ γϣοτ ݱࡏͷ63- ϒϥ΢β ૢ࡞

ਓؒΆ͍͜ͱΛੜ੒"*ʹ΍ΒͤΔ ϒϥ΢βը໘ %0.ߏ଄ ࣍ͷΞΫγϣϯ &NBJMʜ 1BTT Λೖྗ ੜ੒ "* 3VCZίʔυ
εΫϦʔϯ γϣοτ ݱࡏͷ63- $BQZCBSB ϒϥ΢β ૢ࡞

ਫ਼౓͕ग़Δ͔ ·ͣ͸࣮ݧͯ͠ΈΑ͏

εΫγϣΛݟͯ3VCZίʔυΛॻ͔ͤΔ ϒϥ΢βը໘ %0.ߏ଄ ࣍ͷΞΫγϣϯ &NBJMʜ 1BTT Λೖྗ ੜ੒ "* 3VCZίʔυ
εΫϦʔϯ γϣοτ ݱࡏͷ63- $BQZCBSB ϒϥ΢β ૢ࡞ ɾϩάΠϯϑΥʔϜͷ ɹ9 :࠲ඪͷಛఆ ɾ9 :࠲ඪΛΫϦοΫͯ͠ ɹ༷ࢠݟ͢Δ εΫγϣը૾͚ͩ Λݟͯ

ͰͨΒΊͳ࠲ඪΛ ΫϦοΫ͠ΖͱݴΘΕΔ

͖ͯͱ͏ʹฦͯ͠Έͨ ͪΌΜͱ ิਖ਼͞ΕͯΔʂ

εΫγϣΛݟͯ3VCZίʔυΛॻ͔ͤΔ ϒϥ΢βը໘ %0.ߏ଄ ࣍ͷΞΫγϣϯ &NBJMʜ 1BTT Λೖྗ ੜ੒ "* 3VCZίʔυ
εΫϦʔϯ γϣοτ ݱࡏͷ63- $BQZCBSB ϒϥ΢β ૢ࡞ ɾϩάΠϯϑΥʔϜͷ ɹ9 :࠲ඪͷಛఆ ɾ9 :࠲ඪΛΫϦοΫͯ͠ ɹ༷ࢠݟ͢Δ εΫγϣը૾͚ͩ Λݟͯ ඞཁʹԠͯ͡%0.πϦʔͷEVNQ΋ ݟͳ͕ΒͰ͋Ε͹

ੜ੒͞ΕͨίʔυͰϒϥ΢βΛࣗಈૢ࡞ ϒϥ΢βը໘ %0.ߏ଄ ࣍ͷΞΫγϣϯ &NBJMʜ 1BTT Λೖྗ ੜ੒ "* 3VCZίʔυ
εΫϦʔϯ γϣοτ ݱࡏͷ63- $BQZCBSB ϒϥ΢β ૢ࡞ 3VCZͷࠇຐज़ʢϝλϓϩʁʣ ίʔυ͸ʮจࣈྻʯ

ίʔυϒϩοΫ ϒϥ΢βࣗಈૢ࡞Ϋϥε ʢԾশɿ*OQVU5PPMʣ ධՁۭؒ EFGESJWFS !JOQVU@UPPM FOE FWBMతͳԿ͔ click(100, 200)
type_text(... press_key("Tab") : :

ϒϥ΢βࣗಈૢ࡞Ϋϥε ʢԾশɿ*OQVU5PPMʣ ධՁۭؒ click(100, 200) type_text(... press_key("Tab") : : capture_screenshot

ੜ੒͞ΕͨίʔυͰϒϥ΢βΛࣗಈૢ࡞ ϒϥ΢βը໘ %0.ߏ଄ ࣍ͷΞΫγϣϯ &NBJMʜ 1BTT Λೖྗ ੜ੒ "* 3VCZίʔυ
εΫϦʔϯ γϣοτ ݱࡏͷ63- $BQZCBSB ϒϥ΢β ૢ࡞ ධՁۭؒʹɺ*OQVU5PPMʢԾশʣΛ༻ҙͯ͠ JOTUBODF@FWBMϝιουΛར༻͢Δ ίʔυ͸ʮจࣈྻʯ

͍͚ͦ͏ʂ ͡Ό࣮͋૷ͯ͠ΈΑ͏ʂ

$BQZCBSBͷ໾ׂ͸ʁ ϒϥ΢βը໘ %0.ߏ଄ ࣍ͷΞΫγϣϯ &NBJMʜ 1BTT Λೖྗ ੜ੒ "* 3VCZίʔυ
εΫϦʔϯ γϣοτ ݱࡏͷ63- $BQZCBSB ϒϥ΢β ૢ࡞ αʔόʔىಈ αʔόʔʹ઀ଓ 34QFDͱ࿈ܞ ࣗಈૢ࡞πʔϧ ͱ࿈ܞ SFG3BJMTͷγεςϜςετղ๤ֶˏ,BJHJPO3BJMT

εΫϦʔϯ γϣοτ ݱࡏͷ63- $BQZCBSB ϒϥ΢β ૢ࡞ αʔόʔىಈ αʔόʔʹ઀ଓ 34QFDͱ࿈ܞ ࣗಈૢ࡞πʔϧ ͱ࿈ܞ ࣗಈૢ࡞͍ͯͨ͠ͷ͸ ͍ͭ͜

εΫϦʔϯ γϣοτ ݱࡏͷ63- $BQZCBSB ϒϥ΢β ૢ࡞ αʔόʔىಈ αʔόʔʹ઀ଓ 34QFDͱ࿈ܞ ࣗಈૢ࡞πʔϧ ͱ࿈ܞ *OQVU5PPMʢԾশʣͱ࿈ܞͰ͖Δ $BQZCBSBυϥΠόΛ࣮૷͢Δ ͦͷ··࢖͏͚ͩ

ࠓճ࡞Γ͍ͨ΋ͷ %0.ߏ଄ ࣮૷͢Δ%4-͸WJTJU͚ͩ fi OE΋DMJDL΋࢖ΘͣɺͨͩࣗવݴޠͰ ϖʔδͷઆ໌ͱςετ͍ͨ͠಺༰Λ ॻ͘ɻ

ࠓճ࡞Γ͍ͨ΋ͷ 34QFD $BQZCBSB υϥΠό WJTJUMPHJO BEEJUJPOBM@JOTUSVDUJPO ɹ͜ͷϖʔδ͸̏ϖΠϯͰʜ ɹ Ϣʔβ໊YYύεϫʔυQQͰϩάΠϯ
%FWJDFTλϒΛΫϦοΫͯ͠Ұཡ͔ΒEYYΛબͿ ʜ 8FC%SJWFS #J%Jϥούʔ CSPXTJOH$POUFYUOBWJHBUF ϒϥ΢β "HFOU "[VSF0QFO"* 4BOECPY *OQVU5PPM FWBM JOQVUQFSGPSN"DUJPOT CSPXTJOH$POUFYUDBQUVSF4DSFFOTIPU

υϥΠόͷ࣮૷̍ driver_options= {…} Driver.new(rack, driver_options)  ʢυϥΠόొ࿥࣌ʣࢦఆ͢Δ༻ before do Capybara.current_session.driver.additinal end 
ςετͷCFGPSFͰࢦఆ͢Δ༻ bin/rails s ͔ͯ͠Βςετ։࢝

υϥΠόͷ࣮૷̎ ͍Ζ͍ΖNFNPJ[F͞Ε͍ͯͯ SFTFUͰม਺ͷॳظԽ

υϥΠόͷ࣮૷̏ 0QFO"*

υϥΠόͷ࣮૷̐ 8FC%SJWFS #J%Jϥούʔ ϒϥ΢β JOQVUQFSGPSN"DUJPOT TDSJQUFWBMVBUF ࣮ଶ͸ͨͩͷ 8FC4PDLFU௨৴

%&.0 $BQZCBSB ੜ੒"*Ͱ Ͳ͜·Ͱ͍͚Δ͔ʂʁ

ࣗ཯తʹϩάΠϯϑΥʔϜͷҐஔΛಛఆͯ͠ *%ύεϫʔυೖΕͯϩάΠϯͨ͠ʂʂ

ͰͨΒΊͳҐஔΛΫϦοΫͯ͠͠·͍ ޡͬͨλϒΛͻΒ͍ͯ͠·͕ͬͨʜ ࣗ཯తʹޡΓʹؾ͍ͮͯɺ%FWJDFTΛ࠶౓ Ґஔಛఆͯ͠ϦΧόϦͨ͠ʂʂ

ࣗ཯తʹޡΓʹؾ͍ͮͯɺ%FWJDFTΛ࠶౓ Ґஔಛఆͯ͠ϦΧόϦͨ͠ʂʂ

·ͱΊ ɾ$BQZCBSBʴੜ੒"*ͰɺࣗવݴޠΛೖྗͱͨ͠ςετΛ ɹॻ͘͜ͱ͸Ͱ͖Δɻʢ$BQZCBSBυϥΠόͱ࣮ͯ͠૷ʣ ɾlख଍z *OQVU5PPM Λ༩͑Ε͹ɺೳಈతͳςετ͕Ͱ͖Δʂ ɹɹɾਓ͕ؒ$44ηϨΫλΛಛఆ͠ͳͯ͘΋͍͍ɻ ɹɹɾ్தͰૢ࡞ϛεΛͯ͠΋ɺࣗಈͰيಓमਖ਼Ͱ͖Δɻ ɹ ɾͨͩ͠ಈ࡞ਫ਼౓͕Ͱ͸ͳ͘ɺൃల్্ɻ

ָ͠ΜͰ͍͚ͨͩ·͔ͨ͠ʁ

એ఻1MBZXSJHIUΛ3VCZ͔Β࢖͑Δ044 ɾͱ͸͍͑ɺϥϯμϜཁૉͷগͳ͍ςετ͕͍͍ΑͶɻ w 1MBZXSJHIUΛ3VCZ͔Β࢖͑ΔΑ͏(FN։ൃ͍ͯ͠·͢ɻ ͥͻ࢖ͬͯΈ͍ͯͩ͘͞ˍ࣮ӡ༻Ͱվળ఺͕͋Ε͹ͲΜͲΜཁ๬͍ͩ͘͞ʂ

͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠

Capybara+生成AIでどこまで本当に自然言語のテストを書けるか？

Capybara+生成AIでどこまで本当に自然言語のテストを書けるか？

More Decks by Yusuke Iwaki

Other Decks in Technology

Featured

Transcript