約9000個の自動テストの 時間を50分->10分に短縮 Flakyテストを1%以下に抑えた話

Transcript

1. ໿9000ݸͷࣗಈςετͷ ࣌ؒΛ50෼->10෼ʹ୹ॖ FlakyςετΛ1%ҎԼʹ཈͑ͨ࿩ Kaigi on Rails 2024 @hatsu_38 2024/10/26
2. εϥΠυ1ຕʹ͖ͭ6ඵͷϖʔεͰਐ· ͳ͍ͱؒʹ߹͍ͳ͍ܭࢉʹͳΓ·͠ ͨɻͦͷϖʔεͰਐΉ͜ͱྃ͝ঝͩ͘ ͍͞🙏
3. ࣗݾ঺հ • Twitter: @hatsu_38 • GitHub: @hatsu38 • SHE Inc. • Rubyྺ 5೥ = ΤϯδχΞྺ • React.js / TypeScript / GitHub Actions • Ruby͕Ұ൪޷͖
4. CIͰࣗಈςετ ࣮ߦ͍ͯ͠·͔͢ʁ🙋
5. ࣗಈςετ 10෼Ҏ্͔͔͍ͬͯ·͔͢ʁ🙋
6. Initial Commit͸2017೥ ฐࣾͷ͜ͱ🏢
7. ٕज़ελοΫ🤖 • Backend: Ruby on Rails, GraphQL, Sidekiq • Frontend: React.js, TypeScript, Next.js • CI: GitHub Actions • Infrastructure: Kubenetes ฐࣾͷ͜ͱ🏢 7
8. 2023೥ͷࣗಈςετͷঢ়گ🔍 ฐࣾͷ͜ͱ - 2023೥ͷςετͷঢ়گ🔍
9. Model / Controller / Requests / System Spec, etc. ςετ਺ 7,803 case 2023.05.22 34QFD
   $BQZCBSBΛར༻ ฐࣾͷ͜ͱ - 2023೥ͷςετͷঢ়گ🔍 Code to Test Ratio: 1:4.3 Test Coverage: 89%
10. Model / Controller / Requests / System Spec, etc. ςετ࣌ؒ ฐࣾͷ͜ͱ - 2023೥ͷςετͷঢ়گ🔍 $*͕௨Δͷʹ෼Ҏ্🫠
11. Flakyͳςετ΋୔ࢁ💥 ฐࣾͷ͜ͱ - 2023೥ͷςετͷঢ়گ🔍 ࣮ߦ݁Ռ͕
    ෆ҆ఆͳςετ
12. ཧ૝ͷCIͷ࣌ؒ͸10෼Ҏ಺ɺ Έ͍ͨͳจষΛҾ༻͢Δ ฐࣾͷ͜ͱ - 2023೥ͷςετͷঢ়گ🔍
13. ཧ૝ͷCIͷ࣌ؒ͸10෼Ҏ಺ɺ Έ͍ͨͳจষΛҾ༻͢Δ $*ͷεϐʔυ͸େ੾Ͱ͢ɻ
    ཧ૝͸෼Ҏ಺ɺ஗͘ͱ΋෼Ҏ಺ʹ׬ྃͤ͞·͠ΐ͏ɻ ฐࣾͷ͜ͱ - 2023೥ͷςετͷঢ়گ🔍
14. ཧ૝ͷCIͷ࣌ؒ͸10෼Ҏ಺ɺ Έ͍ͨͳจষΛҾ༻͢Δ $*ͷεϐʔυ͸େ੾Ͱ͢ɻ
    ཧ૝͸෼Ҏ಺ɺ஗͘ͱ΋෼Ҏ಺ʹ׬ྃͤ͞·͠ΐ͏ɻ ϑϨʔΩʔςετͷ਺͕͖͍͠஋Λ௒͑Δͱɺ
    ςετશମ͕৴པ͞Εͳ͘ͳΔͷͰ͢ɻͦͷ͖͍͠஋͸Ͱ͢ɻ
    ฐࣾͷ͜ͱ - 2023೥ͷςετͷঢ়گ🔍
15. վળ͠Α͏🛠⚙ ฐࣾͷ͜ͱ - 2023೥ͷςετͷঢ়گ🔍
16. ೥ ೥ ςετ਺  DBTF $*ͷ࣌ؒ ෼
    ฒྻ$PSF 'MBLZςετ ݸ
    ͘Β͍ͷ֬཰Ͱ$*͕མͪΔ (JU)VC
    "DUJPOTͷ஋ஈ   ฐࣾͷ͜ͱ - 2023೥ͷςετͷঢ়گ🔍 2023೥ͷςετͷঢ়گ🔍
17. ͜Ε͔Βɺ΍ͬͨ͜ͱΛ ͨ͘͞Μ঺հ͍͖ͯ͠·͢💡
18. ࣗࣾͰ΋࢖͑ͦ͏ͳ5JQT ΍ ಺෦͸͜Μͳ࣮૷Ͱಈ͍͍ͯΔΜͩ ͬͯൃݟ͕1ͭ͋Ε͹ྑ͍ͳͱ💯💡
19. ͭͷ՝୊💥 • ςετͷ͕࣌ؒ௕͍🐢 • ςετલͷ#VJMEͷ͕࣌ؒ௕͍🥱 ʢগ͠3VCZ͔Β୤ઢʣ • Flakyͳςετ͕ଟ͍💫
20. ͭͷ՝୊💥 • ςετͷ͕࣌ؒ௕͍🐢 • ςετલͷ#VJMEͷ͕࣌ؒ௕͍🥱 ʢগ͠3VCZ͔Β୤ઢʣ • Flakyͳςετ͕ଟ͍💫
21. • Capybaraͷػೳʹ೚ͤͯSleepΛ࡟আ • LoadingΛಈతʹ଴ͭHelper࡞ͬͯSleepΛ࡟আ • test-profͷbefore_allΛ࢖ͬͯσʔλ࡞੒Λলུ • test-profͷlet_it_beΛ࢖ͬͯσʔλ࡞੒Λলུ • parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ • ͦͷଞɺࡉ͔ͳςετ࣌ؒ୹ॖͷͨΊͷࢪࡦ ςετͷ͕࣌ؒ௕͍🐢 21 ςετͷ͕࣌ؒ௕͍🐢
22. • Capybaraͷػೳʹ೚ͤͯSleepΛ࡟আ • LoadingΛಈతʹ଴ͭHelper࡞ͬͯSleepΛ࡟আ • test-profͷbefore_allΛ࢖ͬͯσʔλ࡞੒Λলུ • test-profͷlet_it_beΛ࢖ͬͯσʔλ࡞੒Λলུ • parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ • ͦͷଞɺࡉ͔ͳςετ࣌ؒ୹ॖͷͨΊͷࢪࡦ ςετͷ͕࣌ؒ௕͍🐢 22 ςετͷ͕࣌ؒ௕͍🐢
23. Sleep͕59Օॴ͋ͬͨ ςετͷ͕࣌ؒ௕͍🐢 - Capybaraͷػೳʹ೚ͤͯSleepΛ࡟আ
24. Sleep͕࢖ΘΕ͍ͯΔྫ ςετͷ͕࣌ؒ௕͍🐢 - Capybaraͷػೳʹ೚ͤͯSleepΛ࡟আ ϑΥʔϜೖྗͯ͠ɺอଘ͢ΔϘλϯԡͨ͠Βɺ
25. Sleep͕࢖ΘΕ͍ͯΔྫ ςετͷ͕࣌ؒ௕͍🐢 - Capybaraͷػೳʹ೚ͤͯSleepΛ࡟আ
26. have_text(“hoge”)ͰԿ͕ى͖͍ͯΔ͔ʁ ςετͷ͕࣌ؒ௕͍🐢 - Capybaraͷػೳʹ೚ͤͯSleepΛ࡟আ
27. have_text(“hoge”)ͰԿ͕ى͖͍ͯΔ͔ʁ ςετͷ͕࣌ؒ௕͍🐢 - Capybaraͷػೳʹ೚ͤͯSleepΛ࡟আ
28. have_text(“hoge”)ͰԿ͕ى͖͍ͯΔ͔ʁ ςετͷ͕࣌ؒ௕͍🐢 - Capybaraͷػೳʹ೚ͤͯSleepΛ࡟আ EFGBVMU@NBY@XBJU@UJNF
    σϑΥϧτ ඵؒ
    
    ୳͠ଓ͚Δඵ਺ͷઃఆ
    ͜ͷඵ਺ͷؒɺςΩετzIPQFzΛ୳ͯ͘͠ΕΔ
29. have_text(“hoge”)ͰԿ͕ى͖͍ͯΔ͔ʁ ςετͷ͕࣌ؒ௕͍🐢 - Capybaraͷػೳʹ೚ͤͯSleepΛ࡟আ EFGBVMU@SFUSZ@JOUFSWBM
    σϑΥϧτ ඵ
    
    ςΩετzIPHFzΛ܁Γฦ͠୳ִؒ͢ EFGBVMU@NBY@XBJU@UJNF
    σϑΥϧτ ඵؒ
    
    ୳͠ଓ͚Δඵ਺ͷઃఆ
    ͜ͷඵ਺ͷؒɺςΩετzIPQFzΛ୳ͯ͘͠ΕΔ
30. have_text(“hoge”)ͰԿ͕ى͖͍ͯΔ͔ʁ ςετͷ͕࣌ؒ௕͍🐢 - Capybaraͷػೳʹ೚ͤͯSleepΛ࡟আ ͜Ε͕retryͰ܁Γฦ͠ಈ͘ EFGBVMU@NBY@XBJU@UJNF
    σϑΥϧτ ඵؒ
    
    ୳͠ଓ͚Δඵ਺ͷઃఆ
    ͜ͷඵ਺ͷؒɺςΩετzIPQFzΛ୳ͯ͘͠ΕΔ EFGBVMU@SFUSZ@JOUFSWBM
    σϑΥϧτ ඵ
    
    ςΩετzIPHFzΛ܁Γฦ͠୳ִؒ͢
31. Sleep͕59 30Օॴʹݮͬͨ✨ Capybaraͷػೳʹ೚ͤͯSleepΛ࡟আ
32. Capybaraͷػೳʹ೚ͤͯ SleepΛ࡟আ ςετͷ͕࣌ؒ௕͍🐢 - Capybaraͷػೳʹ೚ͤͯSleepΛ࡟আ खܰ͞: ˒˒˒˒˒ ޮՌ: ˒˒˒ˑˑ
33. • Capybaraͷػೳʹ೚ͤͯSleepΛ࡟আ • LoadingΛಈతʹ଴ͭHelperΛ࡞ͬͯSleepΛ࡟আ • test-profͷbefore_allΛ࢖ͬͯσʔλ࡞੒Λলུ • test-profͷlet_it_beΛ࢖ͬͯσʔλ࡞੒Λলུ • parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ • ͦͷଞɺࡉ͔ͳςετ࣌ؒ୹ॖͷͨΊͷࢪࡦ ςετͷ͕࣌ؒ௕͍🐢 33 ςετͷ͕࣌ؒ௕͍🐢
34. Sleep͕30Օॴ͋ͬͨ ςετͷ͕࣌ؒ௕͍🐢 - LoadingΛಈతʹ଴ͭHelper࡞ͬͯSleepΛ࡟আ
35. Sleep͕࢖ΘΕ͍ͯΔྫ ςετͷ͕࣌ؒ௕͍🐢 - LoadingΛಈతʹ଴ͭHelper࡞ͬͯSleepΛ࡟আ > default_max_wait_time
36. LoadingΞΠίϯ͕ফ͑ΔͷΛ଴ͭHelperΛ࡞੒ ςετͷ͕࣌ؒ௕͍🐢 - LoadingΛಈతʹ଴ͭHelper࡞ͬͯSleepΛ࡟আ ಈతʹ-PBEJOHΞΠίϯ͕ফ͔͑ͨͲ͏͔
    ܁Γฦ֬͠ೝ͢Δ
37. LoadingΞΠίϯ͕ফ͑ΔͷΛ଴ͭHelperΛ࡞੒ ςετͷ͕࣌ؒ௕͍🐢 - LoadingΛಈతʹ଴ͭHelper࡞ͬͯSleepΛ࡟আ ಈతʹ-PBEJOHΞΠίϯ͕ফ͔͑ͨͲ͏͔
    ܁Γฦ֬͠ೝ͢Δ ͜͜ʹHTMLͷSelectorΛࢦఆ
38. LoadingΞΠίϯ͕ফ͑ΔͷΛ଴ͭHelperΛར༻ ςετͷ͕࣌ؒ௕͍🐢 - LoadingΛಈతʹ଴ͭHelper࡞ͬͯSleepΛ࡟আ $BQZCBSBͷ
    EFGBVMU@NBY@XBJU@UJNF
    Ͱ͸-PBEJOH͕
    ऴΘΒͳ͍৔߹ʹར༻
39. Sleep͕59 30 13Օॴʹݮͬͨ✨ ςετͷ͕࣌ؒ௕͍🐢 - LoadingΛಈతʹ଴ͭHelper࡞ͬͯSleepΛ࡟আ
40. LoadingΛಈతʹ଴ͭHelperΛ ࡞ͬͯSleepΛ࡟আ ςετͷ͕࣌ؒ௕͍🐢 - LoadingΛಈతʹ଴ͭHelper࡞ͬͯSleepΛ࡟আ खܰ͞: ˒˒˒ˑˑ ޮՌ: ˒˒˒˒ˑ
41. • Capybaraͷػೳʹ೚ͤͯSleep࡟আ • LoadingΛಈతʹ଴ͭHelperΛ࡞ͬͯSleep࡟আ • test-profͷbefore_allΛ࢖ͬͯσʔλ࡞੒Λলུ • test-profͷlet_it_beΛ࢖ͬͯσʔλ࡞੒Λলུ • parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ • ͦͷଞɺࡉ͔ͳςετ࣌ؒ୹ॖͷͨΊͷࢪࡦ ςετͷ͕࣌ؒ௕͍🐢 41 ςετͷ͕࣌ؒ௕͍🐢
42. σʔλ࡞੒͕25,550݅ - 35݅ͷςετ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷbefore_allΛ࢖ͬͯσʔλ࡞੒Λলུ →ςετ࣌ؒ1m24sͷ͏ͪ1m4s͕σʔλੜ੒ test-prof gemͰௐࠪ
43. σʔλ࡞੒͕25,550݅ - 35݅ͷςετ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷbefore_allΛ࢖ͬͯσʔλ࡞੒Λলུ → Seedσʔλͷ࡞੒Λߦ͏εΫϦϓτ 1౓Ͱ675݅ͷσʔλΛ࡞੒͢Δ JSC NBJO 
    
    
    
    
     
44. Seedσʔλ࡞੒εΫϦϓτ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷbefore_allΛ࢖ͬͯσʔλ࡞੒Λলུ ଞͷςετͰ΋࢖͍·Θͤͦ͏💡
45. σʔλ࡞੒͕25,550݅ - 35݅ͷςετ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷbefore_allΛ࢖ͬͯσʔλ࡞੒Λলུ before_allͰSeedσʔλΛ࢖͍ճ͢
46. before_all { Fixtures.setup }ͰԿ͕ى͖͍ͯΔ͔ʁ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷbefore_allΛ࢖ͬͯσʔλ࡞੒Λলུ
47. before_all { Fixtures.setup }ͰԿ͕ى͖͍ͯΔ͔ʁ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷbefore_allΛ࢖ͬͯσʔλ࡞੒Λলུ ςετάϧʔϓશମʹରͯ͠
48. before_all { Fixtures.setup }ͰԿ͕ى͖͍ͯΔ͔ʁ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷbefore_allΛ࢖ͬͯσʔλ࡞੒Λলུ ςετάϧʔϓશମʹରͯ͠ τϥϯβΫγϣϯΛுͬͯ ͦͷதͰblockΛݺͼग़͢
49. before_all { Fixtures.setup }ͰԿ͕ى͖͍ͯΔ͔ʁ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷbefore_allΛ࢖ͬͯσʔλ࡞੒Λলུ ςετάϧʔϓશମʹରͯ͠ τϥϯβΫγϣϯΛுͬͯ ͦͷதͰblockΛݺͼग़͢ ςετάϧʔϓͷςετ͕ऴΘͬͨΒ Rollback͢Δ
50. σʔλ࡞੒͕25,550݅ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷbefore_allΛ࢖ͬͯσʔλ࡞੒Λলུ →ςετ࣌ؒ1m24sͷ͏ͪ1m4s͕σʔλੜ੒(ςετέʔε͸35έʔε) test-prof gemͰௐࠪ
51. σʔλ࡞੒͕25,550 2,600݅ʹݮͬͨ✨ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷbefore_allΛ࢖ͬͯσʔλ࡞੒Λলུ ςετ࣌ؒ1m24s->40sʹ୹ॖ test-prof gemͰௐࠪ
52. test-profͷbefore_allΛ࢖ͬͯ σʔλ࡞੒Λলུ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷbefore_allΛ࢖ͬͯσʔλ࡞੒Λলུ खܰ͞: ˒˒˒˒ˑ ޮՌ: ˒˒˒˒˒
53. • Capybaraͷػೳʹ೚ͤͯSleep࡟আ • LoadingΛಈతʹ଴ͭHelperΛ࡞ͬͯSleep࡟আ • test-profͷbefore_allΛ࢖ͬͯσʔλ࡞੒Λলུ • test-profͷlet_it_beΛ࢖ͬͯσʔλ࡞੒Λলུ • parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ • ͦͷଞɺࡉ͔ͳςετ࣌ؒ୹ॖͷͨΊͷࢪࡦ ςετͷ͕࣌ؒ௕͍🐢 53 ςετͷ͕࣌ؒ௕͍🐢
54. σʔλ࡞੒͕37,530݅ - 675݅ͷςετ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷlet_it_beΛ࢖ͬͯσʔλ࡞੒Λলུ →ςετ࣌ؒ2m50sͷ͏ͪ2m1s͕σʔλੜ੒ test-prof gemͰௐࠪ
55. σʔλ࡞੒͕37,530݅ - 675݅ͷςετ ྫ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷlet_it_beΛ࢖ͬͯσʔλ࡞੒Λলུ
56. σʔλ࡞੒͕37,530݅ - 675݅ͷςετ ྫ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷlet_it_beΛ࢖ͬͯσʔλ࡞੒Λলུ →ςετͷͨͼʹݺ͹ΕΔ
57. σʔλ࡞੒͕37,530݅ - 675݅ͷςετ ྫ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷlet_it_beΛ࢖ͬͯσʔλ࡞੒Λলུ ͕ɺຖ౓࡞Γ௚͞ͳͯ͘΋ಉ͡ΠϯελϯεΛ࢖͍·ͤΔม਺💡 →ςετͷͨͼʹݺ͹ΕΔ
58. letΛଞͷςετͰ΋࢖͍ճ͢ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷlet_it_beΛ࢖ͬͯσʔλ࡞੒Λলུ
59. let_it_be(:admin) { create(:user) }ͰԿ͕ى͖͍ͯΔ͔ʁ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷlet_it_beΛ࢖ͬͯσʔλ࡞੒Λলུ
60. let_it_be(:admin) { create(:user) }ͰԿ͕ى͖͍ͯΔ͔ʁ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷlet_it_beΛ࢖ͬͯσʔλ࡞੒Λলུ proc { @😸admin = create(:user) }
61. let_it_be(:admin) { create(:user) }ͰԿ͕ى͖͍ͯΔ͔ʁ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷlet_it_beΛ࢖ͬͯσʔλ࡞੒Λলུ proc { @😸admin = create(:user) } before_all { @😸admin = create(:user) }
62. let_it_be(:admin) { create(:user) }ͰԿ͕ى͖͍ͯΔ͔ʁ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷlet_it_beΛ࢖ͬͯσʔλ࡞੒Λলུ proc { @😸admin = create(:user) } before_all { @😸admin = create(:user) } let(:admin) { @😸admin } (`@😸admin` ͸before_allͰ࡞੒ࡁΈ)
63. σʔλ࡞੒͕37,530݅ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷlet_it_beΛ࢖ͬͯσʔλ࡞੒Λলུ →ςετ࣌ؒ2m50sͷ͏ͪ2m1s͕σʔλੜ੒ test-prof gemͰௐࠪ
64. σʔλ࡞੒͕37,530 4,970݅ʹݮͬͨ✨ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷlet_it_beΛ࢖ͬͯσʔλ࡞੒Λলུ ςετ࣌ؒ2m50s->37s test-prof gemͰௐࠪ
65. test-profͷlet_it_beΛ࢖ͬͯ σʔλ࡞੒Λলུ ςετͷ͕࣌ؒ௕͍🐢 - test-profͷlet_it_beΛ࢖ͬͯσʔλ࡞੒Λলུ खܰ͞: ˒˒˒˒ˑ ޮՌ: ˒˒˒˒ˑ
66. • Capybaraͷػೳʹ೚ͤͯSleepΛ࡟আ • LoadingΛಈతʹ଴ͭHelperΛ࡞ͬͯSleepΛ࡟আ • test-profͷbefore_allΛ࢖ͬͯσʔλ࡞੒Λলུ • test-profͷlet_it_beΛ࢖ͬͯσʔλ࡞੒Λলུ • parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ • ͦͷଞɺࡉ͔ͳ͋Ε͜Ε ςετͷ͕࣌ؒ௕͍🐢 66 ςετͷ͕࣌ؒ௕͍🐢
67. parallel_testsͱ͸ʁ ςετͷ͕࣌ؒ௕͍🐢 - parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ $16@ .ݸͷ
    ςετϑΝΠϧ $16@ /ݸͷ
    ςετϑΝΠϧ ɾɾɾ $16@9 ,ݸͷ
    ςετϑΝΠϧ CPUݸ਺෼ʹςετϑΝΠϧΛ෼ׂͯ͠ɺ ςετΛฒྻʹ࣮ߦͤ͞Δ💡
68. ޮ཰ͷѱ͍෼ׂ - 1,000s ͔͔Δ ςετͷ͕࣌ؒ௕͍🐢 - parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ user_spec.rb ͕ංେԽ
69. ޮ཰ͷѱ͍෼ׂ - 1,000s ͔͔Δ ςετͷ͕࣌ؒ௕͍🐢 - parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ $16
    T $16
     T
70. ޮ཰ͷྑ͍෼ׂ ςετͷ͕࣌ؒ௕͍🐢 - parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ  T
    ͔͔ΔςετϑΝΠϧΛͭʹ෼ׂ $16
     T
71. ޮ཰ͷྑ͍෼ׂ - 600sͰऴΘΔ✨ ςετͷ͕࣌ؒ௕͍🐢 - parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ $16
    T $16
    T
72. ޮ཰ͷྑ͍෼ׂ - ࣮ྫ parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ Before After
73. parallel_testsͰԿ͕ى͖ͯΔʁ(ྫ: fi le size sort) 1. CPUίΞ਺Λऔಘͯ͠ 2. ςετର৅ͷϑΝΠϧͷϑΝΠϧαΠζ(byte)Λऔಘͯ͠഑ྻΛ࡞੒ 3. ϑΝΠϧαΠζͷେ͖͍ॱʹฒͼସ͑ͯ 4. CPU਺ݸͷάϧʔϓΛ࡞ͬͯ 5. ϑΝΠϧαΠζͷେ͖͍ॱʹɺ߹ܭϑΝΠϧαΠζͷ࠷΋খ͍͞ά ϧʔϓʹɺϑΝΠϧΛ௥ՃΛ܁Γฦͯ͠άϧʔϓ࡞੒ 6. ֤$16ͰςετΛ࣮ߦ ςετͷ͕࣌ؒ௕͍🐢 - parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ 73
74. parallel_testsͰԿ͕ى͖ͯΔʁ(ྫ: fi le size sort) 1. CPUίΞ਺Λऔಘͯ͠ 2. ςετର৅ͷϑΝΠϧͷϑΝΠϧαΠζ(byte)Λऔಘ 3. ϑΝΠϧαΠζͷେ͖͍ॱʹฒͼସ͑ͯ 4. CPU਺ݸͷάϧʔϓΛ࡞ͬͯ 5. ϑΝΠϧαΠζͷେ͖͍ॱʹɺ߹ܭϑΝΠϧαΠζͷ࠷΋খ͍͞ά ϧʔϓʹɺϑΝΠϧΛ௥ՃΛ܁Γฦͯ͠άϧʔϓ࡞੒ 6. ֤$16ͰςετΛ࣮ߦ ςετͷ͕࣌ؒ௕͍🐢 - parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ 74
75. parallel_testsͰԿ͕ى͖ͯΔʁ(ྫ: fi le size sort) 1. CPUίΞ਺Λऔಘͯ͠ 2. ςετର৅ͷϑΝΠϧͷϑΝΠϧαΠζ(byte)Λऔಘͯ͠഑ྻΛ࡞੒ 3. ϑΝΠϧαΠζͷେ͖͍ॱʹฒͼସ͑ͯ 4. CPU਺ݸͷάϧʔϓΛ࡞ͬͯ 5. ϑΝΠϧαΠζͷେ͖͍ॱʹɺ߹ܭϑΝΠϧαΠζͷ࠷΋খ͍͞ά ϧʔϓʹɺϑΝΠϧΛ௥ՃΛ܁Γฦͯ͠άϧʔϓ࡞੒ 6. ֤$16ͰςετΛ࣮ߦ ςετͷ͕࣌ؒ௕͍🐢 - parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ 75 [ςετ໊, ςετϑΝΠϧByte਺]
76. parallel_testsͰԿ͕ى͖ͯΔʁ(ྫ: fi le size sort) 1. CPUίΞ਺Λऔಘͯ͠ 2. ςετର৅ͷϑΝΠϧͷϑΝΠϧαΠζ(byte)Λऔಘ 3. ϑΝΠϧαΠζͷେ͖͍ॱʹฒͼସ͑ͯ 4. CPU਺ݸͷάϧʔϓΛ࡞ͬͯ 5. ϑΝΠϧαΠζͷେ͖͍ॱʹɺ߹ܭϑΝΠϧαΠζͷ࠷΋খ͍͞ά ϧʔϓʹɺϑΝΠϧΛ௥ՃΛ܁Γฦͯ͠άϧʔϓ࡞੒ 6. ֤$16ͰςετΛ࣮ߦ ςετͷ͕࣌ؒ௕͍🐢 - parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ 76 ͜ͷ഑ྻΛϑΝΠϧαΠζͷ߱ॱʹSort
77. parallel_testsͰԿ͕ى͖ͯΔʁ(ྫ: fi le size sort) 1. CPUίΞ਺Λऔಘͯ͠ 2. ςετର৅ͷϑΝΠϧͷϑΝΠϧαΠζ(byte)Λऔಘ 3. ϑΝΠϧαΠζͷେ͖͍ॱʹฒͼସ͑ͯ 4. CPU਺ݸͷάϧʔϓΛ࡞ͬͯ 5. ϑΝΠϧαΠζͷେ͖͍ॱʹɺ߹ܭϑΝΠϧαΠζͷ࠷΋খ͍͞ά ϧʔϓʹɺϑΝΠϧΛ௥ՃΛ܁Γฦͯ͠άϧʔϓ࡞੒ 6. ֤$16ͰςετΛ࣮ߦ ςετͷ͕࣌ؒ௕͍🐢 - parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ 77 $16 $16 $16 $16
78. parallel_testsͰԿ͕ى͖ͯΔʁ(ྫ: fi le size sort) 1. CPUίΞ਺Λऔಘͯ͠ 2. ςετର৅ͷϑΝΠϧͷϑΝΠϧαΠζ(byte)Λऔಘ 3. ϑΝΠϧαΠζͷେ͖͍ॱʹฒͼସ͑ͯ 4. CPU਺ݸͷάϧʔϓΛ࡞ͬͯ 5. ϑΝΠϧαΠζͷେ͖͍ॱʹɺ߹ܭϑΝΠϧαΠζͷ࠷΋খ͍͞ά ϧʔϓʹɺϑΝΠϧΛ௥ՃΛ܁Γฦͯ͠άϧʔϓ࡞੒ 6. ֤$16ͰςετΛ࣮ߦ ςετͷ͕࣌ؒ௕͍🐢 - parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ 78 $16 $16 $16 $16 ,ݸͷ
    ςετϑΝΠϧ .ݸͷ
    ςετϑΝΠϧ /ݸͷ
    ςετϑΝΠϧ -ݸͷ
    ςετϑΝΠϧ
79. parallel_testsͰԿ͕ى͖ͯΔʁ(ྫ: fi le size sort) 1. CPUίΞ਺Λऔಘͯ͠ 2. ςετର৅ͷϑΝΠϧͷϑΝΠϧαΠζ(byte)Λऔಘ 3. ϑΝΠϧαΠζͷେ͖͍ॱʹฒͼସ͑ͯ 4. CPU਺ݸͷάϧʔϓΛ࡞ͬͯ 5. ϑΝΠϧαΠζͷେ͖͍ॱʹɺ߹ܭϑΝΠϧαΠζͷ࠷΋খ͍͞ά ϧʔϓʹɺϑΝΠϧΛ௥ՃΛ܁Γฦͯ͠άϧʔϓ࡞੒ 6. ֤$16ͰςετΛ࣮ߦ ςετͷ͕࣌ؒ௕͍🐢 - parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ 79
80. parallel_testsͷฒྻ࣮ߦΛ׆͔͢ ͨΊʹϑΝΠϧ෼ׂ ςετͷ͕࣌ؒ௕͍🐢 - parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ खܰ͞: ˒˒˒˒ˑ ޮՌ: ˒˒˒˒ˑ
81. • Capybaraͷػೳʹ೚ͤͯSleepΛ࡟আ • LoadingΛಈతʹ଴ͭHelperΛ࡞ͬͯSleepΛ࡟আ • test-profͷbefore_allΛ࢖ͬͯσʔλ࡞੒Λলུ • test-profͷlet_it_beΛ࢖ͬͯσʔλ࡞੒Λলུ • parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ • ͦͷଞɺࡉ͔ͳςετ࣌ؒ୹ॖͷͨΊͷࢪࡦ ςετͷ͕࣌ؒ௕͍🐢 81 ςετͷ͕࣌ؒ௕͍🐢
82. ͦͷଞɺࡉ͔ͳςετ࣌ؒ୹ॖͷͨΊͷࢪࡦ • FactoryBot.create() Ͱ͸ͳ͘ FactoryBot.build_stubbed()Λ࢖͏ • ෼͚ͳ͍͍ͯ͘ςετ͸ɺ1ͭͷ it do ~ endʹ·ͱΊΔ • ͍Βͳ͍ػೳ΍ςετ͸࡟আ • LoadingΛ଴ͭॲཧ΋ՄೳͳΒ࡟আ • KnapsackPro gem΋ར༻ • ஗͍ςετϑΝΠϧ,஗͍ςετ, աڈࣦഊͨ͠ςετΛμογϡϘʔυԽ ςετͷ͕࣌ؒ௕͍🐢 - ͦͷଞɺࡉ͔ͳςετ࣌ؒ୹ॖͷͨΊͷࢪࡦ 82
83. ͦͷଞɺࡉ͔ͳςετ࣌ؒ୹ॖͷͨΊͷࢪࡦ • FactoryBot.create() Ͱ͸ͳ͘ FactoryBot.build_stubbed()Λ࢖͏ • ෼͚ͳ͍͍ͯ͘ςετ͸ɺ1ͭͷ it do ~ endʹ·ͱΊΔ • ͍Βͳ͍ػೳ΍ςετ͸࡟আ • LoadingΛ଴ͭॲཧ΋ՄೳͳΒ࡟আ • KnapsackPro gem΋ར༻ • ஗͍ςετϑΝΠϧ,஗͍ςετ, աڈࣦഊͨ͠ςετΛμογϡϘʔυԽ ςετͷ͕࣌ؒ௕͍🐢 - ͦͷଞɺࡉ͔ͳςετ࣌ؒ୹ॖͷͨΊͷࢪࡦ 83 खܰ͞: ˒˒˒˒ˑ ޮՌ: ˒˒ˑˑˑ
84. ͦͷଞɺࡉ͔ͳςετ࣌ؒ୹ॖͷͨΊͷࢪࡦ • FactoryBot.create() Ͱ͸ͳ͘ FactoryBot.build_stubbed()Λ࢖͏ • ෼͚ͳ͍͍ͯ͘ςετ͸ɺ1ͭͷ it do ~ endʹ·ͱΊΔ • ͍Βͳ͍ػೳ΍ςετ͸࡟আ • LoadingΛ଴ͭॲཧ΋ՄೳͳΒ࡟আ • KnapsackPro gem΋ར༻ • ஗͍ςετϑΝΠϧ,஗͍ςετ, աڈࣦഊͨ͠ςετΛμογϡϘʔυԽ ςετͷ͕࣌ؒ௕͍🐢 - ͦͷଞɺࡉ͔ͳςετ࣌ؒ୹ॖͷͨΊͷࢪࡦ 84 Bad Good खܰ͞: ˒˒˒ˑˑ ޮՌ: ˒˒˒ˑˑ
85. ͦͷଞɺࡉ͔ͳςετ࣌ؒ୹ॖͷͨΊͷࢪࡦ • FactoryBot.create() Ͱ͸ͳ͘ FactoryBot.build_stubbed()Λ࢖͏ • ෼͚ͳ͍͍ͯ͘ςετ͸ɺ1ͭͷ it do ~ endʹ·ͱΊΔ • ͍Βͳ͍ػೳ΍ςετ͸࡟আ • LoadingΛ଴ͭॲཧ΋ՄೳͳΒ࡟আ • KnapsackPro gem΋ར༻ • ஗͍ςετϑΝΠϧ,஗͍ςετ, աڈࣦഊͨ͠ςετΛμογϡϘʔυԽ ςετͷ͕࣌ؒ௕͍🐢 - ͦͷଞɺࡉ͔ͳςετ࣌ؒ୹ॖͷͨΊͷࢪࡦ 85 खܰ͞: ˒˒˒ˑˑ ޮՌ: ˒˒˒ˑˑ
86. ͦͷଞɺࡉ͔ͳςετ࣌ؒ୹ॖͷͨΊͷࢪࡦ • FactoryBot.create() Ͱ͸ͳ͘ FactoryBot.build_stubbed()Λ࢖͏ • ෼͚ͳ͍͍ͯ͘ςετ͸ɺ1ͭͷ it do ~ endʹ·ͱΊΔ • ͍Βͳ͍ػೳ΍ςετ͸࡟আ • LoadingΛ଴ͭॲཧ΋ՄೳͳΒ࡟আ • KnapsackPro gem΋ར༻ • ஗͍ςετϑΝΠϧ,஗͍ςετ, աڈࣦഊͨ͠ςετΛμογϡϘʔυԽ ςετͷ͕࣌ؒ௕͍🐢 - ͦͷଞɺࡉ͔ͳςετ࣌ؒ୹ॖͷͨΊͷࢪࡦ 86 खܰ͞: ˒˒ˑˑˑ ޮՌ: ˒˒ˑˑˑ
87. ͦͷଞɺࡉ͔ͳςετ࣌ؒ୹ॖͷͨΊͷࢪࡦ • FactoryBot.create() Ͱ͸ͳ͘ FactoryBot.build_stubbed()Λ࢖͏ • ෼͚ͳ͍͍ͯ͘ςετ͸ɺ1ͭͷ it do ~ endʹ·ͱΊΔ • ͍Βͳ͍ػೳ΍ςετ͸࡟আ • LoadingΛ଴ͭॲཧ΋ՄೳͳΒ࡟আ • KnapsackPro gem΋ར༻ • ஗͍ςετϑΝΠϧ,஗͍ςετ, աڈࣦഊͨ͠ςετΛμογϡϘʔυԽ ςετͷ͕࣌ؒ௕͍🐢 - ͦͷଞɺࡉ͔ͳςετ࣌ؒ୹ॖͷͨΊͷࢪࡦ 87 खܰ͞: ˒ˑˑˑˑ ޮՌ: ˒˒˒ˑˑ
88. ͦͷଞɺࡉ͔ͳςετ࣌ؒ୹ॖͷͨΊͷࢪࡦ • FactoryBot.create() Ͱ͸ͳ͘ FactoryBot.build_stubbed()Λ࢖͏ • ෼͚ͳ͍͍ͯ͘ςετ͸ɺ1ͭͷ it do ~ endʹ·ͱΊΔ • ͍Βͳ͍ػೳ΍ςετ͸࡟আ • LoadingΛ଴ͭॲཧ΋ՄೳͳΒ࡟আ • KnapsackPro gem΋ར༻ • ஗͍ςετϑΝΠϧ,஗͍ςετ, աڈࣦഊͨ͠ςετΛμογϡϘʔυԽ ςετͷ͕࣌ؒ௕͍🐢 - ͦͷଞɺࡉ͔ͳςετ࣌ؒ୹ॖͷͨΊͷࢪࡦ 88 खܰ͞: ˒ˑˑˑˑ ޮՌ: ˒˒ˑˑˑ
89. CIͷ͕࣌ؒ54෼->23෼✨ ςετͷ͕࣌ؒ௕͍🐢 5FTU
    N
    T #VJME
    N
    T 3FQPSU
    T
90. લ൒ઓऴྃ🍻 ʢͨͿΜ12෼͘Β͍ܦաதʣ
91. CIͷ͕࣌ؒ54෼->23෼✨ ςετͷ͕࣌ؒ௕͍🐢 5FTU
    N
    T #VJME
    N
    T 3FQPSU
    T
92. CIͷ͕࣌ؒ54෼->23෼✨ ςετͷ͕࣌ؒ௕͍🐢 5FTU
    N
    T #VJME
    N
    T 3FQPSU
    T 23෼🤔
93. ͭͷ՝୊💥 • ςετͷ͕࣌ؒ௕͍🐢 • ςετલͷ#VJMEͷ͕࣌ؒ௕͍🥱 ʢগ͠3VCZ͔Β୤ઢʣ • Flakyͳςετ͕ଟ͍💫
94. • Next.js × TypeScript ͰϑϩϯτΤϯυ͸ಈ͍͍ͯΔ • Adminը໘ͱUserը໘ͦΕͧΕ͋ΔɻϦϙδτϦ͸1ͭɻ • ຖճ#VJME͚ͩͰ10෼Ҏ্͔͔͍ͬͯΔ • ฒྻ࣮ߦͱ͔͕ҙຯͳ͍ɻ͓ۚͰԥΕͳ͍ɻ • ςετલʹ#VJME͢Δඞཁ͕͋ΔͷͰલςετ͕͜ͷ࣮ߦ࣌ؒʹґଘ ͍ͯ͠Δ ςετલͷ#VJMEͷ͕࣌ؒ௕͍🥱 94 ςετલͷBuild
95. Next.jsެࣜαΠτΑΓ📗 ςετલͷ#VJMEͷ͕࣌ؒ௕͍🥱
96. Next.jsެࣜαΠτΑΓ📗 ςετલͷ#VJMEͷ͕࣌ؒ௕͍🥱 ϏϧυͷύϑΥʔϚϯεΛ޲্ͤ͞ΔͨΊʹɺ
    /FYUKT
    ͸ϏϧυؒͰڞ༗͞ΕΔΩϟογϡΛ
    OFYUDBDIF
    ʹอଘ͠·͢ɻ
    ܧଓతΠϯςάϨʔγϣϯ
    $*
    ؀ڥͰ͜ͷΩϟογϡΛ׆༻͢Δʹ͸ɺ
    ϏϧυؒͰΩϟογϡΛਖ਼͘͠อ࣋͢ΔΑ͏ʹɺ$*
    ϫʔΫϑϩʔΛߏ੒͢Δඞཁ ͕͋Γ·͢ɻ
97. Next.jsެࣜαΠτΑΓ📗 ςετલͷ#VJMEͷ͕࣌ؒ௕͍🥱 ϏϧυͷύϑΥʔϚϯεΛ޲্ͤ͞ΔͨΊʹɺ
    /FYUKT
    ͸ϏϧυؒͰڞ༗͞ΕΔΩϟογϡΛ
    OFYUDBDIF
    ʹอଘ͠·͢ɻ
    ܧଓతΠϯςάϨʔγϣϯ
    $*
    ؀ڥͰ͜ͷΩϟογϡΛ׆༻͢Δʹ͸ɺ
    ϏϧυؒͰΩϟογϡΛਖ਼͘͠อ࣋͢ΔΑ͏ʹɺ$*
    ϫʔΫϑϩʔΛߏ੒͢Δඞཁ ͕͋Γ·͢ɻ .next/cacheΛΩϟογϡͯ͠Build࣌ʹ࢖͍ճ͢ 10෼ -> 5෼✨ खܰ͞: ˒˒˒ˑˑ ޮՌ: ˒˒˒˒˒
98. Next.jsެࣜαΠτΑΓ📗 ςετલͷ#VJMEͷ͕࣌ؒ௕͍🥱 ϏϧυͷύϑΥʔϚϯεΛ޲্ͤ͞ΔͨΊʹɺ
    /FYUKT
    ͸ϏϧυؒͰڞ༗͞ΕΔΩϟογϡΛ
    OFYUDBDIF
    ʹอଘ͠·͢ɻ
    ܧଓతΠϯςάϨʔγϣϯ
    $*
    ؀ڥͰ͜ͷΩϟογϡΛ׆༻͢Δʹ͸ɺ
    ϏϧυؒͰΩϟογϡΛਖ਼͘͠อ࣋͢ΔΑ͏ʹɺ$*
    ϫʔΫϑϩʔΛߏ੒͢Δඞཁ ͕͋Γ·͢ɻ มߋͳ͍ͱ͖͸Buildͤͣʹɺ Build݁ՌͷΩϟογϡΛ࢖͍ճ͢ खܰ͞: ˒˒˒ˑˑ ޮՌ: ˒˒˒˒˒ 10෼ -> 5෼->34ඵ✨
99. Build͕࣌ؒ10෼->34ඵ✨ ςετલͷ#VJMEͷ͕࣌ؒ௕͍🥱 Ϣʔβʔը໘ "ENJOը໘ ZBSOMPDLʹมߋ͕͋Δ৔߹ ෼ඵ ෼ඵ ZBSOMPDLʹมߋͳ͍͕ɺ
    ϑϩϯτͷίʔυʹมߋ͕͋Δ৔߹ ෼ඵ ෼ඵ Ұ੾มߋ͕ͳ͍৔߹ ඵ✨ ඵ✨
100. CIͷ͕࣌ؒ54෼->23 10෼✨ ςετલͷ#VJMEͷ͕࣌ؒ௕͍🥱 5FTU
     N
     T #VJME
     T 3FQPSU
     T
101. தฤऴྃ🍻 ʢͨͿΜ13෼͘Β͍ܦաதʣ
102. ͭͷ՝୊💥 • ςετͷ͕࣌ؒ௕͍🐢 • ςετલͷ#VJMEͷ͕࣌ؒ௕͍🥱 ʢগ͠3VCZ͔Β୤ઢʣ • Flakyͳςετ͕ଟ͍💫
103. Flakyͳςετͱ͸ʁ • ࣮ߦ݁Ռ͕ෆ҆ఆͳςετͷ͜ͱ • Flakyͳςετ͕গͳ͘ͱ΋30ݸҎ্͋ͬͨ • 5%ͷ֬཰ͰམͪΔෆ҆ఆͳςετ͕30ݸ͋Δͱɺςετ͕શͯύε ͢Δ֬཰͸21.5% Flakyͳςετ͕ଟ͍💫 103
104. Flakyͳςετ͕ଟ͍💫 • ࣮ߦ݁Ռ͕ෆ҆ఆͳςετͷ͜ͱ • Flakyͳςετ͕গͳ͘ͱ΋30ݸҎ্͋ͬͨ • 5%ͷ֬཰ͰམͪΔෆ҆ఆͳςετ͕30ݸ͋Δͱɺςετ͕શͯύε ͢Δ֬཰͸21.5% Flakyͳςετ͕ଟ͍💫 104 ɾࣦഊ཰͸ɺۉҰͰ͸ͳ͍
     ɾࣦഊ཰͕௿͍΋ͷ͸ɺӅΕͯฆΕͯͨΓ͢Δ
     ɾࣦഊ཰͕ߴ͍ςετ͔Β௚͍ͯ͘͠ͱྑ͍
105. Flakyͳςετ΁ͷ޲͖߹͍ํ Flakyͳςετ͕ଟ͍💫 5FTU
     N
     T #VJME
     T 3FQPSU
     T ஍ಓʹ௚͢💪
106. ஍ಓʹ௚͢ࡍͷ େมͩͬͨ͜ͱɺ޻෉ͨ͜͠ͱ🛠🤖 Flakyͳςετ͕ଟ͍💫
107. ஍ಓʹ௚͢ࡍʹେมͩͬͨ͜ͱ • CIͰςετ͕Failͨ͠ͱ͖ɺϩά΍εΫγϣͷ֬ೝ͕໘౗ • CI্Ͱ͔͠ൃੜ͠ͳ͍FlakyͷݪҼ͕ෆ໌ • FlakyΛθϩʹ͸͖͠Εͳ͍ Flakyͳςετ͕ଟ͍💫 107
108. ஍ಓʹ௚͢ࡍʹେมͩͬͨ͜ͱ • CIͰςετ͕Failͨ͠ͱ͖ɺϩά΍εΫγϣͷ֬ೝ͕໘౗ • CI্Ͱ͔͠ൃੜ͠ͳ͍FlakyͷݪҼ͕ෆ໌ • FlakyΛθϩʹ͸͖͠Εͳ͍ Flakyͳςετ͕ଟ͍💫 108
109. E2E͕CI্ͰFailͨ͠Β…ϩάΛ֬ೝ Flakyͳςετ͕ଟ͍💫 - CIͰςετ͕Failͨ͠ͱ͖ɺϩά΍εΫγϣͷ֬ೝ͕໘౗ ໘౗😮💨
110. E2E͕CI্ͰFailͨ͠Β…εΫϦʔϯγϣοτΛ֬ೝ Flakyͳςετ͕ଟ͍💫 - CIͰςετ͕Failͨ͠ͱ͖ɺϩά΍εΫγϣͷ֬ೝ͕໘౗ ໘౗😮💨
111. Allure ReportΛಋೖ Flakyͳςετ͕ଟ͍💫 - CIͰςετ͕Failͨ͠ͱ͖ɺϩά΍εΫγϣͷ֬ೝ͕໘౗
112. • ςετ݁ՌΛྑ͍ײ͡ʹϨϙʔτ͢Δ΍ͭ • ςετͷ਺ • ΧόϨοδ • ςετ࣌ؒ • ςετ݁Ռཤྺ • εΫγϣͱ͔΋ඥ෇͚ΒΕΔ Flakyͳςετ͕ଟ͍💫 - CIͰςετ͕Failͨ͠ͱ͖ɺϩά΍εΫγϣͷ֬ೝ͕໘౗ 112 Allure Reportͱ͸ʁ
113. • bundle exec rspec --format AllureRspecFormatter • ςετͷ৘ใΛKTPOʹग़ྗ • allure generate allure_results/* -o tmp/allure_report • ςετ݁ՌΛ)5.-ʹม׵ • ϓϧϦΫΤετຖʹςετ݁Ռͷ)5.-Λ7FSDFMʹσϓϩΠ • ςετࣦഊ࣌ʹ͸7FSDFMͷ63-Λ#PU͕ίϝϯτͰڭ͑ͯ͘ΕΔ Flakyͳςετ͕ଟ͍💫 - CIͰςετ͕Failͨ͠ͱ͖ɺϩά΍εΫγϣͷ֬ೝ͕໘౗ 113 Allure Report͓஌ΒͤBotΛ࡞੒
114. • bundle exec rspec --format AllureRspecFormatter • ςετͷ৘ใΛKTPOʹग़ྗ • allure generate allure_results/* -o tmp/allure_report • ςετ݁ՌΛ)5.-ʹม׵ • ϓϧϦΫΤετຖʹςετ݁Ռͷ)5.-Λ7FSDFMʹσϓϩΠ • ςετࣦഊ࣌ʹ͸7FSDFMͷ63-Λ#PU͕ίϝϯτͰڭ͑ͯ͘ΕΔ Flakyͳςετ͕ଟ͍💫 - CIͰςετ͕Failͨ͠ͱ͖ɺϩά΍εΫγϣͷ֬ೝ͕໘౗ 114 Allure ReportΛಋೖ
115. • bundle exec rspec --format AllureRspecFormatter • ςετͷ৘ใΛKTPOʹग़ྗ • allure generate allure_results/* -o tmp/allure_report • ςετ݁ՌΛ)5.-ʹม׵ • ϓϧϦΫΤετຖʹςετ݁Ռͷ)5.-Λ7FSDFMʹσϓϩΠ • ςετࣦഊ࣌ʹ͸7FSDFMͷ63-Λ#PU͕ίϝϯτͰڭ͑ͯ͘ΕΔ Flakyͳςετ͕ଟ͍💫 - CIͰςετ͕Failͨ͠ͱ͖ɺϩά΍εΫγϣͷ֬ೝ͕໘౗ 115 Allure ReportΛಋೖ
116. • bundle exec rspec --format AllureRspecFormatter • ςετͷ৘ใΛKTPOʹग़ྗ • allure generate allure_results/* -o tmp/allure_report • ςετ݁ՌΛ)5.-ʹม׵ • ϓϧϦΫΤετຖʹςετ݁Ռͷ)5.-Λ7FSDFMʹσϓϩΠ • ςετࣦഊ࣌ʹ͸7FSDFMͷ63-Λ#PU͕ίϝϯτͰڭ͑ͯ͘ΕΔ Flakyͳςετ͕ଟ͍💫 - CIͰςετ͕Failͨ͠ͱ͖ɺϩά΍εΫγϣͷ֬ೝ͕໘౗ 116 Allure ReportΛಋೖ
117. • bundle exec rspec --format AllureRspecFormatter • ςετͷ৘ใΛKTPOʹग़ྗ • allure generate allure_results/* -o tmp/allure_report • ςετ݁ՌΛ)5.-ʹม׵ • ϓϧϦΫΤετຖʹςετ݁Ռͷ)5.-Λ7FSDFMʹσϓϩΠ • ςετࣦഊ࣌ʹ͸7FSDFMͷ63-Λ#PU͕ίϝϯτͰڭ͑ͯ͘ΕΔ Flakyͳςετ͕ଟ͍💫 - CIͰςετ͕Failͨ͠ͱ͖ɺϩά΍εΫγϣͷ֬ೝ͕໘౗ 117 Allure ReportΛಋೖ
118. Flakyͳςετ͕ଟ͍💫 - CIͰςετ͕Failͨ͠ͱ͖ɺϩά΍εΫγϣͷ֬ೝ͕໘౗ CI͕Failͨ͠ͱ͖ ϩά΍εΫγϣͷ֬ೝ͕໘౗
119. Bot͕ڭ͑ͯ͘ΕΔURLΛ֬ೝ✨ Flakyͳςετ͕ଟ͍💫 - CIͰςετ͕Failͨ͠ͱ͖ɺϩά΍εΫγϣͷ֬ೝ͕໘౗
120. Allure Report͓஌ΒͤBotΛ࡞੒ Flakyͳςετ͕ଟ͍💫 - CIͰςετ͕Failͨ͠ͱ͖ɺϩά΍εΫγϣͷ֬ೝ͕໘౗ खܰ͞: ˒ˑˑˑˑ ޮՌ: ˒˒˒ˑˑ
121. ஍ಓʹ௚͢ࡍʹେมͩͬͨ͜ͱ • CIͰςετ͕Failͨ͠ͱ͖ɺϩά΍εΫγϣͷ֬ೝ͕໘౗ • CI্Ͱ͔͠ൃੜ͠ͳ͍FlakyͷݪҼ͕ෆ໌ • FlakyΛθϩʹ͸͖͠Εͳ͍ Flakyͳςετ͕ଟ͍💫 121
122. CI্Ͱ͔͠ൃੜ͠ͳ͍FlakyͷݪҼ͕ෆ໌ Flakyͳςετ͕ଟ͍💫 - CI্Ͱ͔͠ൃੜ͠ͳ͍FlakyͷݪҼ͕ෆ໌ ϩά΍εΫϦʔϯγϣοτ
     ͚ͩͰ͸'BJMݪҼ͕Θ͔Βͳ͍🤯
123. capybara-playwright-driverΛಋೖ Flakyͳςετ͕ଟ͍💫 - CI্Ͱ͔͠ൃੜ͠ͳ͍FlakyͷݪҼ͕ෆ໌
124. • playwrightͱ͍͏ςετϑϨʔϜϫʔΫΛcapybara͔Β࢖͑Δ • εΫϦʔϯγϣοτ͚ͩ͡Όͳ͘ςετ࣌ͷಈը͕ݟΒΕΔ • ։ൃऀπʔϧʹࡌͬͯΔΑ͏ͳωοτϫʔΫ΋ݟΒΕΔ • Allure Report ্ͰݟΒΕΔ • Rails 7.1ʹ΋औΓࠐ·Ε͍ͯΔ Flakyͳςετ͕ଟ͍💫 - CI্Ͱ͔͠ൃੜ͠ͳ͍FlakyͷݪҼ͕ෆ໌ 124 capybara-playwright-driverͱ͸ʁ
125. • playwrightͱ͍͏ςετϑϨʔϜϫʔΫΛcapybara͔Β࢖͑Δ • εΫϦʔϯγϣοτ͚ͩ͡Όͳ͘ςετ࣌ͷಈը͕ݟΒΕΔ • ։ൃऀπʔϧʹࡌͬͯΔΑ͏ͳωοτϫʔΫ΋ݟΒΕΔ • Allure Report ্ͰݟΒΕΔ • Rails 7.1ʹ΋औΓࠐ·Ε͍ͯΔ Flakyͳςετ͕ଟ͍💫 - CI্Ͱ͔͠ൃੜ͠ͳ͍FlakyͷݪҼ͕ෆ໌ 125 capybara-playwright-driverͱ͸ʁ capybara.rb
126. • playwrightͱ͍͏ςετϑϨʔϜϫʔΫΛcapybara͔Β࢖͑Δ • εΫϦʔϯγϣοτ͚ͩ͡Όͳ͘ςετ࣌ͷಈը͕ݟΒΕΔ • ։ൃऀπʔϧʹࡌͬͯΔΑ͏ͳωοτϫʔΫ΋ݟΒΕΔ • Allure Report ্ͰݟΒΕΔ • Rails 7.1ʹ΋औΓࠐ·Ε͍ͯΔ Flakyͳςετ͕ଟ͍💫 - CI্Ͱ͔͠ൃੜ͠ͳ͍FlakyͷݪҼ͕ෆ໌ 126 capybara-playwright-driverͱ͸ʁ
127. • playwrightͱ͍͏ςετϑϨʔϜϫʔΫΛcapybara͔Β࢖͑Δ • εΫϦʔϯγϣοτ͚ͩ͡Όͳ͘ςετ࣌ͷಈը͕ݟΒΕΔ • ։ൃऀπʔϧʹࡌͬͯΔΑ͏ͳωοτϫʔΫ΋ݟΒΕΔ • Allure Report ্ͰݟΒΕΔ • Rails 7.1ʹ΋औΓࠐ·Ε͍ͯΔ Flakyͳςετ͕ଟ͍💫 - CI্Ͱ͔͠ൃੜ͠ͳ͍FlakyͷݪҼ͕ෆ໌ 127 capybara-playwright-driverͱ͸ʁ https://trace.playwright.dev/
128. • playwrightͱ͍͏ςετϑϨʔϜϫʔΫΛcapybara͔Β࢖͑Δ • εΫϦʔϯγϣοτ͚ͩ͡Όͳ͘ςετ࣌ͷಈը͕ݟΒΕΔ • ։ൃऀπʔϧʹࡌͬͯΔΑ͏ͳωοτϫʔΫ΋ݟΒΕΔ • Allure Report ্ͰݟΒΕΔ • Rails 7.1ʹ΋औΓࠐ·Ε͍ͯΔ Flakyͳςετ͕ଟ͍💫 - CI্Ͱ͔͠ൃੜ͠ͳ͍FlakyͷݪҼ͕ෆ໌ 128 capybara-playwright-driverͱ͸ʁ
129. • playwrightͱ͍͏ςετϑϨʔϜϫʔΫΛcapybara͔Β࢖͑Δ • εΫϦʔϯγϣοτ͚ͩ͡Όͳ͘ςετ࣌ͷಈը͕ݟΒΕΔ • ։ൃऀπʔϧʹࡌͬͯΔΑ͏ͳωοτϫʔΫ΋ݟΒΕΔ • Allure Report ্ͰݟΒΕΔ • Rails 7.1ʹ΋औΓࠐ·Ε͍ͯΔ Flakyͳςετ͕ଟ͍💫 - CI্Ͱ͔͠ൃੜ͠ͳ͍FlakyͷݪҼ͕ෆ໌ 129 capybara-playwright-driverͱ͸ʁ
130. CI্Ͱ͔͠ൃੜ͠ͳ͍Flakyͷ ݪҼ͕ෆ໌ Flakyͳςετ͕ଟ͍💫 - CI্Ͱ͔͠ൃੜ͠ͳ͍FlakyͷݪҼ͕ෆ໌
131. ಈըͱωοτϫʔΫτϨʔε Λݟͯղܾ✨ Flakyͳςετ͕ଟ͍💫 - CI্Ͱ͔͠ൃੜ͠ͳ͍FlakyͷݪҼ͕ෆ໌
132. capybara-playwright-driverΛಋೖ & Allure Reportͱඥ෇͚ Flakyͳςετ͕ଟ͍💫 - CI্Ͱ͔͠ൃੜ͠ͳ͍FlakyͷݪҼ͕ෆ໌ खܰ͞: ˒˒ˑˑˑ ޮՌ: ˒˒˒ˑˑ
133. ஍ಓʹ௚͢ࡍʹେมͩͬͨ͜ͱ • CIͰςετ͕Failͨ͠ͱ͖ɺϩά΍εΫγϣͷ֬ೝ͕໘౗ • CI্Ͱ͔͠ൃੜ͠ͳ͍FlakyͷݪҼ͕ෆ໌ • FlakyΛθϩʹ͸͖͠Εͳ͍ Flakyͳςετ͕ଟ͍💫 133
134. ͘͝كʹམͪΔFlakyςετ… • Ӟ೥ͷ2݄຤೔ʹམͪΔςετ • ςετதʹ೔෇Λލ͍Ͱ͠·ͬͨςετ • APIϨεϙϯε͕͍ͭ΋ΑΓͳ͔ͥ΍ͨΒ஗ͯ͘མͪͨςετ Flakyͳςετ͕ଟ͍💫 134
135. ͘͝كʹམͪΔςετ͸CI্ͰࣗಈͰRetryͤ͞Δ Flakyͳςετ͕ଟ͍💫 - FlakyΛθϩʹ͸͖͠Εͳ͍
136. ͘͝كʹམͪΔςετ͸CI্ͰࣗಈͰRetryͤ͞Δ Flakyͳςετ͕ଟ͍💫 - FlakyΛθϩʹ͸͖͠Εͳ͍ 'BJMͨ͠ςετ͚ͩ࠶࣮ߦ͢Δ
137. ͘͝كʹམͪΔςετ͸CI্ͰࣗಈͰRetryͤ͞Δ Flakyͳςετ͕ଟ͍💫 - FlakyΛθϩʹ͸͖͠Εͳ͍ ςετࣦഊͨ͠Βɺ࣍ͷStepͷςετͰ͸ Capybaraͷ଴ͪ࣌ؒ΋௕͘ઃఆ͢Δ
138. ͘͝كʹམͪΔFlakyͳςετ Flakyͳςετ͕ଟ͍💫 - FlakyΛθϩʹ͸͖͠Εͳ͍
139. ࣦഊͨ͠ςετΛ࠶౓ ࣗಈͰςετ͢ΔStepΛ௥Ճͯ͠ղܾ✨ Flakyͳςετ͕ଟ͍💫 - FlakyΛθϩʹ͸͖͠Εͳ͍
140. ࣦഊͨ͠ςετΛ࠶౓ ࣗಈͰςετ͢ΔStepΛ௥Ճ Flakyͳςετ͕ଟ͍💫 - FlakyΛθϩʹ͸͖͠Εͳ͍ खܰ͞: ˒˒˒˒ˑ ޮՌ: ˒˒˒˒˒
141. ~·ͱΊ~ 2024೥ͷࣗಈςετͷঢ়گ🔍
142. ೥ ೥ ςετ਺  DBTF $*ͷ࣌ؒ ෼
     ฒྻ$PSF 'MBLZςετ ݸ
     ͘Β͍ͷ֬཰Ͱ$*͕མͪΔ (JU)VC
     "DUJPOTͷ஋ஈ   ·ͱΊ 2023೥ͷςετͷঢ়گ🔍
143. 2024೥ͷςετͷঢ়گ🔍 ೥ ೥ ςετ਺  DBTF  DBTF $*ͷ࣌ؒ ෼
     ฒྻ$PSF ෼ඵ🎉
     ฒྻ 'MBLZςετ ݸ
     ͘Β͍ͷ֬཰Ͱ$*͕མͪΔ ݸ🎉
     ͘Β͍ͷ֬཰Ͱ$*͕མͪΔ (JU)VC
     "DUJPOTͷ஋ஈ    🎉 ·ͱΊ
144. ΍ͬͨ͜ͱҰཡ • Capybaraͷػೳʹ೚ͤͯSleepΛ࡟আ • LoadingΛಈతʹ଴ͭHelper࡞ͬͯSleepΛ࡟আ • test-profͷbefore_allΛ࢖ͬͯσʔλ࡞੒Λলུ • test-profͷlet_it_beΛ࢖ͬͯσʔλ࡞੒Λলུ • parallel_testsͷฒྻ࣮ߦΛ׆͔ͨ͢ΊʹϑΝΠϧ෼ׂ ·ͱΊ 144
145. ΍ͬͨ͜ͱҰཡ • FactoryBot.create() Ͱ͸ͳ͘ FactoryBot.build_stubbed()Λ ࢖͏ • ෼͚ͳ͍͍ͯ͘ςετ͸ɺ1ͭͷ it do ~ endʹ·ͱΊΔ • ͍Βͳ͍ػೳ΍ςετ͸࡟আ • LoadingΛ଴ͭॲཧ΋ՄೳͳΒ࡟আ • KnapsackPro gem΋ར༻ ·ͱΊ 145
146. ΍ͬͨ͜ͱҰཡ • ஗͍ςετϑΝΠϧ,஗͍ςετ, աڈࣦഊͨ͠ςετΛμο γϡϘʔυԽ • Next.jsͷBuildΛΩϟογϡԽ • capybara-playwright-driver௥Ճ • AllureReport௥Ճ • GitHubͷAllureReportͷϦϯΫBot ·ͱΊ 146
147. ͓ർΕ༷Ͱͨ͠🍻