タップル モバイルアプリにE2Eテストが導入されるまでの軌跡

サービスでアジリティ面，コスト面共にボトルネックになるのがリグレッションテストです。タップルでは週次リリースのため，毎週何人ものテスターの方が1日以上かけてテストしています。この作業を自動効率化するのがAutifyをはじめとするE2Eテストツールです。しかし導入までには実際には多くの障壁があります。このセッションではタップルでE2Eテストが運用に導入されるまでの軌跡や，運用に乗せるまでに乗り越えなくてはならないハードルについてお話しします。

Transcript

1. Ӭ໺ Ұഅ 2019೥౓ ৽ଔೖࣾ גࣜձࣾλοϓϧ
 iOS ΤϯδχΞ / SRE νʔϜ @kazumanagano @kazuma_nagano
2. Ӭ໺ Ұഅ 2019೥౓ ৽ଔೖࣾ גࣜձࣾλοϓϧ
 iOS ΤϯδχΞ / SRE νʔϜ @kazumanagano @kazuma_nagano
4. tapple ޷͖ͳ͜ͱ͔Β࿀ͷ૬खΛݟ͚ͭΔϚονϯάΞϓϦ ࢀߟจݙɿhttps://tapple.me •ຖ݄10,000ਓͷΧοϓϧ͕஀ੜ
 •΍Γ͍ͨ͜ͱ΍ߦ͖͍ͨ৔ॴ͔Β ૬खͱͭͳ͕Δ •1,000छҎ্ͷσʔτϓϥϯ͔Β
 24࣌ؒҎ಺ʹσʔτ૬खΛ୳ͤΔ
5. E2E Test ࢀߟจݙɿhttps://autify.com/ja/news/for-mobile-launch
6. E2E(End to End) Testͱ͸ ࢀߟจݙɿhttps://autify.com/ja/news/for-mobile-launch •ΞϓϦέʔγϣϯΛશͯ݁߹ͨ͠ঢ়ଶͰɺϨΠϠʔͷ ॳΊ͔ΒऴΘΓ·ͰʢEnd to Endʣςετ͢Δ͜ͱ •Autify, MagicPodͱ͍ͬͨςετࣗಈԽSaaS͕ొ৔ •खಈͰςετέʔεΛ֬ೝ͢Δ͜ͱΛE2Eςετͱݺ Ϳ͜ͱ΋͋Δ͕ɺʮϚχϡΞϧςετʯͱͯ۠͠ผ͠ ·͢
7. E2Eςετͷ໾ཱͭέʔεͬͯʁ
8. •ϚχϡΞϧςετΛ׬શʹࣗಈԽͰ͖Δʁ •ਓ͕΍ΔΑΓਖ਼֬ʹςετͰ͖ͦ͏ʁ •UnitTest΍ଞͷςετͷ੹຿͕ݮΔʁ •ςελʔνʔϜͰ΋ӡ༻Ͱ͖Δʁ λοϓϧͷE2EͷୈҰҹ৅ ΄ͱΜͲ͕ؒҧ͍
9. ࠓճͷΰʔϧ ϞόΠϧʹ͓͚ΔE2Eςετͷਖ਼֬ͳ஌ࣝΛ
 ਎ʹ্͚ͭͨͰɺ໾ཱͭ΋ͷͩͱ஌ͬͯ΋Β͏ 1.E2Eςετͷ໾ׂ 2.λοϓϧʹ͓͚ΔE2Eςετͷಋೖ 3.·ͱΊ ֓ཁ
10. 1. E2Eςετͷ໾ׂ
11. •ϚχϡΞϧςετΛ׬શʹࣗಈԽͰ͖Δʁ •ਓ͕΍ΔΑΓਖ਼֬ʹςετͰ͖ͦ͏ʁ •UnitTest΍ଞͷςετͷ੹຿͕ݮΔʁ •ςελʔνʔϜͰ΋ӡ༻Ͱ͖Δʁ λοϓϧͷE2EͷୈҰҹ৅
12. ϚχϡΞϧςετͱͷҧ͍ VS
13. ϚχϡΞϧςετͱͷൺֱ ϚχϡΞϧςετ E2Eςετ Ձ֨ ϦʔυλΠϜ ಋೖ޻਺ ϝϯςίετ ߴ ௕ খ ௿ ௿ ୹ େ ߴ
14. ϚχϡΞϧςετͱͷൺֱ •͢Ͱʹಋೖ͞ΕͯΔνʔϜ͕ଟ͍ •ॊೈੑ͕͋ΓյΕͣΒ͘ɺमਖ਼΋ίϛϡέʔγϣϯͷΈ •࣮ߦʹ͔͔Δۚમɺ࣌ؒίετ͕ߴ͍
 
 •ಋೖ࣌ͷςετέʔε࡞੒ʹ޻਺͕͔͔Δ •εΫγϣ΍ཁૉͷ༗ແΛ֬ೝ͢ΔͨΊյΕ΍͍͢ •मਖ਼͸Webίϯιʔϧ্ͷγϛϡϨʔλʔΛૢ࡞ •1αΠΫϧͷ࣮ߦίετ͕௿͍ͷͰߴස౓Ͱ࣮ߦՄೳ ϚχϡΞϧςετ E2Eςετ
15. ِཅੑͷൺֱ •ςετ୺຤ґଘͷෆ۩߹
 ex) Ҏલͷςετͷঢ়ଶ͕࢒͍ͬͯΔͱ࠶ݱ͢Δෆ۩߹ •ςετέʔεͷखॱΛաޡͨ͠··ใࠂ
 •πʔϧ্ͷෆ۩߹
 ex) γϛϡϨʔλʔͷҟৗऴྃ •ίϯςϯπͷϥϯμϜੑͷӨڹ •ਖ਼ޡ൑ఆͷॊೈੑͷܽ೗ ϚχϡΞϧςετ E2Eςετ
16. ِཅੑͷൺֱ •ςετ୺຤ґଘͷෆ۩߹
 ex) Ҏલͷςετͷঢ়ଶ͕࢒͍ͬͯΔͱ࠶ݱ͢Δෆ۩߹ •ςετέʔεͷखॱΛաޡͨ͠··ใࠂ
 •πʔϧ্ͷෆ۩߹
 ex) γϛϡϨʔλʔͷҟৗऴྃ •ίϯςϯπͷϥϯμϜੑͷӨڹ •ਖ਼ޡ൑ఆͷॊೈੑͷܽ೗ ϚχϡΞϧςετ E2Eςετ ݱঢ়ස౓͸ͪ͜Βͷ͕ ଟͦ͏
17. E2E΁ͷ׬શҠߦ͸ɺɺ •਺ඦʙ਺ઍ͋Δςετ߲໨ΛҠߦ͸ॳظίετ͕
 ͔ͳΓ͔͔Δ •׬શҠߦޙ΋มߋ͕ೖΔͨͼʹӡ༻ɺอक͕͔͔Δ •ِཅੑ΋ແࢹͰ͖ͳ͍
18. ਪ঑Ͱ͖ΔϢʔεέʔε ϚχϡΞϧςετ͔ΒE2EςετʹҠߦ͢ΔϢʔεέʔε •ϦϦʔεස౓Λ͍͋͛ͨ
 ྫʣαʔόʔͷΦϯσϚϯυϦϦʔεΛ࣮ݱ͢Δ
 → Өڹͷগͳ͍ϦϦʔε͸ϝΠϯػೳʹߜΓE2Eςετ → มߋ͕গͳ͘޻਺͕͔͔ΔςετΛࣗಈԽ → ಛఆͷέʔεͷΈΛࣗಈԽ •ϚχϡΞϧςετͷ޻਺ΛҰఆ·ͰԼ͍͛ͨ
 ྫʣςελʔνʔϜͷਓһͷ্ݶ •ಛघͳঢ়گͰൃੜ͢Δෆ۩߹͕ى͖ͯͳ͍͜ͱΛ୲อ
 ྫʣOpenAPI GeneratorͷόʔδϣϯʹͣΕ͕ͳ͍͔
19. •ϚχϡΞϧςετΛ׬શʹࣗಈԽͰ͖Δʁ •ਓ͕΍ΔΑΓਖ਼֬ʹςετͰ͖ͦ͏ʁ •UnitTest΍ଞͷςετͷ੹຿͕ݮΔʁ •ςελʔνʔϜͰ΋ӡ༻Ͱ͖Δʁ λοϓϧͷE2EͷୈҰҹ৅
20. ଞͷςετͷ੹຿͕ݮΔʁ ࢀߟจݙɿhttps://alisterbscott.com Unit Test UI Test E2E Test Manual Test
21. Ϣχοτςετ͸ෆཁ͔ʁ ࢀߟจݙɿhttps://autify.com/ja/news/for-mobile-launch Unit Tests Component E2E Manual ໢ཏੑ ޿ ҆৺ײ ߴ
22. Ϣχοτςετ͸ෆཁ͔ʁ ࢀߟจݙɿhttps://autify.com/ja/news/for-mobile-launch Unit Tests Component E2E Manual ෆ҆ఆ ίετߴ ϦʔυλΠϜ௕
23. UI Test Linter E2E Test ཧ૝ͷόάݕ஌ Syntax Highlight Static type check ༧໿ޠλΠϙ ม਺໊λΠϙ ܕม׵ϛε ෼ذߟྀ࿙Ε ը໘ભҠϛε APIͷύʔεΤϥʔ Unit Test / Integration Test ࢀߟจݙɿhttps://speakerdeck.com/orgachem/ios-apurierajian-shi-falseshe-ji-tosofalsexiao-guo
24. UI Test Linter E2E Test ཧ૝ͷόάݕ஌ Syntax Highlight Static type check ༧໿ޠλΠϙ ม਺໊λΠϙ ܕม׵ϛε ෼ذߟྀ࿙Ε ը໘ભҠϛε APIͷύʔεΤϥʔ Unit Test / Integration Test ࢀߟจݙɿhttps://speakerdeck.com/orgachem/ios-apurierajian-shi-falseshe-ji-tosofalsexiao-guo όάͷൃݟ͕஗Ε ੜ࢈ੑ͕Լ͕͍ͬͯ͘
25. UI Test Linter E2E Test ཧ૝ͷόάݕ஌ Syntax Highlight Static type check ༧໿ޠλΠϙ ม਺໊λΠϙ ܕม׵ϛε ෼ذߟྀ࿙Ε ը໘ભҠϛε APIͷύʔεΤϥʔ Unit Test / Integration Test ࢀߟจݙɿhttps://speakerdeck.com/orgachem/ios-apurierajian-shi-falseshe-ji-tosofalsexiao-guo E2EςετͰ୲อ͢΂͖ 
 ͸ΞϓϦʹด͡ͳ͍ڍಈ
26. ΞΠεΫϦʔϜίʔϯͷ༠࿭ ࢀߟจݙɿhttps://alisterbscott.com Unit Test UI Test E2E Test Manual Test
27. ϐϥϛουΛ໨ࢦ͢ ࢀߟจݙɿhttps://autify.com/ja/news/for-mobile-launch Unit Tests Component E2E Manual ίετͷߴ͍ςετ ͷ੹຿ΛݮΒͯ͘͠
28. •ϚχϡΞϧςετΛ׬શʹࣗಈԽͰ͖Δʁ •ਓ͕΍ΔΑΓਖ਼֬ʹςετͰ͖ͦ͏ʁ •UnitTest΍ଞͷςετͷ੹຿͕ݮΔʁ •ςελʔνʔϜͰ΋ӡ༻Ͱ͖Δʁ λοϓϧͷE2EͷୈҰҹ৅
29. ςετέʔε࡞੒ͷ೉қ౓ ࢀߟจݙɿhttps://autify.com/ja/news/for-mobile-launch
30. ςετέʔε࡞੒ͷ೉қ౓ جຊతʹ͸ίϯιʔϧ্ͰγϛϡϨʔλʔΛૢ࡞͢Δ͜ ͱͷΈͰςετΛ࡞੒Մೳ
31. •࡞੒ͷΈͰ͋Ε͹ӡ༻Մೳ •πʔϧͷػೳͱͯ͠Ͱ͖ͳ͍͜ͱ͸ΤϯδχΞ͕ղܾ ͢Δඞཁ͕͋Δ •ςετέʔεࣦഊ࣌ͷӡ༻ͱݪҼಛఆ͸೉қ౓͕͋Δ ςελʔνʔϜͰӡ༻Ͱ͖Δ͔ʁ
32. •ϥϯμϜͳจࣈྻೖྗ •ςετέʔεؒͰͷঢ়ଶͷҾ͖ܧ͗ •ϥϯμϜͳίϯςϯπͷબ୒
 ྫ) AutifyͰͰ͖ͳ͍͜ͱ
33. E2Eςετͷ໾ׂ·ͱΊ •Ҡߦɾอकίετ͕େ͖͘׬શҠߦ͸ݫ͍͠ •ϝΠϯϧʔϓ΍มߋͷগͳ͍ػೳ͔Βͷಋೖ͕͓͢͢Ί
 •ςετͷΧόʔൣғ͸޿͍͕ϑΟʔυόοΫ͕஗͍ •ςετ͝ͱͷਖ਼͍͠੹຿ͰόάΛݕ஌Ͱ͖ΔΑ͏ʹ͢΂͖ •πʔϧͷૢ࡞ࣗମ͸؆୯ͳͷͰ୭Ͱ΋࡞੒͸Մೳ •طଘͷػೳͰ͸ରԠ͖͠Εͳ͍ςετέʔε͕͋Γɺ
 ΤϯδχΞͷରԠ΋ඞཁ ϚχϡΞϧςετ͔ΒͷҠߦ E2Eςετͷ੹຿ E2Eπʔϧͷૢ࡞
34. 2. λοϓϧʹ͓͚Δ
 E2Eςετͷಋೖ
35. λοϓϧE2E ϩʔυϚοϓ CICD؀ڥͷߏங ϝΠϯϧʔϓͷγφϦΦӡ༻ ಛఆέʔεͰͷE2E׆༻ ϚχϡΞϧςετͷࣗಈԽ ←ΠϚίί
36. λοϓϧE2E ϩʔυϚοϓ CICD؀ڥͷߏங ϝΠϯϧʔϓͷγφϦΦӡ༻ ಛఆέʔεͰͷE2E׆༻ ϚχϡΞϧςετͷࣗಈԽ ←ΠϚίί
37. CICD؀ڥͷߏங ·ͣ͸ΞϓϦͷߋ৽ʹΑͬͯࣗಈͰςετ࣮ߦ͞ΕΔαΠΫϧ Λͭ͘Δ mainϒϥϯν΁ͷPush, ϦϦʔεϒϥϯν࡞੒࣌ Github → Bitrise → Autify ·ͣ͸Ϣʔβͷ৽نొ࿥ τϦΨʔ ϫʔΫϑϩʔ ࣮ߦςετ
38. Bitrise্Ͱͷઃఆ ެࣜεςοϓ͕ར༻Ͱ͖ΔͨΊɺઃఆ͕؆୯
39. λοϓϧE2E ϩʔυϚοϓ CICD؀ڥͷߏங ϝΠϯϧʔϓͷγφϦΦӡ༻ ಛఆέʔεͰͷE2E׆༻ ϚχϡΞϧςετͷࣗಈԽ ←WIP
40. ϝΠϯϧʔϓγφϦΦ αʔόʔͷΈͷϢʔβʔӨڹͷͳ͍૝ఆͷϦϦʔε࣌ʹϝΠ ϯͷػೳͷಈ࡞୲อ͕Ͱ͖Δঢ়ଶ 1. ঁੑͰͷ৽نొ࿥ 2. ᶃͰొ࿥ͨ͠ঁੑͰ͍͍͔΋ɺ͍·͍ͪ 3. ᶃͰొ࿥ͨ͠ঁੑͰλϒόʔͷ֤λϒͷදࣔ 4. ᶃͰొ࿥ͨ͠ঁੑͰஉੑ1ʹ͍͍͔΋ 5. உੑ1ͰᶃͰొ࿥ͨ͠ঁੑͱϚον͠ɺϝοηʔδૹ৴ 6. ᶃͰొ࿥ͨ͠ঁੑͰϝοηʔδͷฦ৴ 7. ᶃͰొ࿥ͨ͠ঁੑͰୀձ ର৅γφϦΦ
41. ԼهͷσόοάػೳΛ༻ҙ 1. ࠷৽ͷE2EͰ࡞੒ͨ͠ঁੑʹϩάΠϯ γφϦΦؒͰϩάΠϯ৘ใΛҾ͖ܧ͛ͳ͍ͨΊ؅ཧը໘ APIͰϩάΠϯ 2. உੑ1ʹର͍͍͔ͯ͠΋ΛૹΔ ϑϦοΫର৅͸ϥϯμϜੑ͕͋ΔͨΊɺର৅Ϣʔβʔʹ ͍͍͔΋ΛૹΔσόοάػೳ͕ඞཁ ઓུᶃ ઐ༻ͷσόοάػೳΛ༻ҙ
42. ಛఆͷػೳͷແޮԽͳͲɺE2EςετதʹϩδοΫͷ෼ذ Λ࡞Δ͜ͱ͕Ͱ͖ΔΑ͏ಠࣗεΩʔϚΛ࡞੒ ઓུᶄ E2E༻ͷಠࣗεΩʔϚ var isAvailable: Bool { #if E2E // E2Eςετத͸ৗʹfalse return false #else // Feature Flagʹઃఆ͞Εͨ஋Λฦ͢ return remoteConfig[.isEnable] #endif }
43. ಉ͡Ϣʔβʔ͕Կਓ΋࡞੒͞Εͨ··ʹͳΒͳ͍Α͏ʹ ৽نొ࿥ͤ͞ΔγφϦΦ͸ୀձͤ͞ΔγφϦΦ΋ؚ·ͤΔ ઓུᶅ ຖճγφϦΦͰୀձͤ͞Δ
44. ·ͣ͸গͳ͍γφϦΦͰӡ༻Λ·Θ͠ɺϝϯόʔؒͰͷ मਖ਼ํ๏΍ɺݪҼಛఆͷӡ༻εΩϧΛ޲্ͤ͞Δ ઓུᶆ ӡ༻ͷ஌ݟΛͨΊΔ
45. ݁ՌΛSlackʹ௨஌͢Δػೳ͸Autifyʹ͋Δ΋ͷͷɺ ʮ୭͕͍ͭͲͷมߋΛىҼʹ࣮ͯ͠ߦͤͨ͞ςετ͔ʁʯ ͷ৘ใ͕ͳ͍ͨΊςετ݁ՌͷϋϯυϦϯά͕՝୊ͩͬͨ → E2EςετΛCI͔ΒτϦΨʔͨ͠ࡍʹSlackʹ΋௨஌ ઓུᶇ ςετ։࢝࣌ʹCI͔Β௨஌
46. λοϓϧE2E ϩʔυϚοϓ CICD؀ڥͷߏங ϝΠϯϧʔϓͷγφϦΦӡ༻ ಛఆέʔεͰͷE2E׆༻ ϚχϡΞϧςετͷࣗಈԽ ←WIP
47. ಛఆέʔεͰͷE2E׆༻ ΫϥΠΞϯτɺόοΫΤϯυؒͰOpenAPI Generator͕ੜ੒ ͨ͠ґଘϥΠϒϥϦͷόʔδϣϯ͕ͣΕ͍ͯͳ͍͜ͱΛ୲อ ։ൃதͷػೳ͕Feature FlagʹΑͬͯఏڙ͞Ε͍ͯͳ͍͜ͱ Λ֬ೝ ΫϥΠΞϯτ⁶αʔόؒͷόʔδϣϯಉظ ։ൃதͷػೳ
48. λοϓϧE2E ϩʔυϚοϓ CICD؀ڥͷߏங ϝΠϯϧʔϓͷγφϦΦӡ༻ ಛఆέʔεͰͷE2E׆༻ ϚχϡΞϧςετͷࣗಈԽ ←WIP
49. ϚχϡΞϧςετͷࣗಈԽ ݱࡏϚχϡΞϧςετதͷ •มߋ͕গͳ͘ӡ༻ίετ͕௿͍߲໨ •ςελʔ͕֬ೝʹ࣌ؒΛ͔͚͍ͯΔՕॴ Λର৅ʹϚχϡΞϧςετͷςετέʔεΛચ͍ग़͠ɺ ҠߦΛ໨ࢦ͍ͯ͠·͢
50. ·ͱΊ 1.E2Eςετͷ໾ׂ E2EͱϚχϡΞϧςετͷҧ͍ / ଞςετͱͷద੾ͳ࢖͍෼͚ 2.λοϓϧʹ͓͚ΔE2Eςετͷಋೖ ·ͣ͸ϝΠϯϧʔϓ͔Β / ӡ༻ྗΛຏ͘ 3.ར༻্ͷ՝୊ͱͦͷղܾํ๏ πʔϧΛσόοάػೳͰΧόʔ / E2E༻ͷಠࣗεΩʔϚ