AmebaにおけるQAコスト改善施策〜テスト項目の整理とAutify for Mobileによる自動化

18年続くプロダクトで、莫大になったQAコストにどう向き合って行くのか。
Amebaネイティブチームでの取り組みをご紹介させていただきます。

Transcript

1. $"TXJGU
   4PVTIJ5BOBLB(JUIVCTPTVJJJJ5XJUUFS4PTTVJ@4XJGU
   "NFCBʹ͓͚Δ2"ίετ
   վળࢪࡦ
   ςετ߲໨ͷ੔ཧͱ"VUJGZGPS.PCJMFʹΑΔࣗಈԽ
   

   View Slide

2. "CPVU.F
   w 4PVTIJ5BOBLB
   w ೥αΠόʔΤʔδΣϯτ৽ଔೖࣾ
   w "NFCBͷJ04ΤϯδχΞ
   w ౦ژग़਎
   w ํݴΛ΋Β͍΍͍͢ɺೣͷಈըؑ৆͕޷͖
   w Ֆค঱͕ࠅۭ͗ͯ͢ؾਗ਼ড়ػͷ͋ΔՈʹҾ͖᝷Γத
   

   View Slide

3. ΞδΣϯμ
   w "NFCBͷ2" 2$
   ίετʹ͍ͭͯ2$ʜ2VBMJUZ$POUSPM
   w 2$߲໨੔ཧ
   w "VUJGZGPS.PCJMFͷಋೖ
   w ·ͱΊ
   

   View Slide

4. "NFCBͷ2$ίετʹ͍ͭͯ
   

   View Slide

5. ·ͣ͸2$ϑϩʔʹ͍ͭͯ੔ཧ
   

   View Slide

6. λεΫ؅ཧπʔϧʮ"TBOBʯʹͯɺςετ؍఺Λهࡌͷ͏͑ʮ2$ΞϦʯΛબ୒
   2$νʔϜ͸ɺʮ2$ΞϦʯͷ"TBOBνέοτΛ֬ೝ͠ςετ߲໨Λ࡞੒
   ΤϯδχΞਞ͸্هͰ࡞੒͞Εͨςετ߲໨ΛϨϏϡʔ
   2$νʔϜ͸ɺϨϏϡʔΛड͚ͨςετ߲໨ΛݩʹςετΛߦ͏
   ࠓ·Ͱߦ͖ͬͯͨςετ طଘςετ
   ͷ༏ઌ౓4 NBY
   ߲໨΋ςετ͢Δ
   ্هͱ͸ผͷαΠΫϧͰɺ༏ઌ౓" #ͷ߲໨Λςετ
   

   View Slide

7. ՝୊͕ݟ͖͑ͯͨͷ͸ɺ࣍ͷϑϩʔ
   

   View Slide

8. λεΫ؅ཧπʔϧʮ"TBOBʯʹͯɺςετ؍఺Λهࡌͷ͏͑ʮ2$ΞϦʯΛબ୒
   2$νʔϜ͸ɺʮ2$ΞϦʯͷ"TBOBνέοτΛ֬ೝ͠ςετ߲໨Λ࡞੒
   ΤϯδχΞਞ͸্هͰ࡞੒͞Εͨςετ߲໨ΛϨϏϡʔ
   2$νʔϜ͸ɺϨϏϡʔΛड͚ͨςετ߲໨ΛݩʹςετΛߦ͏
   ্هͱ͸ผͷαΠΫϧͰɺ༏ઌ౓" #ͷ߲໨Λςετ
   ࠓ·Ͱߦ͖ͬͯͨςετ طଘςετ
   ͷ༏ઌ౓4 NBY
   ߲໨΋ςετ͢Δ
   

   View Slide

9. ςετ߲໨ͷཻ౓͸ʁ
   

   View Slide

10. ςετ߲໨ͷཻ౓ ྫ
    
    ςετ߲໨
    େ߲໨
    ىಈ࣌
    
    த߲໨
    

    ϩάΠϯ
    
    খ߲໨ (PPHMF
    
    ςετ߲໨ খ߲໨ *OTUBHSBN
    
    ςετ߲໨ খ߲໨ 5XJUUFS
    
    ςετ߲໨
    த߲໨
    ձһొ࿥
    
    খ߲໨ (PPHMF
    
    ςετ߲໨ খ߲໨ *OTUBHSBN
    
    ςετ߲໨ খ߲໨ 5XJUUFS
    
    

    View Slide

11. طଘςετͷ߲໨਺Λࢉग़
    

    View Slide

12. 4͚ͩͰ΋ΊͪΌΊͪΌଟ͍
    ༏ઌ౓ 4 " #
    جຊػೳ
    ϗʔϜ
    ອը
    ݟ͚ͭΔ໘
    هࣄ໘
    ϑΥϩʔ໘
    "NFCBαʔϏεҰཡ
    ϒϩά؅ཧ
    ΤσΟλ
    ߹ܭ
    ˞4ʜִिͰ࣮ࢪ
    

    View Slide

13. 2$νʔϜ͕ఆٛͨ͠༏ઌ౓Λɺ
    ΤϯδχΞαΠυͰ࠶ఆٛ͠Α͏
    

    View Slide

14. 2$߲໨ͷ੔ཧ
    

    View Slide

15. 4 "NFCBΞϓϦʹ͓͍ͯඞཁෆՄܽͳػೳɻίΞػೳɻ
    " ִिɾ݄Ͱͷ֬ೝɻओཁػೳ͕ͩɺͳͯ͘΋ϒϩάͷಡΈॻ͖͸Ͱ͖Δɻ
    # 2ʹ̍౓ͷ֬ೝɻαϒػೳ
    "S طଘςετ͔Β͸֎͢ɻه࿥ͱͯ͠࢒͓ͯ͘͠༻ɻ
    ײ֮஋ͰৼΓ෼͚͍ͯͨ༏ઌ౓Λ࠶ఆٛ
    

    View Slide

16. ༏ઌ౓ 4 " #
    جຊػೳ
    ϗʔϜ
    ອը
    ݟ͚ͭΔ໘
    هࣄ໘
    ϑΥϩʔ໘
    "NFCBαʔϏεҰཡ
    ϒϩά؅ཧ
    ΤσΟλ
    ߹ܭ
    ༏ઌ౓ 4 " #
    جຊػೳ
    ϗʔϜ XJQ
    
    ອը
    ݟ͚ͭΔ໘ XJQ
    
    هࣄ໘ XJQ
    
    ϑΥϩʔ໘ XJQ
    
    "NFCBαʔϏεҰཡ
    ϒϩά؅ཧ
    ΤσΟλ
    ߹ܭ
    ߲໨੔ཧલ ߲໨੔ཧޙ XJQ
    
    
    

    View Slide

17. 4߲໨ʹ͍ͭͯ͸େ෼ճͤΔΑ͏ʹͳͬͨ
    J04͸·ͩల։લͳͷͰɺઌߦ͍ͯ͠Δ"OESPJEΛࢀߟʹ͢Δͱɻɻ
    શମͷ߲໨਺͸มԽ͕গͳ͍͕ɺ4߲໨͕ճͤΔΑ͏ʹͳͬͨ͜ͱͰ
    2$%'ͷ͏ͪ2 2VBMJUZ
    ͕վળ͞Εͨͱ͍͑Δ
    ݁Ռ
    

    View Slide

18. ͨͩɻɻɻ
    

    View Slide

19. શମͷ߲໨਺͸ґવͱͯ͠ଟ͍ͷͰɺ
    2$ʹґଘ͍ͯ͠Δςετ߲໨ΛࣗಈԽ͍ͨ͠
    ՝୊
    

    View Slide

20. "VUJGZGPS.PCJMFͷಋೖ
    

    View Slide

21. "VUJGZGPS.PCJMFͱ͸
    w ϦάϨογϣϯςετͷࣗಈԽ
    w ૢ࡞Λه࿥͢Δ͜ͱͰɺ؆୯ʹςετͷ࣮ߦ͕Ͱ͖Δ
    w ϊʔίʔυ
    w ؀ڥม਺͕ઃఆՄೳ
    w ը૾ೝࣝʹΑͬͯɺϏδϡΞϧϦάϨογϣϯςετ͕Մೳ
    

    View Slide

22. γϛϡϨʔλΛૢ࡞͠ɺςετϑϩʔΛه࿥Ͱ͖Δ
    ૢ࡞͝ͱʹ
    ه࿥
    

    View Slide

23. ಋೖ͢Δ໨త͸ʁ
    

    View Slide

24. खಈςετΛݮΒ͠ɺ
    গͳ͍ίετͰఆৗతʹ඼࣭Λ୲อ͢Δ͜ͱ
    "VUJGZͷ೥ؒίετࢼݧ࡞੒ίετ2$ͷϦάϨογϣϯ֬ೝίετ
    ίετͷ૯ྔ͸૿͑Δ͕ʜ
    

    View Slide

25. ಋೖʹ͓͚Δ஫ҙࣄ߲
    

    View Slide

26. ؀ڥม਺Λ༻͍ͯɺΞϓϦ؀ڥΛݻఆ͢Δඞཁ͕͋Δ
    ϑϥάʹΑͬͯϙοϓΞοϓ͕ग़ͨΓग़ͳ͔ͬͨΓ
    νϡʔτϦΞϧ͕ग़ͨΓग़ͳ͔ͬͨΓ
    มߋՄೳੑͷ͋Δ؀ڥ͸ɺࣗಈςετͷࣦഊΛট͘
    ˞αʔόʔଆͰݻఆ͞Εͨ؀ڥΛ࡞Γɺ&&ςετΛ͢Δͷ͕ཧ૝͕ͩɺ
    ίετΛߟྀͯ͠؀ڥม਺º"1*4UVCͰਐΊΔ͜ͱʹͨ͠
    

    View Slide

27. ؀ڥม਺ͷ௥Ճ
    

    View Slide

28. "VUJGZGPS.PCJMFʹ؀ڥม਺Λ௥Ճ
    IUUQTIFMQBVUJGZDPNNPCJMFEPDTKBFOWJSPONFOUWBSJBCMFT
    

    View Slide

29. "VUJGZGPS.PCJMFʹ؀ڥม਺Λ௥Ճ
    IUUQTIFMQBVUJGZDPNNPCJMFEPDTKBFOWJSPONFOUWBSJBCMFT
    

    View Slide

30. IUUQTIFMQBVUJGZDPNNPCJMFEPDTKBFOWJSPONFOUWBSJBCMFT
    ؀ڥม਺Λ௥Ճ͢Δʹ͸࣍ͷίʔυΛ௥Ճ
    9DPEFʹ؀ڥม਺Λ௥Ճ
    

    View Slide

31. ಋೖͯ͠Έͯͷॴײ
    

    View Slide

32. w Ұ෦ͷૢ࡞ʹؔͯ͠͸γφϦΦ࡞੒͕׬ྃ͠ɺఆظςετ͕Ͱ͖͍ͯΔ
    w ؀ڥม਺͸ը໘͝ͱ΍ػೳ͝ͱͳͲͰ෼͚ͨํ͕΍Γ΍͍͢
    w ؀ڥΛݻఆ͢ΔͨΊͷ"1*4UVC࣮૷ίετ͕͔͔Δ
    w "1*4UVCؚΊɺ؀ڥͷ४උ͕Ͱ͖Ε͹γφϦΦΛ૊Ήͷ͸ίʔυϕʔεʹൺ΂ͯͣͬͱ؆୯
    w ϏδϡΞϧϦάϨογϣϯςετͷͨΊͷը૾ೝࣝਫ਼౓͸͜Ε͔Βʹظ଴
    w ҟৗܥͷखಈςετ͸ਖ਼ৗܥΑΓ΋େมͳͷͰɺࣗಈԽʹظ଴
    

    View Slide

33. ·ͱΊ
    

    View Slide

34. w ςετ߲໨ͷ༏ઌ౓͸ೝࣝΛ߹Θ͓ͤͯ͘΂͖
    w "VUJGZʹΑΔςετ࡞੒͸ɺίʔυͰ6*5FTUΛॻ͘ΑΓͣͬͱ؆୯
    w 6OJU5FTUΛαϘΔ΄Ͳ2$ίετ͕૿େ͍͖ͯ͠ɺճΒͳ͘ͳΔ
    w 6OJU5FTUΛॻ͖΍͍͢ϓϩμΫτʹ͢ΔͨΊʹ΋ɺ
    

    ઃܭ΍ςετ؀ڥͷ੔උ͸ͱͯ΋େࣄ
    

    View Slide