STFとAPPIUMを使ってテスト 工数を半分にした話

Minami Aoyama Night#2で発表した内容となります。

Transcript

1. STFͱAPPIUMΛ࢖ͬͯςετ ޻਺Λ൒෼ʹͨ͠࿩
2. ࣗݾ঺հ ▸ לౡ ▸ 2005೥ NAVITIME JAPAN ೖࣾ ▸ ௚ۙͷ͓࢓ࣄ ▸ ৐׵NAVITIMEͷAWSҠߦ ▸ શࣾతͳվળPJ ▸ झຯɿϥϯχϯάɺΰϧϑɺ໺ٿ
3. NAVITIMEαʔϏεͷ͝঺հ
4. τϥοΫΧʔφϏ ▸ ೔ຊॳʂτϥοΫ޲͚ΧʔφϏͷఏڙΛ։࢝
5. NAVITIMEτϥϕϧ 2016೥10݄ϦϦʔεʂ A
6. NAVITIMEτϥϕϧ
7. ANDROID޲͚ͷUIςετςε τΛࣗಈԽ͓ͨ͠࿩
8. UIςετࣗಈԽͷഎܠ ▸ ༷ʑͳαʔϏεΛϚϧνσόΠεʹରԠ Android/iOS߹Θͤͯ ໿ 46 छྨͷΞϓϦΛӡ༻
9. UIςετࣗಈԽͷഎܠ ▸ ΞϓϦϦϦʔεͷ౓ʹϦάϨογϣϯςετͷίετ͕ൃੜ ϦάϨογϣϯςετΛࣗಈԽ͢ΔࣄͰίετΛ࡟ݮ
10. ࢝Ίʹݕ౼ͨ͜͠ͱ ଞࣾͷϚωʔδυαʔϏεΛར༻͢Δʁ ▸ AWS Device FarmɺXamarin Test CloudɺGoogle test Lab Λར༻͢Δʁ ▸ ࣗࣾͰUIςετͷ࢓૊ΈΛߏங͢Δʁ
11. ϚωʔδυαʔϏεൺֱ AWS device farm Xamarin Test Cloud Google Cloud Test Lab ςετ୺຤ iOS:192छྨ Android:198छྨ iOS:໿1245୺຤ Android:1272୺຤ AsusɺHTCɺLGɺ MotorolaɺSamsungɺ Sonyͷ୺຤͕ར༻Մೳ αϙʔτOS iOSɺAndroidɺFire OS iOSɺAndroid Android αϙʔτ͍ͯ͠Δ framework AppiumɺCalabash AppiumɺCalabashɺ Xamarin UI TestɺEspresso instrumentɺRoboςετ
12. ॴײ ▸ ࠃ಺୺຤͕গͳ͍ ▸ ςετ࣮ߦ͕࣌ؒ௕͍ʢAWS Device Farmʣ ▸ UIςετͷ࣮ߦ͕೉͔ͬͨ͠ʢXamarin Test Cloudʣ
13. ݁Ռతʹ ࣗࣾͰUIςετͷ࢓૊ΈΛߏங ▸ ࣾ಺ʹ͋Δ༨৒୺຤Λར༻ ▸ ࣗલͰ༻ҙ͢ΔͷͰ௿ίετ ͱ Λ૊Έ߹ΘͤͨγεςϜΛߏங
14. APPIUMͱ͸ʁ ▸ εϚϗΞϓϦ޲͚ͷςετϑϨʔϜϫʔΫ ▸ iOS/Android྆ํʹରԠ ▸ ֤OSͷςετπʔϧΛϥοϓ͢ΔAPIαʔόʔɻAppium͕ ༻ҙ͢ΔAPIΛհͯ͠γϡϛϨʔλ/࣮ػʹରͯ͠ςετ͕࣮ ߦ͞ΕΔɻ
15. APPIUMͱ͸ʁ APPIUM ΫϥΠΞϯτ ϥΠϒϥϦ ςετίʔυ Mobile JSON Wire Protocol ͰAppiumAPIΛ࣮ߦ UiAutomatorͷϦϞʔτσόοΫػೳ Λ࢖ͬͯUIςετΛ࣮ߦ
16. STFͱ͸ʁ ▸ αΠόʔΤʔδΣϯτ͕ࣾ։ൃͨ͠πʔϧ ▸ ϒϥ΢β͔ΒAndroidͷ࣮ػʹରͯ͠ૢ࡞/ݕূ͢Δ͜ͱ͕ Ͱ͖Δɻ ▸ ը໘Ωϟϓνϟɺ୺຤ͷϦιʔεঢ়گɺϩά৘ใࢀর΋ϒϥ ΢β͔ΒՄೳ ▸ ୺຤ͷି͠आΓָ͕ɻฆࣦϦεΫ΋ݮΔɻ
17. γεςϜߏ੒ ςετ࣮ߦ αʔόʔ RSPEC STFαʔόʔ RUBY ɾtestίʔυ͸rubyͰ࣮૷ STFͷ remoteConnect APIΛհͯ͠ औಘͨ͠ΤϯυϙΠϯτʹରͯ͠ adb connectͰ઀ଓ ᶄadb connect ᶃremoteConnectAPI ɹᶅTest࣮ߦ
18. ࠔͬͨࣄ ▸ ೔ຊޠೖྗํ๏͕෼͔Βͳ͍ ▸ WebViewը໘ͷཁૉऔಘʹࣦഊ͢Δ ▸ Appium࣮ߦ؀ڥߏஙʹϋϚΔ
19. ೔ຊޠೖྗํ๏͕෼͔Βͳ͍ ▸ ΩʔϘʔυೖྗ͢Δࡍɺલճར༻͍ͯͨ͠IME͕σϑΥϧτ Ͱઃఆ͞ΕΔɻ
20. ೔ຊޠೖྗํ๏͕෼͔Βͳ͍ ରࡦ ▸ ςετ࣮ߦ͢ΔલʹGoogle೔ຊޠೖྗΛσϑΥϧτIMEʹ ઃఆ͢Δ͜ͱͰରԠ
21. WEBVIEWը໘ͷཁૉऔಘʹࣦഊ͢Δ ▸ WebViewը໘ͷཁૉऔಘʹࣦഊ͢Δɻ WebviewͷཁૉΛૢ࡞͢ΔҝͷɺContext੾ସ͑ॲཧʹͯΤϥʔ
22. WEBVIEWը໘ͷཁૉऔಘʹࣦഊ͢Δ ରࡦ ▸ ςετର৅୺຤಺ʹΠϯετʔϧ͞Ε͍ͯΔʮAndroidγε ςϜͷWebViewʯͷόʔδϣϯΛ࠷৽ʹ͢Δɻ ▸ AppiumαʔόʔʹΠϯετʔϧͨ͠chromedriverͷόʔ δϣϯΛ࠷৽ʹ͢Δɻ ▸ setWebContentsDebuggingEnabledʹtrueΛઃఆ͢Δɻ
23. APPIUM࣮ߦ؀ڥߏஙʹϋϚΔ ▸ Appium࣮ߦ؀ڥߏஙʙsampleςετίʔυ࣮ߦ·Ͱʹগ ͕͔͔࣌ؒͬͨ͠ɻ QA୲౰͕؆୯ʹ؀ڥߏஙͰ͖ΔΑ͏ͳ࢓૊ΈΛ࡞Γ͍ͨ
24. APPIUM࣮ߦ؀ڥߏஙʹϋϚΔ ରࡦ ▸ Appium࣮ߦ؀ڥΛDockerԽ͠·ͨ͠ɻ ▸ ࢀߟɿvbanthia/appium-docker-demo
25. ̦A୲౰ऀ޲͚ ϩʔΧϧ؀ڥͷߏ੒ਤ APPIUMαʔόʔ RSPEC /dev/bus/usb RUBY ɾVagrant্ͷUbuntuαʔόʔͰՔಇͤͨ͞Docker಺ʹAppiumαʔόʔΛཱͯΔ
26. VAGRANTΛ࢖ͬͨཧ༝ ɾDocker for MacɺDocker for Windows͸USB FilterʹରԠ͍ͯ͠ͳ͔ͬͨɻ ʢίϯςφ಺͔ΒUSBσόΠεΛೝࣝͰ͖ͳ͍ʣ Docker toolbox Docker for macɺDocker for windows
27. ςετ݁Ռը໘ ▸ લճͷςετ݁Ռͱͷࠩ෼Λදࣔ
28. DEMO
29. ϦάϨογϣϯςετ ࣗಈԽʹΑΔ੒Ռ
30. ੒Ռ ▸ खಈͰ࣮ࢪ͍ͯͨ͠ϦάϨογϣϯςετʢճؼςετʣͷ20%Λ ࣗಈԽͰ͖ͨɻ ▸ ෭࣍తͳޮՌͱͯ͠ɺςετ߲໨ͷݟ௚͠(ςετ߲໨ͷ࠷దԽ)Λ ߦͬͨࣄʹΑΓɺϦάϨογϣϯςετͷ޻਺͕൒෼ʹͳΓ·ͨ͠ɻ ▸ ҙਤ͠ͳ͍σάϨΛൃݟͰ͖Δɻ ▸ ো֐ݕ஌ΛૣΊΔɻ ▸ ྫɿձһొ࿥/ղআϑϩʔɺΞϓϦॳظॲཧ
31. ӡ༻ޙʹݟ͖͑ͯͨ՝୊
32. ՝୊ ▸ ςετίʔυ࡞੒ʹ͋Δఔ౓ϓϩάϥϜεΩϧ͕ඞཁ ▸ ਓʹΑͬͯ͸Ϛελʔ͢Δ·Ͱ͕͔͔࣌ؒΔ ▸ QA୲౰ऀ͚ͩͰӡ༻Λճ͢ͷ͸೉͍͠ɻΤϯδχΞͷα ϙʔτ͸ඞਢ ▸ AndroidΞϓϦˠChromeϒϥ΢βɺAndroidΞϓϦˠଞͷ AndroidΞϓϦͱ͍ͬͨΞϓϦέʔγϣϯ࿈ܞ෦෼ͷςετ ͸AppiumͰ͸Ͱ͖ͳ͍ɻ
33. ཧ૝తͳUIςετͷӡ༻ํ๏ ▸ શͯͷૢ࡞ΛࣗಈԽ͠Α͏ͱ͠ͳ͍ɻ ▸ ʮมΘͬͯ͸͍͚ͳ͍ʯը໘/ॲཧʹରͯ͠ςετ͢Δͱޮ཰త ▸ খ͞ͳ୯ҐͰςετ͢Δɻ ▸ ֎෦తͳཁ݅ʹґଘ͢ΔػೳͷࣗಈԽ͸༏ઌ౓ΛԼ͛Δɻ ▸ NAVIIMEͰͷྫɿӡߦ৘ใػೳɺौ଺৘ใػೳ ▸ ৗʹςετ͕੒ޭ͢ΔΑ͏ͳ؀ڥΛҡ࣋͢Δɻ ▸ ݕূ؀ڥͷWEBαʔόʔ͕ෆ҆ఆ
34. ࢀߟϦϯΫ ▸ openstf/stf ▸ vbanthia/appium-docker-demo ▸ stf-appium-example ▸ STFʹ઀ଓ͞Εͨ୺຤ʹappiumܦ༝Ͱςετ࣮ߦ͢Δ sampleίʔυ