Unity製モバイルアプリを自動テストする仕組みを作ってみた

11月21日にJaSST nano vol30で発表したスライドです

テスト自動化の成功事例を語ろう by T-DASH Advent Calendar 2023にも掲載しています。
https://qiita.com/advent-calendar/2023/t-dash02

Transcript

1. Unityアプリの GUIを自動テストする 仕組みを作ってみた uechan / Psychic VR Lab
2. 自己紹介 uechan 　　@uechang16 井之上 心也 趣味：音楽鑑賞、ポケモンカード 略歴： 2017年-2022年 大手メーカの品質保証部門で画像処理、セキュリティ関連のQA 2022年-現在 Psychic VR Labで「STYLY」の1人目QAとしてJoin JaSST nano初登壇です。 QAエンジニア歴7年です！ よろしくお願いします！！
3. XRプラットフォーム「STYLY」 現実の都市空間と連動した XRコンテンツの制作・配信を可能に STYLYには世界中の都市の 3Dデータが実装されており、これ を活用することで実空間と連動したコンテンツを 誰でも簡単に制作・配信することができます。
4. XRとは？ VR (仮想現実) MR (複合現実) AR (拡張現実) VR (仮想現実)
5. XRとは？ VR (仮想現実) MR (複合現実) AR (拡張現実) VR (仮想現実) XR
6. STYLYの動作デバイス AR/VR 作品制作 Webブラウザ Unityからのアッ プロード AR/VR 作品配信 VRゴーグル スマホ Web サイト
7. STYLYの動作デバイス 種別 デバイス名 PC VR Steam PC VR VIVEPORT(PC) スマートフォン Mobile/Android スマートフォン Mobile/iOS スマートフォン SATCH/Android スマートフォン SATCH/iOS VR ゴーグル Quest2 AR ゴーグル XREAL VR ゴーグル Pico Neo3 VR ゴーグル Pico4 VR ゴーグル VIVE Flow VR ゴーグル VIVE XR Elite 裸眼立体視ディスプレイ SR Display Web WebClient Web Studio
8. STYLYの動作デバイス AR/VR 作品制作 Webブラウザ Unityからのアッ プロード AR/VR 作品配信 VRゴーグル スマホ Web サイト
9. STYLYの動作デバイス AR/VR 作品制作 Webブラウザ Unityからのアッ プロード AR/VR 作品配信 VRゴーグル スマホ Web サイト スマホのテストに関するお話です。
10. ことの始まり
11. アプデの頻度が多い！ テスト対象が多い！ のに QAは1人しかいない！
12. ならば、、、 自動化するしかない！
13. リリースフロー 実装 PR出して レビュー後 マージ PRをまとめ リリースビル ドに QA リリース！ 🎉
14. リリースフロー 実装 PR出して レビュー後 マージ PRをまとめ リリースビル ドに QA リリース！ 🎉 ・実装者の動 作確認 ・Unity上の 単体テスト ・レビュー ・レビュー担当者 の動作確認 ・変更点に対する 機能/非機能テスト ・リグレッション テスト ・探索型テスト
15. リリースフロー 実装 PR出して レビュー後 マージ PRをまとめ リリースビル ドに QA リリース！ 🎉 ・実装者の動 作確認 ・Unity上の 単体テスト ・レビュー ・レビュー担当者 の動作確認 ・変更点に対する 機能/非機能テスト ・リグレッション テスト ・探索型テスト 同じテストケースを毎回行うリグレッションテストをPR発行時にできないか？ ※QA時のリグレッションテストを完全に無くすのではなく、負荷分散的な意味
16. 構築したフロー 1. PRが立ったタイミングでそのPRの自動ビルドを行う 2. 1で作ったビルドでGUIのリグレッションテストを回す 3. テスト結果がNGだった場合、PRのコメントに残す。
17. 開発者がPRを作成
18. 自動でPRの開発ビルドを作る
19. 作成した開発ビルドを用いて GUIのリグレッションテストを回す
20. GUIのリグレッションテストがNGだった場合 PRのコメントとしてテストレポートを残す
21. 自動テストシステム概要図
22. 自動テストシステム概要図 ※Cloud Build Unityで作られたアプリをビルドするための環境 Unity公式が提供している
23. 自動テストシステム概要図 ※Cloud Build Unityで作られたアプリをビルドするための環境 Unity公式が提供している ※self-hosted runner Github Actionsの実行をクラウドではなく 自分が用意した環境で実行できる仕組みのこと
24. 自動テストシステム概要図 ※Cloud Build Unityで作られたアプリをビルドするための環境 Unity公式が提供している ※self-hosted runner Github Actionsの実行をクラウドではなく 自分が用意した環境で実行できる仕組みのこと
25. 自動テストシステム概要図
26. 自動テストシステム詳細図 Mac book Pro ADB iproxy AirTest + poco WebDriver Agent
27. AirTestを選んだ理由 1. AppiumやAutifyなどではUnity製モバイルアプリの画面は 操作できないから 2. 画像でクリックだとレンダリングの関係でAndroid/iOS間での UI画像が使いまわせない！
28. AirTest + pocoだと・・・ UnityのGameObjectの名前を指定することでUI制御ができる！ StartButtonを押したいときは poco("StartButton").click() StopButtonを押したいときは poco("StopButton").click()
29. アプリとしてビルドされた 状態のテスト対象に GameObject名の指定で テストできるようになるのは Airtest+Pocoだけ！
30. その他にも。。。
31. AirTest + pocoの便利機能 オブジェクト名指定 poco("StartButton").click() 任意の文字が表示されているオブジェクトを指定 poco(text="Start!!").click() 任意のテクスチャ名のオブジェクトを指定 poco(texture="icon_start_button").click() 細かいことがわからなくてもAirtestIDEぽちぽちするだけでも テストスクリプトは組めちゃう！！
32. AirTest はテストレポートも出せる！(もちろん)
33. ということで。。。
34. リグレッションテストの 40%をPRでも実施できるように テストスクリプト作成中！ 項目数的には100項目を自動テストできるようにします。
35. 苦労した事と今の悩み • GithubActionsとAirtestの連携がめちゃくちゃ大変でした ◦ Airtest CLIが動かない！！ ◦ Android/iOS並列処理が難しい！！ ▪ Shell芸でなんとかしました • 謎にテストがfailする現象。。。。 ◦ 今も悩んでます ◦ 再試行すると直るやつ • Self-hosted runnerなので複数PRを同時に処理できない。 ◦ 開発が盛り上がっているとPRマージまで時間がかかる ▪ ビルドからテスト完了まで2時間30分はかかる
36. まとめ
37. まとめ • テスト工数削減などを主目的に ◦ リグレッションテストの自動化を行いました • Airtest + pocoはUnityアプリも自動テストできる！ • より詳しい技術的な話はQiitaにあります。 Unity製Android/iOSアプリのGUIを自動テストする仕組みを作ってみた