MagicPodでモバイルアプリの”自動テスト”を最速で立ち上げよう

by hacomono Inc.

Slide 1

Slide 1 text

ソフトウェアテスト自動化カンファレンス2024 株式会社hacomono 森島諒　MagicPodでモバイルアプリの”自動テスト”を最速で立ち上げよう

Slide 2

Slide 2 text

2 Copyright hacomono Inc. All Rights Reserved. 　森島諒 / Ryo Morishima 株式会社hacomono CTO室QA部ワークスアプリケーションズにて製品開発やチームマネジメントに従事したのち、開発チームの開発生産性向上をミッションに自動テストなどに取り組む。テストを通した品質への興味が強くなり、その後MIXIにてQAエンジニアやスクラムマスターとして幅広く品質向上活動を経験し、2023年11月にhacomonoにSETエンジニアとしてjoin。E2E自動テストを中心とした品質向上活動に従事。コミュニティ「Scrum Masters Night!」の運営に参加中。自己紹介

Slide 3

Slide 3 text

hacomonoについて

Slide 4

Slide 4 text

No content

Slide 5

Slide 5 text

Conﬁdential About 5 会員管理・予約・振替・キャンセル・決済・請求管理・売上管理・債権管理入退館・EC・POS・本人認証カメラ・QRリーダー・総合フィットネスクラブ・ヨガ・ピラティス・パーソナルジム・24時間ジムフィットネスクラブ・屋外運動場・屋内運動場・体育館・水泳プール・学校・レジャー施設公共運動施設・Jリーグ（サッカー）・Bリーグ（バスケットボール）・野球チーム・サッカーチーム etc スポーツチーム・スイミングスクール・ダンス・バレエスクール・ゴルフスクール・テニススクール・カルチャースクール・空手・体操スクール・サッカースクール運動スクールウェルネス施設の手続きをすべてデジタル化

Slide 6

Slide 6 text

Slide 7

Slide 7 text

1. この発表について

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

2. MagicPodについて

Slide 12

Slide 12 text

12 Copyright hacomono Inc. All Rights Reserved. MagicPodについて AIテスト自動化プラットフォーム手軽に自動テストの立ち上げ・運用ができる ● テスト実行回数が無制限のため高頻度のフィードバックを実現可能 ● ヘルススコアの自動測定・提案により自動テストをサポート ● 月額利用からはじめられる料金体系 ● AIによる自動修復で壊れやすさを軽減 https://magicpod.com/

Slide 13

Slide 13 text

3. 自動テストを最速で立ち上げるフロー

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

4. 立ち上げのつまずき事例

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

22 Copyright hacomono Inc. All Rights Reserved. つまずき2. シミュレーター向けアプリが作れない ➔ 開発者と連携して Bitriseでビルドできるように最低限修正してもらう（ローカルの修正は工数上あと回しにした） ● ローカルでシミュレーター向けアプリをビルドしたらエラー ● Bitriseでシミュレーター向けアプリをビルドしたらエラー（実機のみで開発していたのでシミュレーターを利用してなかった）課題解決

Slide 23

Slide 23 text

Slide 24

Slide 24 text

24 Copyright hacomono Inc. All Rights Reserved. つまずき3. テスタビリティが低い ● テキストやロール指定で取得できない要素がある ● 指定しようとするとXPathが複雑になる ● 複雑になると直しづらく壊れやすい課題ダイアログ起動中にボタン名が重複してたり… 金額が複数箇所で表示されるテキストがないボタンがある ➔ 開発者と連携してプロダクトにaccessibilityIdentiﬁerをセットして要素を簡単に特定できるようにした解決

Slide 25

Slide 25 text

5. フローに込めた学び

Slide 26

Slide 26 text

Slide 27

Slide 27 text

27 Copyright hacomono Inc. All Rights Reserved. 計画・準備しましょう！いざ自動テスト！…の前に ● 予算はあるか？ ● どんな体制か？ ● 自動テストツールはなにか？ ● 連携する周辺ツールはなにか？ ● 実行する環境はどこか？ ● テストの端末はなにか？ヒト・モノ運用・フロー ● ツール利用に社内申請は必要か？ ● いつからはじめるか？ ● テスト実行頻度はどのくらいか？ ● テスト結果はどこに通知するか？

Slide 28

Slide 28 text

Slide 29

Slide 29 text

29 Copyright hacomono Inc. All Rights Reserved. 開発チームと協力できる体制を検討・相談開発チームの協力を得られると進行がスムーズ ● シミュレーター用のアプリの準備 ● CI/CDのワークフロー準備・連携 ● サーバサイドテスト環境の準備 ● Apple Developer Program の Teamに追加してもらう ● プロダクトのテスタビリティを上げる協力が必要になる例自動テストの体制の検討

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

32 Copyright hacomono Inc. All Rights Reserved. 一番簡単なテストを作成最初に作るテストは、とても簡単なアプリの基本操作程度それ以上はテストを増やしすぎない ● 簡単なテストを作って成功体験を積む ● 始めにテストを作りすぎるとメンテナンス不全に陥りやすい ● 基本操作でも自動テストは動くことを保証し続けてくれる ● 増やすタイミングは自動テストとして機能したあと理由

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

37 Copyright hacomono Inc. All Rights Reserved. ワークフローにMagicPodステップを追加 MagicPodのステップが用意されていて簡単に連携できる ● MagicPod API token ● Organization name ● Project name ● Test settings number ● WaitForResult ● DeleteAppAfterTest 設定項目 ➔ APIトークンをコピーしてセット ➔ MagicPodの組織名を入力 ➔ MagicPodのプロジェクト名を入力 ➔ テスト一括実行の番号を入力 ➔ テスト完了まで待機するか ➔ アップロードしたファイルを削除するかスケジュール実行のため「false」に設定削除の必要がなかったので「Not delete」に設定組織名もプロジェクト名も URLに使われている名前

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

6. 自動テスト運用の工夫について

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

45 Copyright hacomono Inc. All Rights Reserved. 朝会などの日次定例でテスト結果をチームで確認するだけ失敗は一緒に直したりしてその場で解消したり、課題を積んだりする習慣化するテストからの信頼できる高速なフィードバックを得たらフィードバックを元に行動する習慣をつける習慣化実践例：今日の実行結果確認タイムの導入 ➔ 朝会に自分が参加できないときも他の人が修正してくれるようになった