Firebase App Testing Agentで始めるAIベースの柔軟なE2Eテスト

by asmz

Slide 1

Slide 1 text

asmz.beer Firebase App Testing Agentで始める AIベースの柔軟な E2Eテスト 2025/9/29 AI Agentで変わるモバイルアプリ開発におけるテスト Akira Shimizu / asmz

Slide 2

Slide 2 text

asmz.beer 誰なのか？ ● Akira Shimizu / asmz (@_asmz) ● https://asmz.beer/ ● 仙台在住 ● モバイルアプリエンジニア ○ iOS / Android / React Native / 最近はFlutter ● 株式会社フライヤー所属 ○ https://www.flierinc.com/ ○ モバイルアプリケーションG テックリード

Slide 3

Slide 3 text

asmz.beer flierとは ● 1冊10分で本の要約が読めるサービス ● 約4,000冊超の要約が読み放題 ● 通勤時間などスキマ時間で知識を吸収

Slide 4

Slide 4 text

asmz.beer アジェンダ ● E2Eテスト導入の動機付け ● MaestroによるE2Eテスト検討 ● Firebase App Testing Agentの利用 ● まとめ

Slide 5

Slide 5 text

asmz.beer E2Eテスト導入の動機付け

Slide 6

Slide 6 text

asmz.beer 現在のアプリチームの開発の流れ ● 1スプリント2週間 ○ 前半1週間：開発 ○ 後半1週間：QA、リリース準備 Sprint N Sprint N+1 Week N Week N+1 Week N+2 feature A feature B feature C feature D feature E QA, Release - feature A - feature B - feature C QA, Release - feature D - feature E Week N+3

Slide 7

Slide 7 text

asmz.beer 現在のアプリチームの開発の流れ ● QA（Quality Assurance）対象 ○ スプリント内で行ったコード変更箇所とその周辺差分無しアプリケーションコード全体新規追加コード変更コード QA対象

Slide 8

Slide 8 text

asmz.beer 現在のアプリチームの開発の流れ ● 課題感 ○ デグレチェックが不十分 ○ カバーするリソース不足差分無しアプリケーションコード全体新規追加コード変更コード QA対象外

Slide 9

Slide 9 text

asmz.beer 現在のアプリチームの開発の流れ ● 対応案（今回の動機付け） ○ E2Eテストでカバーしたい差分無しアプリケーションコード全体新規追加コード変更コード E2E対象 QA対象

Slide 10

Slide 10 text

asmz.beer MaestroによるE2Eテスト検討

Slide 11

Slide 11 text

asmz.beer Maestroとは ● https://maestro.dev/ ● E2Eテストフレームワーク ● iOS/Androidネイティブ、React Native、Flutterに対応

Slide 12

Slide 12 text

asmz.beer Maestroの特徴 ● Yamlによる直感的なテストシナリオ定義 ● アプリ起動 ● ボトムナビゲーションのBlogタブをタップ ● リスト内で「Kotlin」から始まる要素までスクロール ● その要素をタップ ● 左上のボタンを押して戻る

Slide 13

Slide 13 text

asmz.beer 実運用での課題 ● 起動フローが複雑な場合、それを突破するシナリオを用意するのが結構たいへん ○ 初回起動時オンボーディング ○ ホームへ辿り着くにはログイン必須 ○ 起動後不特定多数のポップアップ表示

Slide 14

Slide 14 text

asmz.beer 実運用での課題例）起動後不特定多数のポップアップ表示を閉じる OSによって表示が異なる場合はフロー分岐が必要発生しうるパターン全てで閉じるよう対処もう少しfuzzyにやりたい気持ち...

Slide 15

Slide 15 text

asmz.beer Firebase App Testing Agentの利用

Slide 16

Slide 16 text

asmz.beer Firebase App Testing Agentとは https://firebase.google.com/docs/app-distribution/android/app-testing-agent?hl=ja ● Gemini in Firebaseがベース ● 自然言語で定義したテストケースをAI Agentが理解し、動作をシミュレートしてくれる自動テストツール ● 現在プレビュー版でAndroidのみサポート

Slide 17

Slide 17 text

asmz.beer 自然言語によるテストケース作成目標：テストエージェントが行うべき操作を記述ヒント：テストエージェントの理解を促す追加情報を提供成功基準：テストエージェントがステップを正常に完了したか判断する基準

Slide 18

Slide 18 text

asmz.beer 実行結果テストエージェントが各ステップでどういう動作をしたのかダイジェストで見れるテストのフル動画や全ログは GCSに保存されており、ここのボタンから行ける

Slide 19

Slide 19 text

asmz.beer これならfuzzyにやってくれるのでは ...？

Slide 20

Slide 20 text

asmz.beer 実験 ● 「起動後不特定多数のポップアップを表示」を再現 ○ Firebase In-App Messageを1つ表示 ○ モーダル表示、閉じたらアラート表示 ○ アラート閉じたらSnackBar表示

Slide 21

Slide 21 text

asmz.beer 対応前テストケース ● モーダル表示されると成功基準を達成できず失敗 6つの要素を見つけられずテスト失敗

Slide 22

Slide 22 text

asmz.beer テストケース編集ここの記述を追記モーダルやアラートがいくつ出るかは不確定なので細かい言及はせずfuzzy に記載

Slide 23

Slide 23 text

asmz.beer 対応後テストケース ● いい感じに突破してくれた！

Slide 24

Slide 24 text

asmz.beer 対応後テストケース

Slide 25

Slide 25 text

asmz.beer その他fuzzyにやってくれたこと ● １つくらいのモーダルなら今回のようなヒントがなくとも勝手に閉じてくれる ● 画面遷移時にエラーとなった時、勝手に戻ってリトライしてくれる

Slide 26

Slide 26 text

asmz.beer その他fuzzyにやってくれたこと ● 「画面を戻る」などの指示で、明確な画面要素を指定しなくても察して押してくれる ChromeCustomTabsのような自分で作っていない画面でも押してくれる

Slide 27

Slide 27 text

asmz.beer 今後改善を期待したいこと ● 同じケースでも結果が変わることがある（flaky） ○ 公式ドキュメントにも既知の問題として挙がっている ○ 複雑なタスクは複数の短いステップに分割すると精度が上がるとのこと

Slide 28

Slide 28 text

asmz.beer 今後改善を期待したいこと ● 妙なところで失敗する ○ 「ボトムバーのXXタブをタップしてXX画面へ遷移」 → 何度やってもXXタブの一つ右隣をタップする🤔 ○ 「ユーザ名、パスワードを入力して、ログインボタン押下」 → ユーザ名入力後にEnter押しちゃってログイン失敗

Slide 29

Slide 29 text

asmz.beer まとめ

Slide 30

Slide 30 text

asmz.beer まとめ ● Firebase App Testing Agentは、画面の状況に合わせてある程度柔軟に対応してくれる ○ 「どの順番で何が出るか分からない」といったUIフローの突破に一定の手応え ● 現状はまだテスト動作に不安定さが残る ○ 今後の改善に期待今後のアップデート次第ではモバイルE2Eテストのハードルを下げる新しい選択肢となるかも

Slide 31

Slide 31 text

asmz.beer まとめ ● チーム運用ではMaestroとFirebase App Testing Agentを併用 ○ QAビルド配布時 ■ Firebase App Testing Agentで自動テスト ● アプリ起動〜オンボーディング〜メイン機能までを自動で確認 ○ QA開始 ■ Maestro半自動テスト実行 ● オンボーディング突破後のアプリに対して手動でテスト開始、以降はシナリオに沿って網羅的に自動テスト

Slide 32

Slide 32 text

asmz.beer Enjoy, Engineering! 2025/9/29 AI Agentで変わるモバイルアプリ開発におけるテスト Akira Shimizu / asmz