スクリプトの先へ！AIエージェントと組み合わせる モバイルE2Eテスト

Maestro によるE2Eテストを運用する中で、テストシナリオの拡充に伴ってメンテナンスコストが跳ね上がる問題にぶつかりました。その解決策として、AIエージェントを活用するテスティングフレームワーク Arbigent を実際に試した結果を共有し、テストシナリオの特性に応じた使い分けの考え方を紹介します。

Transcript

1. スクリプトの先へ！ AIエージェントと組み合わせる モバイルE2Eテスト Ebisu.mobile #13 | 2026.03.10 naberyo (@error96num)
2. 2 自己紹介 naberyo @error96num STORES 株式会社 テクノロジー部門 モバイル開発本部 モバイルPOSグループ Android エンジニア Kotlin Multiplatform / Compose Multiplatform
3. 3 STORES モバイルオーダー 店舗向け注文管理アプリ（通称 キッチンディスプレイ） 注文受付 調理管理 提供管理 https://2025.droidkaigi.jp/timetable/944860/
4. 4 E2Eテストの導入状況 Maestro によるE2Eテスト 2025年末に導入、CIで自動実行中 E2Eテストの第一歩は踏み出した。ここからどう発展させるか？ maestro.mobile.dev
5. 5 テスト自動化の理想と現実 As-Is 10件 のスモークテストを自動化 最重要操作のハッピーパスのみ → To-Be: QAコストを削減 200件以上 のリグレッションテストを自動化 問題（ギャップ） E2Eテストを拡充したくても、メンテナンスコストがネックになる → 原因を分解すると、2つの課題が見えてきた
6. 6 課題1：UIのアップデートへの追従 手動テスト 「オーダーの商品をすべてタップする」 UIが変わっても記述を変える必要がない スクリプトベースの自動テスト tapOn(id="item_001") tapOn(id="item_002") tapOn(id="item_003") ... UIが変わると自動テストは簡単に壊れる IDやテキストに依存したスクリプトはUI → の変更に弱い 変化の多いプロダクトとの相性が悪い
7. 7 課題2：テストシナリオ間の依存関係管理 ログイン 注文受付開始 注文 注文取得 調理済みにする 提供済みにする → → → → → ※ お客様側操作 ↘ 注文キャンセル Maestro の設計思想との衝突 Maestro — では「各シナリオは独立して実行可能であるべき」 依存関係を宣言する仕組みがない 順序指定とシャーディング（並列実行）は排他的で併用不可
8. 8 Arbigent とは AI エージェント × Maestro のテスティングフレームワーク 根本的な違い：「手順」ではなく「ゴール」を書く Maestro（手順） tapOn: メールアドレス inputText: ... tapOn: パスワード inputText: ... tapOn: ログイン Arbigent（ゴール） 「email: ... password: ... でログインして」 github.com/takahirom/arbigent
9. 9 動作の仕組み 1 入力 UI ツリー + スクリーンショット をAIに渡す 2 判断 AIがゴール達成の ために次に何を すべきか判断 3 実行 Maestroの コマンドとして デバイスで実行 4 反復 結果を見て 次のアクションへ （ループ） AI → → が画面を見て判断 操作 結果を確認、のループでゴールを達成
10. 10 2つの課題に対する構造的な解 課題1 UIのアップデートへの追従 • → 自然言語でゴールを書く セレクタに依存しないのでUIの変化にAIが適応 課題2 テストシナリオ間の依存関係管理 • dependency フィールドで依存関係を明示的に宣言 • 依存関係を保ったまま並列実行（シャーディング）が可能
11. D E M O 「注文日時が古いオーダーから順に、含まれる商品をすべてタップし、 お客様に提供してください。 すべてのオーダーが「提供済み」タブに移動されるまで 続けてください。」 この指示だけで、AIが画面を見て判断しながら順次さばく
12. 20 ※ 倍速で再生
13. 13 確実性 vs 柔軟性 テストシナリオの特性に応じて使い分ける スクリプトで実行 ログイン • 変更が少ない • 失敗すると後続全てに影響 → 確実性を最優先 AIエージェントで実行 注文処理 • 入力データが毎回変わる • UIが頻繁にアップデートされる → 柔軟性を最優先
14. まとめ 1. 自動E2Eテストのメンテナンスコストの増大に直面 課題1 UI のアップデートへの追従 + 課題2 テストシナリオ間の依存関係管理 2. Arbigent は2つの課題に構造的に効く 自然言語ゴール + 依存関係の明示的宣言 3. 従来のスクリプトベースのテスト × AIエージェントの組み合わせ E2Eテストの発展に新しい道筋が見えてきた