Slide 1

Slide 1 text

AutopilotによるMagicPodの導⼊範囲拡⼤ と運⽤中の失敗事例

Slide 2

Slide 2 text

発表者 - 株式会社くふうカンパニー 品質向上部   - 岡 浩司 - QAエンジニア経験 - モバイルアプリ 約13年 - Webアプリ 約4年 - MagicPod歴 - 約2年 ↑Dalle3で作成 2

Slide 3

Slide 3 text

アジェンダ - 現在の運⽤状況 - 過去の状況と課題 - Autopilotでメンテナンス⼼理的障壁が下がった - ⼀度諦めた導⼊をAutopilotで解決 - メンテナーの⺠主化への取り組み(道半ば) - うまくいってないこと - まとめ 3

Slide 4

Slide 4 text

2026年2⽉現在 MagicPod運⽤状況 くふう トクバイ アプリ くふう アカウント くふう Zaim アプリ 2021/6 ~ 2025/12 ~ モバイルアプリ  スタンダードプラン オプション + プロジェクト2 + 追加端末1 外部クラウド実機 + SauceLabs (iOSの み⼀部利⽤) 4 構成 実⾏契機 CI組み込み スケジュール実⾏ ⼿動でキック 適⽤対象

Slide 5

Slide 5 text

〜2024年時点 統合前 くふう トクバイアプリ MagicPodを導⼊‧運⽤済 くふう Zaimアプリ 別サービスでE2Eテスト 2025年1⽉〜 統合 どのサービスも癖はあるので寄せていきたい。 使いやすいし、実⾏回数の制限がなく運⽤しやすいのでMagicPodが第⼀候補 5

Slide 6

Slide 6 text

課題 1. メンテナーが特定の⼈員に偏っており、対象を増やしてもメンテできない‧継続性 がない問題 2. アプリ内ブラウザから認証基盤を開いた時にMagicPodの要素選択モードでうまく 要素を選べない問題があり致命的である →別サービスではできてたのでMagicPodやめるのも選択肢       6

Slide 7

Slide 7 text

命令を覚えなくてもテスト構築できる 最低限命令くらい覚えないと厳しい まず、QAメンバーでトリアージ 後⽇対応時間確保して対応 ↓ 命令覚えてなくても修正できることもある エラー⾒つけたらまずリトライして考える Autopilotに直させてみたりできる 7

Slide 8

Slide 8 text

AutoPilot Beta版でブロッカーが解消した Autopilot登場前 (2024年7⽉)  アプリ内ブラウザ経由でログイン操作が 安定して⾏えない。 →⼀度断念!! Autopilot (Beta) 登場後 (2025年7⽉) 「メールアドレスでログインまでスクロールして、メール アドレス、パスワードを入力するステップを追加して」 →雑な指示で実装できた。安いしヨシ! https://note.com/happy_ektoji1609/n/n5419328548de 8

Slide 9

Slide 9 text

メンテナー⺠主化の兆し 失敗時:QA+開発者どちらもリトライ 修正:Geminiでの分析。AutoPilotも併⽤ 振り返り:⼀緒にヘルススコア⾒る 失敗時:QAだけリトライ 修正:経験依存 振り返り:QAがレポート提出 9 → マニュアル拡充→   →AI活⽤→  →運用フォロー→

Slide 10

Slide 10 text

AutoPilotに全て任せられるようになったか。 否 - FlakyTest≠ 0 - 実装上のID追加が有効なケース - ロケータ⾃分で書き換えないと動かないケース - シミュレータだけで確定失敗するがSauceLabsでは動くケース - 共有Step部分に未対応 - ⼿作業で直している。作り直して共有Step作るのも視野 - なぜか最後にStep1がでてきて失敗しつづける実装ミス - (プロセス再起動)(アプリのデータ初期化)コマンドではなく、(プロセ ス再起動)のまま直してくれなかった - 失敗した実⾏結果分析はGeminiも併⽤ - Appuimログ、端末ログをGeminiに渡して解説させる等もある 10

Slide 11

Slide 11 text

まとめ AutoPilotは全てを解決しません。 それでもテストのメンテナーの⺠主化に貢献してくれています。 積極的に試してみてください。 (クレジット消費量は気になるけど) 最近MCPサーバーがテストケース作成にも対応したのでますます期待 11