AutopilotによるMagicPodの導入範囲拡大と運用中の失敗事例

【オンライン】MagicPodミートアップ　2026.02.27　19:00-20:45　資料
Autopilotによって自動化の導入ハードルがどのように下がったのか、その具体的な効果と運用上の所感についてお話しします。
https://magicpod.com/events/entry-1091/

Transcript

1. AutopilotによるMagicPodの導⼊範囲拡⼤ と運⽤中の失敗事例
2. 発表者 - 株式会社くふうカンパニー 品質向上部   - 岡 浩司 - QAエンジニア経験 - モバイルアプリ 約13年 - Webアプリ 約4年 - MagicPod歴 - 約2年 ↑Dalle3で作成 2
3. アジェンダ - 現在の運⽤状況 - 過去の状況と課題 - Autopilotでメンテナンス⼼理的障壁が下がった - ⼀度諦めた導⼊をAutopilotで解決 - メンテナーの⺠主化への取り組み(道半ば) - うまくいってないこと - まとめ 3
4. 2026年2⽉現在 MagicPod運⽤状況 くふう トクバイ アプリ くふう アカウント くふう Zaim アプリ 2021/6 ~ 2025/12 ~ モバイルアプリ  スタンダードプラン オプション + プロジェクト2 + 追加端末1 外部クラウド実機 + SauceLabs (iOSの み⼀部利⽤） 4 構成 実⾏契機 CI組み込み スケジュール実⾏ ⼿動でキック 適⽤対象
5. 〜2024年時点 統合前 くふう トクバイアプリ MagicPodを導⼊‧運⽤済 くふう Zaimアプリ 別サービスでE2Eテスト 2025年1⽉〜 統合 どのサービスも癖はあるので寄せていきたい。 使いやすいし、実⾏回数の制限がなく運⽤しやすいのでMagicPodが第⼀候補 5
6. 課題 1. メンテナーが特定の⼈員に偏っており、対象を増やしてもメンテできない‧継続性 がない問題 2. アプリ内ブラウザから認証基盤を開いた時にMagicPodの要素選択モードでうまく 要素を選べない問題があり致命的である →別サービスではできてたのでMagicPodやめるのも選択肢       6
7. 命令を覚えなくてもテスト構築できる 最低限命令くらい覚えないと厳しい まず、QAメンバーでトリアージ 後⽇対応時間確保して対応 ↓ 命令覚えてなくても修正できることもある エラー⾒つけたらまずリトライして考える Autopilotに直させてみたりできる 7
8. AutoPilot Beta版でブロッカーが解消した Autopilot登場前 (2024年7⽉)  アプリ内ブラウザ経由でログイン操作が 安定して⾏えない。 →⼀度断念！！ Autopilot (Beta) 登場後 (2025年7⽉) 「メールアドレスでログインまでスクロールして、メール アドレス、パスワードを入力するステップを追加して」 →雑な指示で実装できた。安いしヨシ！ https://note.com/happy_ektoji1609/n/n5419328548de 8
9. メンテナー⺠主化の兆し 失敗時：QA+開発者どちらもリトライ 修正：Geminiでの分析。AutoPilotも併⽤ 振り返り：⼀緒にヘルススコア⾒る 失敗時：QAだけリトライ 修正：経験依存 振り返り：QAがレポート提出 9 → マニュアル拡充→   →AI活⽤→ 　→運用フォロー→
10. AutoPilotに全て任せられるようになったか。 否 - FlakyTest≠ 0 - 実装上のID追加が有効なケース - ロケータ⾃分で書き換えないと動かないケース - シミュレータだけで確定失敗するがSauceLabsでは動くケース - 共有Step部分に未対応 - ⼿作業で直している。作り直して共有Step作るのも視野 - なぜか最後にStep1がでてきて失敗しつづける実装ミス - (プロセス再起動)(アプリのデータ初期化)コマンドではなく、(プロセ ス再起動)のまま直してくれなかった - 失敗した実⾏結果分析はGeminiも併⽤ - Appuimログ、端末ログをGeminiに渡して解説させる等もある 10
11. まとめ AutoPilotは全てを解決しません。 それでもテストのメンテナーの⺠主化に貢献してくれています。 積極的に試してみてください。 （クレジット消費量は気になるけど） 最近MCPサーバーがテストケース作成にも対応したのでますます期待 11