競プロ思考でE2Eテストを成功させる

2024年9月27日に開催された【estie × MagicPod】 競技プログラマーとソフトウェアテスト での発表資料です。

Transcript

1. 競プロ思考でE2Eテストを成功させる 競技プログラマーとソフトウェアテスト
2. 自己紹介 依田和樹 from MagicPod 開発現場のためのプロダクトを開発したくて入社 大学院入試の対策に競プロを始めたら人間関係に亀裂を生じた
3. Web & モバイルアプリのE2Eテスト自動化SaaS 柔軟性とメンテナンス性が強み ノーコードで簡単にテスト作成
4. QA組織が推進しているMagicPod を使ったE2Eテスト自動化の現状を 整理してみた COTOHA Call Centerの開発における 自動化の取り組みについて Gunosyでテスト自動化ツール 「MagicPod」を活用している話 QCDグループで使っている自動テスト ツール（MagicPod編） クラシルリワードにおける 自動テストツール MagicPod の導入事例 E2E自動テストツール 「MagicPod」のススメ 利用ユーザー様のブログ 会社紹介
5. 今日のテーマ 競プロの思考がE2Eテストの成功に 役立つことを伝えたい
6. 本番同等の環境で、画面を操作してシステム全体を通しての動作をテストする E2Eテストとは E2Eテストのすすめ Demo video
7. ユニットテストではできないような検証が自動化できる E2Eテストは強力に開発を支える E2Eテストのすすめ ユーザーストーリーの検証 UIのリグレッションテスト ブラウザ互換性の検証 パフォーマンステスト
8. E2Eテスト運用の壁 運用を始めるとよくぶつかる壁がある 競プロの思考を活かして突破しよう！ 失敗したテストが 直されずに放置される 実行が遅くて 全てを自動化できない
9. テストケース UI インフラ DB サーバー アプリ E2Eテストすぐ失敗する問題 競プロ思考で問題を突破 システムのどこか一つにでも問題があると失敗する 失敗の原因を潰して安定させないと毎日の失敗通知を信用できなくなる
10. テストケース UI インフラ DB サーバー アプリ 不安定な作りだった…？ E2Eテストすぐ失敗する問題 競プロ思考で問題を突破 システムのどこか一つにでも問題があると失敗する 失敗の原因を潰して安定させないと毎日の失敗通知を信用できなくなる 前回実行のゴミデータが残 っていた…？ テスト中だけレスポンスが 遅かった…？ 広告が表示されてクリック が邪魔された…？
11. 問題の切り分けや原因箇所の特定を高速に行う力がE2Eテスト安定の鍵になる 競プロのデバッグ力でテストを安定させる 競プロ思考で問題を突破 競プロ勢には複雑なデバッグを高速に行う素地がある デバッグ力は簡単に身に付かない MagicPodでも日々失敗が検出されるが、全エンジニアが運用の安定化に貢献 経験は様々だが、多くが競プロ勢
12. E2Eの実行遅すぎ問題 競プロ思考で問題を突破 Excelに書き出した数千のテストケースを自動化するのは多分無理 かといって少なすぎても十分なテストができない
13. テストの効果を最大化しながら実行時間を最小化するために、テスト対象を分析・設計する 競プロの頭の使い方に近い (ヒューリスティクスの初期解を探す) 競プロの分析力でテストを分析・設計 競プロ思考で問題を突破 テストの効果を最大化するためのポイント ユーザーストーリーカバレッジ ビジネスにもたらす影響度 etc. 分析力は簡単に身に付かない 支払い処理まわりは重点的にテスト
14. まとめ E2Eテストは強力に開発者を支えてくれる メンテナンスコストや実行時間の問題はきっと起きる 競プロのデバッグ力・分析力を活かしてE2Eテストを成功させよう もちろんテストまわりの知識も重要