犯人はE2Eテスト？ 並列実行で開発チームを救え！

Transcript

1. Copyright coconala Inc. All Rights Reserved. 犯人はE2Eテスト？ 並列実行で開発チームを救え！ DATA : 2025.09.04 株式会社ココナラ QAグループ Yuto SUZUKI
2. Copyright coconala Inc. All Rights Reserved. 鈴木 悠仁（まるちゃん） 株式会社ココナラ QAグループ QA開発チーム Team Manager • ココナラ入社4年目 • 自称“何でも屋” • マイブーム: ひとりサマータイム まえおき 0 2
3. Copyright coconala Inc. All Rights Reserved. 3 ココナラの事業内容 0
4. Copyright coconala Inc. All Rights Reserved. 4 Agenda 前提 問題発生🚨 そうだ、並列化しよう💡 1 2 3
5. Copyright coconala Inc. All Rights Reserved. • 2023年前半に本番障害流出率が ⤴ • 低減策として CUJに対するE2Eテストを整備 • 2023年9月にリリース前に E2Eテスト実行がルール化 前提 1 導入背景 5
6. Copyright coconala Inc. All Rights Reserved. 前提 1 通算30件以上の障害流出を阻止 🎉 6 Web Android iOS
7. Copyright coconala Inc. All Rights Reserved. Fin 7
8. Copyright coconala Inc. All Rights Reserved. 問題発生🚨 2 8 実は運用的な問題が ...
9. Copyright coconala Inc. All Rights Reserved. 問題発生🚨 2 9
10. Copyright coconala Inc. All Rights Reserved. 1. 全件実行 モバイルアプリ自体を改修したら実施 2. 最小限実行 バックエンドを修正したら実施 3. 最小限＋α実行 バックエンドを修正かつ広めに修正 問題発生🚨 2 E2Eテストの実行タイプ 10
11. Copyright coconala Inc. All Rights Reserved. 問題発生🚨 2 E2Eテスト実行時間 11
12. Copyright coconala Inc. All Rights Reserved. リリース頻度 🔄 • 1日に多いと5回以上 • リリース可能時間は10~18時 ◦ 金曜日は15時まで 問題発生🚨 2 リリースの特徴 12 リリースブロック 🚫 • 月に最低6日以上リリースブロック あり ◦ 期間明けにリリースが集中 テスト環境最新化時間 ⏰ • テスト環境の最新化が必要 ◦ 最大20分
13. Copyright coconala Inc. All Rights Reserved. 問題発生🚨 2 13 テスト 失敗！！ デプロイミ ス！！ 差込リリー ス！
14. Copyright coconala Inc. All Rights Reserved. 問題発生🚨 2 14 速 さ
15. Copyright coconala Inc. All Rights Reserved. そうだ、並列化しよう 💡 3 15
16. Copyright coconala Inc. All Rights Reserved. そうだ、並列化しよう 💡 3 16 並列化前（ iOS） mac2.metal maxWokers
17. Copyright coconala Inc. All Rights Reserved. そうだ、並列化しよう 💡 3 17 並列化後（ iOS） mac2.metal maxWokers mac2.metal maxWokers Shared
18. Copyright coconala Inc. All Rights Reserved. そうだ、並列化しよう 💡 3 18 並列化前（ Android） mac2.metal maxWokers
19. Copyright coconala Inc. All Rights Reserved. そうだ、並列化しよう 💡 3 19 並列化後（ Android） c5.metal maxWokers
20. Copyright coconala Inc. All Rights Reserved. そうだ、並列化しよう 💡 3 20 並列化をするうえで考慮した観点 1. 💰 → 極力安くしたい！ 2. OS別制約 → iOSはMacOS以外ではビルドできない！ 3. メモリー → 高ければ高いほど並列度が上がる！
21. Copyright coconala Inc. All Rights Reserved. そうだ、並列化しよう 💡 3 21 並列化前後の変化
22. Copyright coconala Inc. All Rights Reserved. そうだ、並列化しよう 💡 3 22 最終結果！
23. Copyright coconala Inc. All Rights Reserved. Fin 23