Secret sauce for improving developer experience: tackle flaky tests

「開発者体験向上に欠かせない不安定なテスト改善の秘訣」
LINE / LINE Fukuoka SETチーム 金子茉以

2023.03.30
LINE × Launchable - Developer Test安定化と高速化へのアプローチ
https://launchableinc.connpass.com/event/277667/

Transcript

1. 2023.3.30 開発者体験向上に⽋かせない 不安定なテスト改善の秘訣 Mai Kaneko
2. ⾃⼰紹介 ⽒名 : ⾦⼦茉以（Kaneko Mai） 会社 : LINE Fukuoka 所属 : 開発2室 SETチーム 役割 : Software Engineer in Test 担当プロジェクト : LINE Creators Market https://creator.line.me/ja/ Twitter : https://twitter.com/maturika_ne
3. 発表内容 安定化 ⾼速化
4. 発表内容 安定化 ⾼速化 安定化
5. 01 02 03 04 05 06 07 Contents LINEのSETがやっていること Flaky testとは Flaky testあるある Flaky testへの対応 Launchableを使った事例 Launchableを使った感想 まとめ
6. 以前のE2Eテストの実⾏状況 QA環境 本番環境 開発環境 Daily E2E テスト (約200テスト ケース) Daily E2E テスト (約80テストケー ス) 開発者へのフィードバックが遅い
7. 現在のE2Eテスト実⾏状況 QA環境 本番環境 開発環境 Daily E2E テスト 実⾏ Daily E2E テスト 実⾏ 早いフィードバックが可能 PR毎に E2E テスト実⾏
8. PR-Driven E2Eテスト ref. https://speakerdeck.com/line_devday2020/pull-request-driven-e2e-testing-with-kubernetes
9. 開発者への フィードバック 実⾏頻度 Flaky testの 発⾒頻度 遅い 1⽇ 1~2回 低い 早い 1⽇ 数⼗回 ⾼い After (Daily + PR-Driven) Before (Daily テストのみ) PR-Driven E2Eテスト 導⼊前後⽐較
10. Flaky test Flakyなテスト結果とは、 同じコードで合格と失敗の両⽅の結果 を⽰すテストである Googleのソフトウェアエンジニアリング ―持続可能なプログラミングを⽀える技術、⽂化、プロセス ⽵辺 靖昭 (監修), Titus Winters (編集), Tom Manshreck (編集), Hyrum Wright (編集), 久富⽊ 隆⼀ (翻訳), 2021, P.253, 訳注13より引⽤
11. Flaky test ⾃分が修正した内容とは関係ないテストがCIで落ちて困ったり、イライラすることはありませんか？ • E2Eテストは外部要因も絡むのでテストが不安定になりがち • ロングランしているサービスはユニットテスト数が多くなり、⽐例して不安定なテストも多くなる テストコードもテスト対象サービスのコードも変えていないのにもかかわらず、 ときどき失敗したりする不安定なテストのこと
12. Flaky testあるある① 放置されがち 再現性が低い→エラー状態を作るのが⾯倒→放置されがち Flaky testがあるとテスト結果を有効に活⽤できなくなる 最悪、誰もテスト結果⾒なくなってしまうことも
13. Flaky testあるある② リトライしがち テストをリトライする →テストが不安定なのかテスト対象サービスが不安定なのか不明 →サービスのバグを⾒落とす可能性ある
14. 実際の事例 E2Eテストが数回に1回失敗したが、 E2Eテストには問題がなくcache storageの⽅で問題があった 暗黙のリトライは本当の解決策ではない server cache storage 数回に1回失敗
15. Flaky testへの対応 Flaky test の発⾒ 膨⼤な時間と労⼒がかかる 原因調査 ＆修正 どのくらいの 頻度で発⽣する のか調査 修正確認
16. Launchable Flaky testのスコアを出してくれる
17. Launchable導⼊後 Flaky test の発⾒ 原因調査 ＆修正 どのくらいの 頻度で発⽣する のか調査 修正確認 Flaky test対応の⼤部分はLaunchableにおまかせができる！！
18. Launchableを使っての感想 • Flaky test対応楽になった • 導⼊簡単 • Documentわかりやすい • CLI (https://github.com/launchableinc/cli) 使いやすい • エラーメッセージで何が間違っているのかすぐわかる • さまざまなテストフレームワークに対応している • サポート⼿厚い • 複数のCIを使っているPR-Driven E2Eテストの複雑な環境にも適⽤できた • 改善要望を伝えると検討・実現してくれる
19. まとめ • PR-Driven E2EテストによりE2Eテスト実⾏回数が膨⼤に増えた • それに伴い、Flaky testが増えた • Flaky testは放置されがち、リトライしがちな傾向がある • 対応するのは⼤変 • Launchableを使うことで調査、修正確認などの⼿間が減らせた • 今後展望として • ユニットテストへの適⽤ • 他の機能を活⽤し効率的なテスト実⾏を⽬指す
20. THANK YOU