E2EテストのCIで可観測性の改善を考える

Transcript

1. E2EテストのCIで 可観測性の改善を考える 株式会社SHIFT) 森川知雄 E2EテストのCIで可観測性の改善を考える 2021.07.21 SHIFT EVOLVE Vol.2 1

2. 森川知雄(株式会社SHIFT ) 自動テストアーキテクト E2Eテストのツール開発や 調査・教育を担当している人 以前はSIでSeleniumのツール をゴリゴリ書いてました E2EテストのCIで可観測性の改善を考える 2

3. 本日はE2Eテスト屋から見た クラウドネイティブな アプローチについてお話します ※ E2Eテスト ∋ RT E2EテストのCIで可観測性の改善を考える 3

4. E2Eテストもクラウドネイティブに スケーラブルで堅牢な自動化 コンテナ × リモートGridでスケール クラウドCIでクリーンなテスト環境 テストコードはサーバレスでスケーラブルに レポートもクラウドにスタック E2EテストのCIで可観測性の改善を考える 4

5. レガシーな構成 E2EテストのCIで可観測性の改善を考える 5

6. クラウドネイティブな構成 E2EテストのCIで可観測性の改善を考える 6

7. だがしかし E2EテストのCIで可観測性の改善を考える 7

8. E2Eテストは壊れやすい 「モダンでスケーラブルな構成で自動化」 をしてもE2Eテストは不安定で壊れがち だってE2Eだもの... E2EテストのCIで可観測性の改善を考える 8

9. 壊れたらどうしてる？ 現状 調査してテストコード修正して再実行 時間がかかるし、マンパワー必要 工数に含まれないことも E2EテストのCIで可観測性の改善を考える 9

10. 壊れたらどうしてる？ 現状 調査してテストコード修正して再実行 時間がかかるし、マンパワー必要 工数に含まれないことも 理想 誰かやってくれ... 自立的に直ってほしい or 調査してほしい

    E2EテストのCIで可観測性の改善を考える 10

11. ただでさえ E2EテストはQAエンジニアの 時間を奪いがち E2EテストのCIで可観測性の改善を考える 11

12. 『E2Eテストの構成はクラウドネイテ ィブになったけど…』 『不安定なテストは相変わらずマンパ ワーでやっつけてるやん』 E2EテストのCIで可観測性の改善を考える 12

13. まてよ? CIはビルド毎にレポート＆ログを吐く DOMとかHARとか溜めておけば 調査の下準備ぐらいできるんじゃないのか? っていうかやってくれ！ E2EテストのCIで可観測性の改善を考える 13

14. こんな感じ テストに失敗したら過去データと比較 プロダクトの変更を検知したり テストコードの修正を提案 過去数回分と比較して毎回検出される差分 はノイズとして除外 E2EテストのCIで可観測性の改善を考える 14

15. オルタナティブな可観測性 一般的な「可観測性」は今起こっていること つまり時系列方向のロギングやトレース 本アイディアでは 過去から現在へのベクトルの可観測性 E2EテストのCIで可観測性の改善を考える 15

16. ビルド履歴を使って 可観測性を持たせる 名付けて 「Time Machined Analytics」 E2EテストのCIで可観測性の改善を考える 16

17. Time Machined Analytics どうかな？ E2EテストのCIで可観測性の改善を考える 17

18. Time Machined Analytics ※ これはイメージです E2EテストのCIで可観測性の改善を考える 18

19. クラウドCIの機能として こんなのがサービス化されたらいいなぁ あのつらいE2Eテストの保守から 開放されたら嬉しいなぁ～ というお話でした E2EテストのCIで可観測性の改善を考える 19

20. 宣伝（LTなのに） 弊社の自動テストツールRacineでは 本日説明したような機能を開発中です ご興味ある方はアフタートークでお声がけくださ い E2EテストのCIで可観測性の改善を考える 20

21. ご清聴ありがとうございました E2EテストのCIで可観測性の改善を考える 21

22. E2EテストのCIで可観測性の改善を考える 22