E2EテストのCIで可観測性の改善を考える

by SHIFT EVOLVE

Slide 1

Slide 1 text

E2EテストのCIで可観測性の改善を考える株式会社SHIFT) 森川知雄 E2EテストのCIで可観測性の改善を考える 2021.07.21 SHIFT EVOLVE Vol.2 1

Slide 2

Slide 2 text

森川知雄(株式会社SHIFT ) 自動テストアーキテクト E2Eテストのツール開発や調査・教育を担当している人以前はSIでSeleniumのツールをゴリゴリ書いてました E2EテストのCIで可観測性の改善を考える 2

Slide 3

Slide 3 text

本日はE2Eテスト屋から見たクラウドネイティブなアプローチについてお話します ※ E2Eテスト ∋ RT E2EテストのCIで可観測性の改善を考える 3

Slide 4

Slide 4 text

E2Eテストもクラウドネイティブにスケーラブルで堅牢な自動化コンテナ × リモートGridでスケールクラウドCIでクリーンなテスト環境テストコードはサーバレスでスケーラブルにレポートもクラウドにスタック E2EテストのCIで可観測性の改善を考える 4

Slide 5

Slide 5 text

レガシーな構成 E2EテストのCIで可観測性の改善を考える 5

Slide 6

Slide 6 text

クラウドネイティブな構成 E2EテストのCIで可観測性の改善を考える 6

Slide 7

Slide 7 text

だがしかし E2EテストのCIで可観測性の改善を考える 7

Slide 8

Slide 8 text

E2Eテストは壊れやすい「モダンでスケーラブルな構成で自動化」をしてもE2Eテストは不安定で壊れがちだってE2Eだもの... E2EテストのCIで可観測性の改善を考える 8

Slide 9

Slide 9 text

壊れたらどうしてる？現状調査してテストコード修正して再実行時間がかかるし、マンパワー必要工数に含まれないことも E2EテストのCIで可観測性の改善を考える 9

Slide 10

Slide 10 text

壊れたらどうしてる？現状調査してテストコード修正して再実行時間がかかるし、マンパワー必要工数に含まれないことも理想誰かやってくれ... 自立的に直ってほしい or 調査してほしい E2EテストのCIで可観測性の改善を考える 10

Slide 11

Slide 11 text

ただでさえ E2EテストはQAエンジニアの時間を奪いがち E2EテストのCIで可観測性の改善を考える 11

Slide 12

Slide 12 text

『E2Eテストの構成はクラウドネイティブになったけど…』『不安定なテストは相変わらずマンパワーでやっつけてるやん』 E2EテストのCIで可観測性の改善を考える 12

Slide 13

Slide 13 text

まてよ? CIはビルド毎にレポート＆ログを吐く DOMとかHARとか溜めておけば調査の下準備ぐらいできるんじゃないのか? っていうかやってくれ！ E2EテストのCIで可観測性の改善を考える 13

Slide 14

Slide 14 text

こんな感じテストに失敗したら過去データと比較プロダクトの変更を検知したりテストコードの修正を提案過去数回分と比較して毎回検出される差分はノイズとして除外 E2EテストのCIで可観測性の改善を考える 14

Slide 15

Slide 15 text

オルタナティブな可観測性一般的な「可観測性」は今起こっていることつまり時系列方向のロギングやトレース本アイディアでは過去から現在へのベクトルの可観測性 E2EテストのCIで可観測性の改善を考える 15

Slide 16

Slide 16 text

ビルド履歴を使って可観測性を持たせる名付けて「Time Machined Analytics」 E2EテストのCIで可観測性の改善を考える 16

Slide 17

Slide 17 text

Time Machined Analytics どうかな？ E2EテストのCIで可観測性の改善を考える 17

Slide 18

Slide 18 text

Time Machined Analytics ※ これはイメージです E2EテストのCIで可観測性の改善を考える 18

Slide 19

Slide 19 text

クラウドCIの機能としてこんなのがサービス化されたらいいなぁあのつらいE2Eテストの保守から開放されたら嬉しいなぁ～というお話でした E2EテストのCIで可観測性の改善を考える 19

Slide 20

Slide 20 text

宣伝（LTなのに）弊社の自動テストツールRacineでは本日説明したような機能を開発中ですご興味ある方はアフタートークでお声がけください E2EテストのCIで可観測性の改善を考える 20

Slide 21

Slide 21 text

ご清聴ありがとうございました E2EテストのCIで可観測性の改善を考える 21

Slide 22

Slide 22 text

E2EテストのCIで可観測性の改善を考える 22