E2EテストのCIで可観測性の改善を考える

E2EテストのCIで可観測性の改善を考える株式会社SHIFT) 森川知雄 E2EテストのCIで可観測性の改善を考える 2021.07.21 SHIFT EVOLVE Vol.2 1

森川知雄(株式会社SHIFT ) 自動テストアーキテクト E2Eテストのツール開発や調査・教育を担当している人以前はSIでSeleniumのツールをゴリゴリ書いてました E2EテストのCIで可観測性の改善を考える 2

本日はE2Eテスト屋から見たクラウドネイティブなアプローチについてお話します ※ E2Eテスト ∋ RT E2EテストのCIで可観測性の改善を考える 3

E2Eテストもクラウドネイティブにスケーラブルで堅牢な自動化コンテナ × リモートGridでスケールクラウドCIでクリーンなテスト環境テストコードはサーバレスでスケーラブルにレポートもクラウドにスタック E2EテストのCIで可観測性の改善を考える 4

レガシーな構成 E2EテストのCIで可観測性の改善を考える 5

クラウドネイティブな構成 E2EテストのCIで可観測性の改善を考える 6

だがしかし E2EテストのCIで可観測性の改善を考える 7

E2Eテストは壊れやすい「モダンでスケーラブルな構成で自動化」をしてもE2Eテストは不安定で壊れがちだってE2Eだもの... E2EテストのCIで可観測性の改善を考える 8

壊れたらどうしてる？現状調査してテストコード修正して再実行時間がかかるし、マンパワー必要工数に含まれないことも E2EテストのCIで可観測性の改善を考える 9

壊れたらどうしてる？現状調査してテストコード修正して再実行時間がかかるし、マンパワー必要工数に含まれないことも理想誰かやってくれ... 自立的に直ってほしい or 調査してほしい
E2EテストのCIで可観測性の改善を考える 10

ただでさえ E2EテストはQAエンジニアの時間を奪いがち E2EテストのCIで可観測性の改善を考える 11

『E2Eテストの構成はクラウドネイティブになったけど…』『不安定なテストは相変わらずマンパワーでやっつけてるやん』 E2EテストのCIで可観測性の改善を考える 12

まてよ? CIはビルド毎にレポート＆ログを吐く DOMとかHARとか溜めておけば調査の下準備ぐらいできるんじゃないのか? っていうかやってくれ！ E2EテストのCIで可観測性の改善を考える 13

こんな感じテストに失敗したら過去データと比較プロダクトの変更を検知したりテストコードの修正を提案過去数回分と比較して毎回検出される差分はノイズとして除外 E2EテストのCIで可観測性の改善を考える 14

オルタナティブな可観測性一般的な「可観測性」は今起こっていることつまり時系列方向のロギングやトレース本アイディアでは過去から現在へのベクトルの可観測性 E2EテストのCIで可観測性の改善を考える 15

ビルド履歴を使って可観測性を持たせる名付けて「Time Machined Analytics」 E2EテストのCIで可観測性の改善を考える 16

Time Machined Analytics どうかな？ E2EテストのCIで可観測性の改善を考える 17

Time Machined Analytics ※ これはイメージです E2EテストのCIで可観測性の改善を考える 18

クラウドCIの機能としてこんなのがサービス化されたらいいなぁあのつらいE2Eテストの保守から開放されたら嬉しいなぁ～というお話でした E2EテストのCIで可観測性の改善を考える 19

宣伝（LTなのに）弊社の自動テストツールRacineでは本日説明したような機能を開発中ですご興味ある方はアフタートークでお声がけください E2EテストのCIで可観測性の改善を考える 20

ご清聴ありがとうございました E2EテストのCIで可観測性の改善を考える 21

E2EテストのCIで可観測性の改善を考える 22

E2EテストのCIで可観測性の改善を考える

E2EテストのCIで可観測性の改善を考える

SHIFT EVOLVE PRO

More Decks by SHIFT EVOLVE

Other Decks in Business

Featured

Transcript