E2EテストのCIで可観測性の改善を考える株式会社SHIFT) 森川知雄E2EテストのCIで可観測性の改善を考える2021.07.21 SHIFT EVOLVE Vol.2 1
View Slide
森川知雄(株式会社SHIFT )自動テストアーキテクトE2Eテストのツール開発や調査・教育を担当している人以前はSIでSeleniumのツールをゴリゴリ書いてましたE2EテストのCIで可観測性の改善を考える 2
本日はE2Eテスト屋から見たクラウドネイティブなアプローチについてお話します※ E2Eテスト ∋ RTE2EテストのCIで可観測性の改善を考える 3
E2Eテストもクラウドネイティブにスケーラブルで堅牢な自動化コンテナ × リモートGridでスケールクラウドCIでクリーンなテスト環境テストコードはサーバレスでスケーラブルにレポートもクラウドにスタックE2EテストのCIで可観測性の改善を考える 4
レガシーな構成E2EテストのCIで可観測性の改善を考える 5
クラウドネイティブな構成E2EテストのCIで可観測性の改善を考える 6
だがしかしE2EテストのCIで可観測性の改善を考える 7
E2Eテストは壊れやすい「モダンでスケーラブルな構成で自動化」をしてもE2Eテストは不安定で壊れがちだってE2Eだもの...E2EテストのCIで可観測性の改善を考える 8
壊れたらどうしてる？現状調査してテストコード修正して再実行時間がかかるし、マンパワー必要工数に含まれないこともE2EテストのCIで可観測性の改善を考える 9
壊れたらどうしてる？現状調査してテストコード修正して再実行時間がかかるし、マンパワー必要工数に含まれないことも理想誰かやってくれ...自立的に直ってほしい or 調査してほしいE2EテストのCIで可観測性の改善を考える 10
ただでさえE2EテストはQAエンジニアの時間を奪いがちE2EテストのCIで可観測性の改善を考える 11
『E2Eテストの構成はクラウドネイティブになったけど…』『不安定なテストは相変わらずマンパワーでやっつけてるやん』E2EテストのCIで可観測性の改善を考える 12
まてよ?CIはビルド毎にレポート＆ログを吐くDOMとかHARとか溜めておけば調査の下準備ぐらいできるんじゃないのか?っていうかやってくれ！E2EテストのCIで可観測性の改善を考える 13
こんな感じテストに失敗したら過去データと比較プロダクトの変更を検知したりテストコードの修正を提案過去数回分と比較して毎回検出される差分はノイズとして除外E2EテストのCIで可観測性の改善を考える 14
オルタナティブな可観測性一般的な「可観測性」は今起こっていることつまり時系列方向のロギングやトレース本アイディアでは過去から現在へのベクトルの可観測性E2EテストのCIで可観測性の改善を考える 15
ビルド履歴を使って可観測性を持たせる名付けて「Time Machined Analytics」E2EテストのCIで可観測性の改善を考える 16
Time Machined Analyticsどうかな？E2EテストのCIで可観測性の改善を考える 17
Time Machined Analytics※ これはイメージですE2EテストのCIで可観測性の改善を考える 18
クラウドCIの機能としてこんなのがサービス化されたらいいなぁあのつらいE2Eテストの保守から開放されたら嬉しいなぁ～というお話でしたE2EテストのCIで可観測性の改善を考える 19
宣伝（LTなのに）弊社の自動テストツールRacineでは本日説明したような機能を開発中ですご興味ある方はアフタートークでお声がけくださいE2EテストのCIで可観測性の改善を考える 20
ご清聴ありがとうございましたE2EテストのCIで可観測性の改善を考える 21
E2EテストのCIで可観測性の改善を考える 22
shift_evolve
moongift
clear_inc
3yasuda
c0rp_mdm
takeshisumida_
webmanagaer
libinc
kuzen
srmarketing
notahotel
lmi
yasslab
mza
holman
cassininazir
maltzj
shpigford
jnunemaker
kneath
chriscoyier
chrislema
paigeccino
marktimemedia
ufuk