Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
E2EテストのCIで可観測性の改善を考える
Search
SHIFT EVOLVE
July 26, 2021
Business
0
340
E2EテストのCIで可観測性の改善を考える
SHIFT EVOLVE
July 26, 2021
Tweet
Share
More Decks by SHIFT EVOLVE
See All by SHIFT EVOLVE
教えます!AWSにおけるセキュリティ対策の可視化の方法/20250301 Hironobu Otaki
shift_evolve
0
61
AWS上にあるWEBサイトの改ざんリスクを下げることができた/20250301 Kumiko Henmi
shift_evolve
0
30
急成長する企業で作った、エンジニアが輝ける制度/ 20250227 Rinto Ikenoue
shift_evolve
0
180
急成長する企業で作った、エンジニアが輝ける制度/ 20250214 Rinto Ikenoue
shift_evolve
3
2.4k
ビジネスの成功x技術への好奇心 (エンジニア組織の未来 vol.2) / 20241204 Yoshihiro Yunomae
shift_evolve
0
30
AWSマルチアカウント統制環境のすゝめ / 20250115 Mitsutoshi Matsuo
shift_evolve
0
410
~ 最新AIでセキュリティ運用業務効率UP ~ セキュリティアナリストの頭の中を RAGにしてみた / 20241220 Tetsuharu Kokaki
shift_evolve
0
170
生成AIによるテスト設計支援プロセスの構築とプロセス内のボトルネック解消の取り組み / 20241220 Suguru Ishii
shift_evolve
0
420
XSS攻撃から考察するAWS設定不備の恐怖 / 20241220 Hironobu Otaki
shift_evolve
0
170
Other Decks in Business
See All in Business
【業界・業種別】副業・兼業トラブルに関する実態調査
fkske
0
220
目標を軸にしたふりかえりでパフォーマンスを上げる / Using goals to improve performance
tbpgr
1
330
見積り、計画の考え方や手法についてビープラウドの場合を紹介します/ introduce-the-concept-and-method-of-estimation-and-planning-in-the-case-of-BeProud
haru860
5
2.3k
一般社団法人ディレクションサポート協会(DiSA)
masakisukeda
0
590
TSUIDE_採用ピッチ資料
tsuide
0
220
RAKSUL会社紹介資料 / RAKSUL Introduction
raksulrecruiting
9
84k
2ndPASS_リクルートガイド2024
akinodaichi
0
530
Geolonia のデータ連携基盤とスマートシティ構想
miya0001
1
150
株式会社Domuz会社紹介資料(採用)
kimpachi_d
0
22k
コミュニティと横断組織を活かす“三菱電機”のre:Invent
licux
1
190
株式会社SAFELY 会社紹介 / Company
safely_pr
1
420
サイボウズの開発チームが行っているスクラムの紹介
tonionagauzzi
0
570
Featured
See All Featured
A designer walks into a library…
pauljervisheath
205
24k
Building Applications with DynamoDB
mza
93
6.2k
Practical Orchestrator
shlominoach
186
10k
Building a Scalable Design System with Sketch
lauravandoore
461
33k
Java REST API Framework Comparison - PWX 2021
mraible
29
8.4k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7.1k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.2k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Speed Design
sergeychernyshev
27
810
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
40
2k
Become a Pro
speakerdeck
PRO
26
5.2k
Transcript
E2EテストのCIで 可観測性の改善を考える 株式会社SHIFT) 森川知雄 E2EテストのCIで可観測性の改善を考える 2021.07.21 SHIFT EVOLVE Vol.2 1
森川知雄(株式会社SHIFT ) 自動テストアーキテクト E2Eテストのツール開発や 調査・教育を担当している人 以前はSIでSeleniumのツール をゴリゴリ書いてました E2EテストのCIで可観測性の改善を考える 2
本日はE2Eテスト屋から見た クラウドネイティブな アプローチについてお話します ※ E2Eテスト ∋ RT E2EテストのCIで可観測性の改善を考える 3
E2Eテストもクラウドネイティブに スケーラブルで堅牢な自動化 コンテナ × リモートGridでスケール クラウドCIでクリーンなテスト環境 テストコードはサーバレスでスケーラブルに レポートもクラウドにスタック E2EテストのCIで可観測性の改善を考える 4
レガシーな構成 E2EテストのCIで可観測性の改善を考える 5
クラウドネイティブな構成 E2EテストのCIで可観測性の改善を考える 6
だがしかし E2EテストのCIで可観測性の改善を考える 7
E2Eテストは壊れやすい 「モダンでスケーラブルな構成で自動化」 をしてもE2Eテストは不安定で壊れがち だってE2Eだもの... E2EテストのCIで可観測性の改善を考える 8
壊れたらどうしてる? 現状 調査してテストコード修正して再実行 時間がかかるし、マンパワー必要 工数に含まれないことも E2EテストのCIで可観測性の改善を考える 9
壊れたらどうしてる? 現状 調査してテストコード修正して再実行 時間がかかるし、マンパワー必要 工数に含まれないことも 理想 誰かやってくれ... 自立的に直ってほしい or 調査してほしい
E2EテストのCIで可観測性の改善を考える 10
ただでさえ E2EテストはQAエンジニアの 時間を奪いがち E2EテストのCIで可観測性の改善を考える 11
『E2Eテストの構成はクラウドネイテ ィブになったけど…』 『不安定なテストは相変わらずマンパ ワーでやっつけてるやん』 E2EテストのCIで可観測性の改善を考える 12
まてよ? CIはビルド毎にレポート&ログを吐く DOMとかHARとか溜めておけば 調査の下準備ぐらいできるんじゃないのか? っていうかやってくれ! E2EテストのCIで可観測性の改善を考える 13
こんな感じ テストに失敗したら過去データと比較 プロダクトの変更を検知したり テストコードの修正を提案 過去数回分と比較して毎回検出される差分 はノイズとして除外 E2EテストのCIで可観測性の改善を考える 14
オルタナティブな可観測性 一般的な「可観測性」は今起こっていること つまり時系列方向のロギングやトレース 本アイディアでは 過去から現在へのベクトルの可観測性 E2EテストのCIで可観測性の改善を考える 15
ビルド履歴を使って 可観測性を持たせる 名付けて 「Time Machined Analytics」 E2EテストのCIで可観測性の改善を考える 16
Time Machined Analytics どうかな? E2EテストのCIで可観測性の改善を考える 17
Time Machined Analytics ※ これはイメージです E2EテストのCIで可観測性の改善を考える 18
クラウドCIの機能として こんなのがサービス化されたらいいなぁ あのつらいE2Eテストの保守から 開放されたら嬉しいなぁ~ というお話でした E2EテストのCIで可観測性の改善を考える 19
宣伝(LTなのに) 弊社の自動テストツールRacineでは 本日説明したような機能を開発中です ご興味ある方はアフタートークでお声がけくださ い E2EテストのCIで可観測性の改善を考える 20
ご清聴ありがとうございました E2EテストのCIで可観測性の改善を考える 21
E2EテストのCIで可観測性の改善を考える 22