Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
しくじり先生ーアジャイルテスト自動化立ち上げ迷走記 #D3QA / Failure teaches success in automated testing development
ぱいん
October 29, 2019
Technology
1
2.3k
しくじり先生ーアジャイルテスト自動化立ち上げ迷走記 #D3QA / Failure teaches success in automated testing development
ぱいん
October 29, 2019
Tweet
Share
More Decks by ぱいん
See All by ぱいん
システムテスト自動化スクリプトのレビュー観点を挙げてみたの
pineapplecandy
0
180
E2Eテストのflakyと向き合う / stac2020
pineapplecandy
2
3.9k
これからシステムテスト自動化を始める組織のための勉強会(公開用)
pineapplecandy
1
1.7k
#WACATE 2019夏_夜の分科会_情報交換会_公開用
pineapplecandy
0
700
#オンライン飲み会 経験ベースで語るテストエンジニアのための英語術 Ver.0.190113
pineapplecandy
0
510
#WACATE 2018冬 夜の分科会「テストの困りごとを ぱいんとみんなで答える会」
pineapplecandy
0
280
途上国支援とプロジェクト支援に関わった経験をちょっと語る
pineapplecandy
0
220
Other Decks in Technology
See All in Technology
Stripe Search APIを利用した、LINEとStripeの顧客情報連携/line-dc-202205
stripehideokamoto
0
130
Data Warehouse or Data Lake, which one do I choose?
ahana
0
150
數據的多重宇宙 @ LINE Taiwan
line_developers_tw
PRO
0
950
Learning from AWS Customer Security Incidents [2022]
ramimac
0
1.6k
[SRE NEXT 2022]組織に対してSREを適用するとはどういうことか
srenext
0
520
XRを取り巻く技術の正体と未来
kajiken_meson
0
140
テスト自動化の成功を支えるチームと仕組み/TestAutomation
goyoki
2
430
SRENEXT2022 組織にSREを実装していくまでの道のり
marnie0301
1
790
CAMのサービス開発の歴史と共通基盤を使った 開発スタイルへの変遷について
ishikawa_pro
0
110
Embedded SRE at Mercari
tcnksm
0
870
How We Foster Reliability in Diversity
nari_ex
PRO
10
3.2k
AWS ChatbotでEC2インスタンスを 起動できるようにした
iwamot
0
170
Featured
See All Featured
Six Lessons from altMBA
skipperchong
14
1.3k
Music & Morning Musume
bryan
35
4.2k
Art, The Web, and Tiny UX
lynnandtonic
280
17k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
19
1.4k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
37
3.2k
Producing Creativity
orderedlist
PRO
333
37k
It's Worth the Effort
3n
172
25k
Why Our Code Smells
bkeepers
PRO
324
54k
A Modern Web Designer's Workflow
chriscoyier
689
180k
How GitHub (no longer) Works
holman
296
140k
Why You Should Never Use an ORM
jnunemaker
PRO
47
5.6k
Faster Mobile Websites
deanohume
294
28k
Transcript
~アジャイルテスト自動化 立ち上げ迷走記~ 2019/10/29 @D-Cubeソフトウェアテスト・QA勉強会 ぱいん
自己紹介 • ぱいん • テスト会社 • テストエンジニア/QAエンジニア • ドメイン •
組込機器 • Webアプリ開発(通信、行政) • テスト自動化ツール開発 • 現在のメインのお仕事: • システムテスト自動化のテックリード • 社外活動 • SeleniumConf Tokyo実行委員 • JaSST Review(ソフトウェアレビューシンポジウム)実行委員 など • 趣味 • Twitter, Togetter • Bリーグ観戦(川崎ブレイブサンダース) ぱいん
背景 • アジャイルプロジェクト • 受託案件 • 開発メンバ:数十名規模 • スプリントサイクル:2週間
当時のスペック • ぱいん • 当時のメインのお仕事: • 平テストエンジニア(上司と2名) • それまでは手動テスト実行経験のみ •
社外活動 • 特になし • 趣味 • Twitter
None
なんちゃって QAフロントローディング 1. テストケース作成時の不明点から、 開発側へ仕様不明点を明確化を促進 • QAは業務資料をひたすら読み込んで、業務シナリオを整理 • 開発メンバからの信頼を得て、QAが要件レビューを行うなど 2.
開発との距離が近く改善は盛り込まれる • 自動化に必要なIDは実装時に埋めてもらう • 開発用バッチを見ながらテストデータ作成ツールを作る
アジャイルQA楽しい!
社外コミュニティとの出会い、成長 1. Seleniumのコミュニティに出会う 2. Stack Overflowを読み漁る日々 ⇒昨日、出来なかったことが今日できるようになる 作ったコードが自分の代わりにテストしてくれる
テスト自動化楽しい
QAチームに課せられたミッション •PO「デグレを検知するために画面遷移の E2E自動テストを作ってほしい。Selenium で。」 •ぱいん「わかりましたっ!(キリッ」 •PO「現在はモックだ」 •ぱいん「わかりましたっ!(キリッ?」
ぱいんの数字① 1から15
ぱいんの数字① 自動化エンジニアの数 1から15
None
テストコードのメンテ辛い① • オフショアからのQ&A対応で時間が溶ける日々
テストコードのメンテ辛い② • 画面遷移が目まぐるしく変わる • 実装優先で画面遷移図が追従しない Click
テストコードのメンテ辛い② • 画面遷移が目まぐるしく変わる • 実装優先で画面遷移図が追従しない Click 注意 相手が嫌がる言動 はやめましょう 了解
Click
テストコードの増加が止められない • テストコードメンテの間にも、新機能は増えていく • テストケース新規作成メンバは、黙々とテストコードを増やし ていく
• テストコードメンテの間にも、新機能は増えていく • テストケース新規作成メンバは、黙々とテストコードを増やし ていく メンテ 新規 時間 テストコードの増加が止められない Q&A
しくじり(失敗)まとめ 1. テストコードのメンテが辛い 2. テストコードの増加が止められない • 終わらないQ&A対応 • 画面遷移への無限追従
学び その先へ
学び • 一気に自動化をスケールさせようとしない • 上司の方針を鵜呑みにしない • テスト自動化をする目的、必要性 • 開始するタイミングは開発フェーズとして合っているか •
QAエンジニアがやるのが適任なのか
その先へ • 2名体制で、シナリオテストの自動化を行う • シナリオ数をゆっくり増やす:1⇒3⇒5 • メンテの工数、作成工数、LOCを計測 • デプロイパイプラインに組み込んでビルドブレイクを検知 •
手動で約1hかかるテストが、約15mで終了 • IE複数Ver, Chrome最新で実行
None
おまけ1)おススメの本、その他 • 書籍「初めての自動テスト」 • 書籍「ソフトウェアテスト293の鉄則」 • 第5章 “テスト自動化” 40個 •
スライド「これからシステムテスト自動化を 始める組織のための勉強会」 • ぱいんのテスト自動化お悩み相談 (随時、パインアメ1袋~)
テスト自動化の8原則 (テスト自動化研究会製) https://sites.google.com/site/testautomationresearch/test_automation_principle • 1. 手動テストはなくならない • 2. 手動でおこなって効果のないテストを自動化しても無駄であ る
• 3. 自動テストは書いたことしかテストしない • 4. テスト自動化の効用はコスト削減だけではない • 5. 自動テストシステムの開発は継続的におこなうものである • 6. 自動化検討はプロジェクト初期から • 7. 自動テストで新種のバグが見つかることは稀である • 8. テスト結果分析という新たなタスクが生まれる 25