Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
しくじり先生ーアジャイルテスト自動化立ち上げ迷走記 #D3QA / Failure teaches success in automated testing development
Search
ぱいん
October 29, 2019
Technology
1
3.1k
しくじり先生ーアジャイルテスト自動化立ち上げ迷走記 #D3QA / Failure teaches success in automated testing development
ぱいん
October 29, 2019
Tweet
Share
More Decks by ぱいん
See All by ぱいん
カジュアル面談って、もっとカジュアルに していいの / informal session #jasstnano
pineapplecandy
0
180
アジャイルQA2年生が、過去の自分に伝えたいこと #テストラジオ
pineapplecandy
0
160
PO,SMに送るテスト自動化の8原則に5箇条を添えて / scrumniigata2023
pineapplecandy
2
1.5k
システムテスト自動化スクリプトのレビュー観点を挙げてみたの
pineapplecandy
0
410
E2Eテストのflakyと向き合う / stac2020
pineapplecandy
2
5.5k
これからシステムテスト自動化を始める組織のための勉強会(公開用)
pineapplecandy
2
2.6k
#WACATE 2019夏_夜の分科会_情報交換会_公開用
pineapplecandy
0
1.2k
#オンライン飲み会 経験ベースで語るテストエンジニアのための英語術 Ver.0.190113
pineapplecandy
0
950
#WACATE 2018冬 夜の分科会「テストの困りごとを ぱいんとみんなで答える会」
pineapplecandy
0
350
Other Decks in Technology
See All in Technology
QA経験のないエンジニアリング マネージャーがQAのカジュアル面談に出て 苦労していること・気づいたこと / scrum fest niigata 2024
yoshikiiida
2
660
多言語化対応における TypeScript の型定義を通して開発のしやすさについて考えた / TSKaigi TypeScript Multilingualization
nabeliwo
2
390
開発スピードの維持向上を支える、テスト設計の 漸進的進化への取り組み / Continuous Test Design Development for Speed of Product Development
ropqa
0
180
CockroachDB はどのくらい「しぶとい」のか? / How tough is CockroachDB?
kota2and3kan
13
4.9k
#phpconkagawa レガシーコードにもオブザーバビリティを 〜少しずつ始めるサービス監視〜
yamato_sorariku
0
550
Real World Type Puzzle and Code Generation
yukukotani
4
640
TypeScript の抽象構文木を用いた、数百を超える API の大規模リファクタリング戦略
yanaemon
6
1.2k
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
5
38k
大規模言語モデル (LLM)における低精度数値表現
pfn
PRO
3
820
cgroup v2 で何が変わったのか / TechFeed Experts Night #28
tenforward
2
160
データ分析力を高めるSQL研修サービス『SQL Everyone』
hikarut
1
390
1Q86
kawaguti
PRO
2
190
Featured
See All Featured
Building Effective Engineering Teams - LeadDev
addyosmani
33
1.9k
VelocityConf: Rendering Performance Case Studies
addyosmani
321
23k
Building Applications with DynamoDB
mza
88
5.7k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
26
2.3k
5 minutes of I Can Smell Your CMS
philhawksworth
199
19k
Embracing the Ebb and Flow
colly
80
4.2k
How GitHub Uses GitHub to Build GitHub
holman
468
290k
Fontdeck: Realign not Redesign
paulrobertlloyd
76
4.9k
Automating Front-end Workflow
addyosmani
1357
200k
A Philosophy of Restraint
colly
197
16k
Web Components: a chance to create the future
zenorocha
306
41k
Gamification - CAS2011
davidbonilla
77
4.6k
Transcript
~アジャイルテスト自動化 立ち上げ迷走記~ 2019/10/29 @D-Cubeソフトウェアテスト・QA勉強会 ぱいん
自己紹介 • ぱいん • テスト会社 • テストエンジニア/QAエンジニア • ドメイン •
組込機器 • Webアプリ開発(通信、行政) • テスト自動化ツール開発 • 現在のメインのお仕事: • システムテスト自動化のテックリード • 社外活動 • SeleniumConf Tokyo実行委員 • JaSST Review(ソフトウェアレビューシンポジウム)実行委員 など • 趣味 • Twitter, Togetter • Bリーグ観戦(川崎ブレイブサンダース) ぱいん
背景 • アジャイルプロジェクト • 受託案件 • 開発メンバ:数十名規模 • スプリントサイクル:2週間
当時のスペック • ぱいん • 当時のメインのお仕事: • 平テストエンジニア(上司と2名) • それまでは手動テスト実行経験のみ •
社外活動 • 特になし • 趣味 • Twitter
None
なんちゃって QAフロントローディング 1. テストケース作成時の不明点から、 開発側へ仕様不明点を明確化を促進 • QAは業務資料をひたすら読み込んで、業務シナリオを整理 • 開発メンバからの信頼を得て、QAが要件レビューを行うなど 2.
開発との距離が近く改善は盛り込まれる • 自動化に必要なIDは実装時に埋めてもらう • 開発用バッチを見ながらテストデータ作成ツールを作る
アジャイルQA楽しい!
社外コミュニティとの出会い、成長 1. Seleniumのコミュニティに出会う 2. Stack Overflowを読み漁る日々 ⇒昨日、出来なかったことが今日できるようになる 作ったコードが自分の代わりにテストしてくれる
テスト自動化楽しい
QAチームに課せられたミッション •PO「デグレを検知するために画面遷移の E2E自動テストを作ってほしい。Selenium で。」 •ぱいん「わかりましたっ!(キリッ」 •PO「現在はモックだ」 •ぱいん「わかりましたっ!(キリッ?」
ぱいんの数字① 1から15
ぱいんの数字① 自動化エンジニアの数 1から15
None
テストコードのメンテ辛い① • オフショアからのQ&A対応で時間が溶ける日々
テストコードのメンテ辛い② • 画面遷移が目まぐるしく変わる • 実装優先で画面遷移図が追従しない Click
テストコードのメンテ辛い② • 画面遷移が目まぐるしく変わる • 実装優先で画面遷移図が追従しない Click 注意 相手が嫌がる言動 はやめましょう 了解
Click
テストコードの増加が止められない • テストコードメンテの間にも、新機能は増えていく • テストケース新規作成メンバは、黙々とテストコードを増やし ていく
• テストコードメンテの間にも、新機能は増えていく • テストケース新規作成メンバは、黙々とテストコードを増やし ていく メンテ 新規 時間 テストコードの増加が止められない Q&A
しくじり(失敗)まとめ 1. テストコードのメンテが辛い 2. テストコードの増加が止められない • 終わらないQ&A対応 • 画面遷移への無限追従
学び その先へ
学び • 一気に自動化をスケールさせようとしない • 上司の方針を鵜呑みにしない • テスト自動化をする目的、必要性 • 開始するタイミングは開発フェーズとして合っているか •
QAエンジニアがやるのが適任なのか
その先へ • 2名体制で、シナリオテストの自動化を行う • シナリオ数をゆっくり増やす:1⇒3⇒5 • メンテの工数、作成工数、LOCを計測 • デプロイパイプラインに組み込んでビルドブレイクを検知 •
手動で約1hかかるテストが、約15mで終了 • IE複数Ver, Chrome最新で実行
None
おまけ1)おススメの本、その他 • 書籍「初めての自動テスト」 • 書籍「ソフトウェアテスト293の鉄則」 • 第5章 “テスト自動化” 40個 •
スライド「これからシステムテスト自動化を 始める組織のための勉強会」 • ぱいんのテスト自動化お悩み相談 (随時、パインアメ1袋~)
テスト自動化の8原則 (テスト自動化研究会製) https://sites.google.com/site/testautomationresearch/test_automation_principle • 1. 手動テストはなくならない • 2. 手動でおこなって効果のないテストを自動化しても無駄であ る
• 3. 自動テストは書いたことしかテストしない • 4. テスト自動化の効用はコスト削減だけではない • 5. 自動テストシステムの開発は継続的におこなうものである • 6. 自動化検討はプロジェクト初期から • 7. 自動テストで新種のバグが見つかることは稀である • 8. テスト結果分析という新たなタスクが生まれる 25