アジャイルテスティングが倒せない / I can't beat agile testing

10年ぐらいアジャイルコーチを経験してきて、営業とマーケ > PO > 開発 > テスト > リリース > CSやCX とプロセスを一通り経験してある程度、改善を進められるようになったのですが、アジャイルテスティングがなかなか倒せません！（現在約5年目に突入）

よって、ちょっと心を落ち着けて、倒せない敵がどういったものなのかを考えるセッションです。

XP祭り 2021 発表資料。
https://confengine.com/conferences/xp2021/proposal/15521

Transcript

1. アジャイルテスティング が倒せない Dai Fujihara, mabl Inc. XP祭り, Sep 18th
2. About Me 『アジャイル開発とスクラム』 https://www.amazon.co.jp/dp/4798129704/ 、『リーン開発の現場』 https://www.amazon.co.jp/dp/427406932X 藤原 大 / Dai Fujihara Japan Lead at mabl Inc. CEO at Sekai Co., Ltd. • 現在： 独立してスーパーアジャイルコーチ 開発組織の技術顧問（プロセス、 QA中心） CTOやEMへのコーチング mablの日本顧客向け業務全般担当 • メルカリ： エンジニアリングマネージャ（ EM) Software Engineer in Test（SET) テスト自動化、QA組織立ち上げ • 楽天： EM、アジャイルコーチ • 某SIer： Javaエンジニア • 活動: ◦ 『アジャイル開発とスクラム』寄稿 ◦ 『リーン開発の現場』翻訳 ◦ Twitter: @daipresents ◦ https://daipresents.com/service/
3. Outline なぜアジャイルテスティングと戦ってい るか アジャイルテスティングの壁 ブラウザテストの進化 これからのアジャイルテスティング
4. A long time ago in a galaxy far, far away...
5. Photo by Agnieszka Kowalczyk on Unsplash 巨大な インターネット帝国
6. サイロ化 保守的体質 イノベーション不足 Photo by Fernando Paredes Murillo on Unsplash
7. Photo by Cade Roberts on Unsplash 多くのジェダイが息絶えた
8. 巨大アプリの開発 マニュアルテストがボ トルネック Photo by Alexander Tsang on Unsplash
9. 開発はアジャイル でもテストはウォータフォール Photo by Alex Conrath on Unsplash
10. こんなんで「はやく」なるわけないじゃないです かぁー。 社内外注みたいな仕組みやめて、チームで 開発に取り組めるQA組織作りませんか？
11. Photo by Nikolas Noonan on Unsplash めっちゃ怒ってたし すげー大反発
12. わからんでもないけど • QA組織は自分たちの死活問題と 考えた。しかし変化する力も度胸も ないジレンマ • ボトルネックに合わせて考えると、 大きな改善は見込めない • 人生の時間をかける価値があるの か。なければ次世代組織をつくれ る場所へ
13. “テストなんて 誰でもできるでしょ？” Photo by Javad Esmaeili on Unsplash
14. アジャイルテスティングが 全然倒せない！ はや5年・・・
15. Outline なぜアジャイルテスティングと戦ってい るか アジャイルテスティングの壁 ブラウザテストの進化 これからのアジャイルテスティング 16分ぐらいならベストやでー
16. 現状をとりまいているもの アジャイル・DevOps時 代に突入 • イテレーティブ＆インクリメ ンタル • すばやいリリースとフィー ドバック • 正しいものを正しく作りた い アジャイル・DevOpsを 支える技術の進化 • CI/CDサービスのコモディ ティ化 • Docker, k8s の急速な広 がり • クラウド環境の繁栄 求められるアジャイル なテスト • 従来からテストフェーズが ボトルネックになりがち • アジャイルなテスティング の事例不足・マニュアル 依存 • さてどうしよう？
17. スキルや守備範囲の壁 ビジネス構造の壁 マインドセットの壁
18. スキルや守備範囲の変化 - テスト自動化スキル • OSSでもツールでも、テストを自動化し てメンテナンスしていくことは変わりない • つまり、コストはかかる • そのコストが低いか高いかは現場に よって異なる • 単純作業であれば自動化で十分。ただ し、良い設計は「まだ」自動化できない
19. スキルや守備範囲の壁 - 本当に必要なテストを作る • 簡単に作れる ≒ E2Eが増えす ぎる • 質の低いテストをたくさん作って も、品質に貢献しなかったり、コ ストが高くなったりしてしまう • APIやUTへのカバレッジアップ が必要
20. スキルや守備範囲の壁 - 品質の民主化 “この文脈における「開発者」とは、 コードを生み出す仕事に 携わる人を指す。 たとえば、プログラマー、 QA、テスター、 ビジネスアナリストが含まれる” アジャイル開発 その他 すべて 開発 テスト 『Clean Agile』 Robert C. Martin著
21. ビジネス構造の壁 役割 金額 管理 上流工程 テスト設計 テスト実行 レポート作成 品質コンサルティン グ XXX万円 ◦ ◦ ◦ ◦ ◦ テスト設計者 XX万円 ☓ ☓ ◦ ◦ ◦ テスト実行者 XX万円 ☓ ☓ ☓ ◦ ◦ 顧客が本当に欲しいものはマンパワーだけではない
22. ビジネス構造の壁 − マンパワーが解決にならない サービス 金額 アジャイル・スクラム開発における QA支援 XXXX万円 CI/CD構築と自動テスト統合 XXXX万円 次世代QAトレーニング XXXX万円 顧客が本当に欲しいものは結果である
23. マインドセットの壁 開発へは投資するが テストのコストを抑えたい どっちかじゃなくて、どっちも大切やでー
24. マインドセットの壁 テストなんて 社員がやらなくていい仕事だ 貴族かよ！！
25. Outline なぜアジャイルテスティングと戦ってい るか アジャイルテスティングの壁 ブラウザテストの進化 これからのアジャイルテスティング 27分ぐらいやったらベストやでー
26. インテリジェントなブラウザテスト自動化 • クラウド/SaaSで初期コスト低 • 簡単操作でテストの作成や修正可能 • AIでテストを自動修復、自動画面分析 • クロスブラウザ対応、並列/同時実行、など クラウドならではの恩恵多数 • CI/CDへの組み込みも簡単
27. キャプチャリプレイ型の弱点と進化 弱点 • イニシャルコストが高い • UI変更に弱い（E2Eフレーム ワークも同じ） • テストコードの作成コストが 高い • テストコードや環境のメンテ ナンスコストが高い 進化 • SaaS型でイニシャルコスト削減 • AI/MLの活用で変化に対応 • ノーコード化で運用コスト削減 • 共通部品やローコードによって再 利用性や柔軟性の向上
28. かんたんなデモ
29. AIがUI変更を検知してテストを自動修復
30. AIによる画面差分の検知
31. ローコード（ノーコード）とAIがもたらすもの 7X テスト作成のスピードUP テストカバレッジ テストの運用 リグレッションテスト 85% メンテコストの削減 80% テスト実行コストの削減
32. Outline なぜアジャイルテスティングと戦ってい るか アジャイルテスティングの壁 ブラウザテストの進化 これからのアジャイルテスティング 35分ぐらいやったらべすとやでー
33. コスト削減から投資へ • テストは品質向上を含めた開発 スピードの向上に移りつつある • 自動化 ≒ コスト削減 と単純に 考えすぎると失敗しやすい • なぜコスト削減をしたいのか？ 削減したコストによって何をした いのか？ • 開発もテストも同じ投資対象
34. 求められるゴール スプリントの最後に テストをしない
35. 求められるゴール テスト「だけ」に頼らない。 テスト「以外」で品質を高める
36. 継続的テストの実現へ Photo by Chang Duong on Unsplash
37. 継続的テストするしかない スプリントレビュー スプリントプランニング ふりかえり スプリント ここでも テスト デ リ バ リ ！ 仕様 設計 実装 テスト ここでも テスト ここでも テスト ここでも テスト たまに第三者検証 フェーズ デザイン・プログラミング テスト・テスト自動化 インフラ構築などあらゆる開発アクティビティ
38. 開発はアジャイル でもテストはウォータフォール アジャイル開発はテストを 置き去りにしたのだろうか？ Photo by Alex Conrath on Unsplash
39. アジャイル開発の10年を 「テスト」や「品質」が 歩きはじめている Photo by Charlie Hammond on Unsplash
40. Quality Assuranceから Quality Engineeringへ Photo by Markus Spiske on Unsplash
41. Thank you very much 月次ウェビナー開催中！ 「探索的テスト」「テスト自動化」「次世代QA 組織」といったテーマをもとに「アジャイル ・DevOps時代のテストや品質保証」を目指 すウェブナーです。 今後も、さまざまなトピックや、その道のプロ フェッショナルにご登壇いただく予定です。 https://mabl-japan.connpass.com 今すぐできる2週間の無料トライアル！ 「セッション見たよ」でさらに2週間（合計1ヶ月！） のトライアルプレゼント デモリクエストも大歓迎！ 技術トレンドや実事例をまじえたデモMTGもお気 軽にどうぞ！ https://www.mabl.com/japan