Upgrade to Pro — share decks privately, control downloads, hide ads and more …

アジャイルテスティングが倒せない / I can't beat agile testing

Dai Fujihara
September 07, 2021

アジャイルテスティングが倒せない / I can't beat agile testing

10年ぐらいアジャイルコーチを経験してきて、営業とマーケ > PO > 開発 > テスト > リリース > CSやCX とプロセスを一通り経験してある程度、改善を進められるようになったのですが、アジャイルテスティングがなかなか倒せません!(現在約5年目に突入)

よって、ちょっと心を落ち着けて、倒せない敵がどういったものなのかを考えるセッションです。

XP祭り 2021 発表資料。
https://confengine.com/conferences/xp2021/proposal/15521

Dai Fujihara

September 07, 2021
Tweet

More Decks by Dai Fujihara

Other Decks in Programming

Transcript

  1. アジャイルテスティング
    が倒せない
    Dai Fujihara, mabl Inc. XP祭り, Sep 18th

    View full-size slide

  2. About Me
    『アジャイル開発とスクラム』 https://www.amazon.co.jp/dp/4798129704/ 、『リーン開発の現場』 https://www.amazon.co.jp/dp/427406932X
    藤原 大 / Dai Fujihara
    Japan Lead at mabl Inc.
    CEO at Sekai Co., Ltd.
    ● 現在: 独立してスーパーアジャイルコーチ
    開発組織の技術顧問(プロセス、 QA中心)
    CTOやEMへのコーチング
    mablの日本顧客向け業務全般担当
    ● メルカリ: エンジニアリングマネージャ( EM)
    Software Engineer in Test(SET)
    テスト自動化、QA組織立ち上げ
    ● 楽天: EM、アジャイルコーチ
    ● 某SIer: Javaエンジニア
    ● 活動:
    ○ 『アジャイル開発とスクラム』寄稿
    ○ 『リーン開発の現場』翻訳
    ○ Twitter: @daipresents
    ○ https://daipresents.com/service/

    View full-size slide

  3. Outline
    なぜアジャイルテスティングと戦ってい
    るか
    アジャイルテスティングの壁
    ブラウザテストの進化
    これからのアジャイルテスティング

    View full-size slide

  4. A long time ago in a galaxy far,
    far away...

    View full-size slide

  5. Photo by Agnieszka Kowalczyk on Unsplash
    巨大な
    インターネット帝国

    View full-size slide

  6. サイロ化
    保守的体質
    イノベーション不足
    Photo by Fernando Paredes Murillo on Unsplash

    View full-size slide

  7. Photo by Cade Roberts on Unsplash
    多くのジェダイが息絶えた

    View full-size slide

  8. 巨大アプリの開発
    マニュアルテストがボ
    トルネック
    Photo by Alexander Tsang on Unsplash

    View full-size slide

  9. 開発はアジャイル
    でもテストはウォータフォール
    Photo by Alex Conrath on Unsplash

    View full-size slide

  10. こんなんで「はやく」なるわけないじゃないです
    かぁー。
    社内外注みたいな仕組みやめて、チームで
    開発に取り組めるQA組織作りませんか?

    View full-size slide

  11. Photo by Nikolas Noonan on Unsplash
    めっちゃ怒ってたし
    すげー大反発

    View full-size slide

  12. わからんでもないけど
    ● QA組織は自分たちの死活問題と
    考えた。しかし変化する力も度胸も
    ないジレンマ
    ● ボトルネックに合わせて考えると、
    大きな改善は見込めない
    ● 人生の時間をかける価値があるの
    か。なければ次世代組織をつくれ
    る場所へ

    View full-size slide

  13. “テストなんて
    誰でもできるでしょ?”
    Photo by Javad Esmaeili on Unsplash

    View full-size slide

  14. アジャイルテスティングが
    全然倒せない!
    はや5年・・・

    View full-size slide

  15. Outline
    なぜアジャイルテスティングと戦ってい
    るか
    アジャイルテスティングの壁
    ブラウザテストの進化
    これからのアジャイルテスティング
    16分ぐらいならベストやでー

    View full-size slide

  16. 現状をとりまいているもの
    アジャイル・DevOps時
    代に突入
    ● イテレーティブ&インクリメ
    ンタル
    ● すばやいリリースとフィー
    ドバック
    ● 正しいものを正しく作りた

    アジャイル・DevOpsを
    支える技術の進化
    ● CI/CDサービスのコモディ
    ティ化
    ● Docker, k8s の急速な広
    がり
    ● クラウド環境の繁栄
    求められるアジャイル
    なテスト
    ● 従来からテストフェーズが
    ボトルネックになりがち
    ● アジャイルなテスティング
    の事例不足・マニュアル
    依存
    ● さてどうしよう?

    View full-size slide

  17. スキルや守備範囲の壁
    ビジネス構造の壁
    マインドセットの壁

    View full-size slide

  18. スキルや守備範囲の変化 - テスト自動化スキル
    ● OSSでもツールでも、テストを自動化し
    てメンテナンスしていくことは変わりない
    ● つまり、コストはかかる
    ● そのコストが低いか高いかは現場に
    よって異なる
    ● 単純作業であれば自動化で十分。ただ
    し、良い設計は「まだ」自動化できない

    View full-size slide

  19. スキルや守備範囲の壁 - 本当に必要なテストを作る
    ● 簡単に作れる ≒ E2Eが増えす
    ぎる
    ● 質の低いテストをたくさん作って
    も、品質に貢献しなかったり、コ
    ストが高くなったりしてしまう
    ● APIやUTへのカバレッジアップ
    が必要

    View full-size slide

  20. スキルや守備範囲の壁 - 品質の民主化
    “この文脈における「開発者」とは、
    コードを生み出す仕事に
    携わる人を指す。
    たとえば、プログラマー、
    QA、テスター、
    ビジネスアナリストが含まれる”
    アジャイル開発
    その他
    すべて
    開発 テスト
    『Clean Agile』 Robert C. Martin著

    View full-size slide

  21. ビジネス構造の壁
    役割 金額 管理 上流工程 テスト設計 テスト実行 レポート作成
    品質コンサルティン

    XXX万円 ○ ○ ○ ○ ○
    テスト設計者 XX万円 ☓ ☓ ○ ○ ○
    テスト実行者 XX万円 ☓ ☓ ☓ ○ ○
    顧客が本当に欲しいものはマンパワーだけではない

    View full-size slide

  22. ビジネス構造の壁 − マンパワーが解決にならない
    サービス 金額
    アジャイル・スクラム開発における
    QA支援
    XXXX万円
    CI/CD構築と自動テスト統合 XXXX万円
    次世代QAトレーニング XXXX万円
    顧客が本当に欲しいものは結果である

    View full-size slide

  23. マインドセットの壁
    開発へは投資するが
    テストのコストを抑えたい
    どっちかじゃなくて、どっちも大切やでー

    View full-size slide

  24. マインドセットの壁
    テストなんて
    社員がやらなくていい仕事だ
    貴族かよ!!

    View full-size slide

  25. Outline
    なぜアジャイルテスティングと戦ってい
    るか
    アジャイルテスティングの壁
    ブラウザテストの進化
    これからのアジャイルテスティング
    27分ぐらいやったらベストやでー

    View full-size slide

  26. インテリジェントなブラウザテスト自動化
    ● クラウド/SaaSで初期コスト低
    ● 簡単操作でテストの作成や修正可能
    ● AIでテストを自動修復、自動画面分析
    ● クロスブラウザ対応、並列/同時実行、など
    クラウドならではの恩恵多数
    ● CI/CDへの組み込みも簡単

    View full-size slide

  27. キャプチャリプレイ型の弱点と進化
    弱点
    ● イニシャルコストが高い
    ● UI変更に弱い(E2Eフレーム
    ワークも同じ)
    ● テストコードの作成コストが
    高い
    ● テストコードや環境のメンテ
    ナンスコストが高い
    進化
    ● SaaS型でイニシャルコスト削減
    ● AI/MLの活用で変化に対応
    ● ノーコード化で運用コスト削減
    ● 共通部品やローコードによって再
    利用性や柔軟性の向上

    View full-size slide

  28. かんたんなデモ

    View full-size slide

  29. AIがUI変更を検知してテストを自動修復

    View full-size slide

  30. AIによる画面差分の検知

    View full-size slide

  31. ローコード(ノーコード)とAIがもたらすもの
    7X
    テスト作成のスピードUP
    テストカバレッジ テストの運用 リグレッションテスト
    85%
    メンテコストの削減
    80%
    テスト実行コストの削減

    View full-size slide

  32. Outline
    なぜアジャイルテスティングと戦ってい
    るか
    アジャイルテスティングの壁
    ブラウザテストの進化
    これからのアジャイルテスティング
    35分ぐらいやったらべすとやでー

    View full-size slide

  33. コスト削減から投資へ
    ● テストは品質向上を含めた開発
    スピードの向上に移りつつある
    ● 自動化 ≒ コスト削減 と単純に
    考えすぎると失敗しやすい
    ● なぜコスト削減をしたいのか?
    削減したコストによって何をした
    いのか?
    ● 開発もテストも同じ投資対象

    View full-size slide

  34. 求められるゴール
    スプリントの最後に
    テストをしない

    View full-size slide

  35. 求められるゴール
    テスト「だけ」に頼らない。
    テスト「以外」で品質を高める

    View full-size slide

  36. 継続的テストの実現へ
    Photo by Chang Duong on Unsplash

    View full-size slide

  37. 継続的テストするしかない
    スプリントレビュー
    スプリントプランニング
    ふりかえり
    スプリント
    ここでも
    テスト





    仕様 設計 実装 テスト
    ここでも
    テスト
    ここでも
    テスト
    ここでも
    テスト
    たまに第三者検証
    フェーズ
    デザイン・プログラミング
    テスト・テスト自動化
    インフラ構築などあらゆる開発アクティビティ

    View full-size slide

  38. 開発はアジャイル
    でもテストはウォータフォール
    アジャイル開発はテストを
    置き去りにしたのだろうか?
    Photo by Alex Conrath on Unsplash

    View full-size slide

  39. アジャイル開発の10年を
    「テスト」や「品質」が
    歩きはじめている
    Photo by Charlie Hammond on Unsplash

    View full-size slide

  40. Quality Assuranceから
    Quality Engineeringへ
    Photo by Markus Spiske on Unsplash

    View full-size slide

  41. Thank you very much
    月次ウェビナー開催中!
    「探索的テスト」「テスト自動化」「次世代QA
    組織」といったテーマをもとに「アジャイル
    ・DevOps時代のテストや品質保証」を目指
    すウェブナーです。
    今後も、さまざまなトピックや、その道のプロ
    フェッショナルにご登壇いただく予定です。
    https://mabl-japan.connpass.com
    今すぐできる2週間の無料トライアル!
    「セッション見たよ」でさらに2週間(合計1ヶ月!)
    のトライアルプレゼント
    デモリクエストも大歓迎!
    技術トレンドや実事例をまじえたデモMTGもお気
    軽にどうぞ!
    https://www.mabl.com/japan

    View full-size slide