Upgrade to Pro — share decks privately, control downloads, hide ads and more …

アジャイルテスティングが倒せない / I can't beat agile testing

Dai Fujihara
September 07, 2021

アジャイルテスティングが倒せない / I can't beat agile testing

10年ぐらいアジャイルコーチを経験してきて、営業とマーケ > PO > 開発 > テスト > リリース > CSやCX とプロセスを一通り経験してある程度、改善を進められるようになったのですが、アジャイルテスティングがなかなか倒せません!(現在約5年目に突入)

よって、ちょっと心を落ち着けて、倒せない敵がどういったものなのかを考えるセッションです。

XP祭り 2021 発表資料。
https://confengine.com/conferences/xp2021/proposal/15521

Dai Fujihara

September 07, 2021
Tweet

More Decks by Dai Fujihara

Other Decks in Programming

Transcript

  1. アジャイルテスティング
    が倒せない
    Dai Fujihara, mabl Inc. XP祭り, Sep 18th

    View Slide

  2. About Me
    『アジャイル開発とスクラム』 https://www.amazon.co.jp/dp/4798129704/ 、『リーン開発の現場』 https://www.amazon.co.jp/dp/427406932X
    藤原 大 / Dai Fujihara
    Japan Lead at mabl Inc.
    CEO at Sekai Co., Ltd.
    ● 現在: 独立してスーパーアジャイルコーチ
    開発組織の技術顧問(プロセス、 QA中心)
    CTOやEMへのコーチング
    mablの日本顧客向け業務全般担当
    ● メルカリ: エンジニアリングマネージャ( EM)
    Software Engineer in Test(SET)
    テスト自動化、QA組織立ち上げ
    ● 楽天: EM、アジャイルコーチ
    ● 某SIer: Javaエンジニア
    ● 活動:
    ○ 『アジャイル開発とスクラム』寄稿
    ○ 『リーン開発の現場』翻訳
    ○ Twitter: @daipresents
    ○ https://daipresents.com/service/

    View Slide

  3. Outline
    なぜアジャイルテスティングと戦ってい
    るか
    アジャイルテスティングの壁
    ブラウザテストの進化
    これからのアジャイルテスティング

    View Slide

  4. A long time ago in a galaxy far,
    far away...

    View Slide

  5. Photo by Agnieszka Kowalczyk on Unsplash
    巨大な
    インターネット帝国

    View Slide

  6. サイロ化
    保守的体質
    イノベーション不足
    Photo by Fernando Paredes Murillo on Unsplash

    View Slide

  7. Photo by Cade Roberts on Unsplash
    多くのジェダイが息絶えた

    View Slide

  8. 巨大アプリの開発
    マニュアルテストがボ
    トルネック
    Photo by Alexander Tsang on Unsplash

    View Slide

  9. 開発はアジャイル
    でもテストはウォータフォール
    Photo by Alex Conrath on Unsplash

    View Slide

  10. こんなんで「はやく」なるわけないじゃないです
    かぁー。
    社内外注みたいな仕組みやめて、チームで
    開発に取り組めるQA組織作りませんか?

    View Slide

  11. Photo by Nikolas Noonan on Unsplash
    めっちゃ怒ってたし
    すげー大反発

    View Slide

  12. わからんでもないけど
    ● QA組織は自分たちの死活問題と
    考えた。しかし変化する力も度胸も
    ないジレンマ
    ● ボトルネックに合わせて考えると、
    大きな改善は見込めない
    ● 人生の時間をかける価値があるの
    か。なければ次世代組織をつくれ
    る場所へ

    View Slide

  13. “テストなんて
    誰でもできるでしょ?”
    Photo by Javad Esmaeili on Unsplash

    View Slide

  14. アジャイルテスティングが
    全然倒せない!
    はや5年・・・

    View Slide

  15. Outline
    なぜアジャイルテスティングと戦ってい
    るか
    アジャイルテスティングの壁
    ブラウザテストの進化
    これからのアジャイルテスティング
    16分ぐらいならベストやでー

    View Slide

  16. 現状をとりまいているもの
    アジャイル・DevOps時
    代に突入
    ● イテレーティブ&インクリメ
    ンタル
    ● すばやいリリースとフィー
    ドバック
    ● 正しいものを正しく作りた

    アジャイル・DevOpsを
    支える技術の進化
    ● CI/CDサービスのコモディ
    ティ化
    ● Docker, k8s の急速な広
    がり
    ● クラウド環境の繁栄
    求められるアジャイル
    なテスト
    ● 従来からテストフェーズが
    ボトルネックになりがち
    ● アジャイルなテスティング
    の事例不足・マニュアル
    依存
    ● さてどうしよう?

    View Slide

  17. スキルや守備範囲の壁
    ビジネス構造の壁
    マインドセットの壁

    View Slide

  18. スキルや守備範囲の変化 - テスト自動化スキル
    ● OSSでもツールでも、テストを自動化し
    てメンテナンスしていくことは変わりない
    ● つまり、コストはかかる
    ● そのコストが低いか高いかは現場に
    よって異なる
    ● 単純作業であれば自動化で十分。ただ
    し、良い設計は「まだ」自動化できない

    View Slide

  19. スキルや守備範囲の壁 - 本当に必要なテストを作る
    ● 簡単に作れる ≒ E2Eが増えす
    ぎる
    ● 質の低いテストをたくさん作って
    も、品質に貢献しなかったり、コ
    ストが高くなったりしてしまう
    ● APIやUTへのカバレッジアップ
    が必要

    View Slide

  20. スキルや守備範囲の壁 - 品質の民主化
    “この文脈における「開発者」とは、
    コードを生み出す仕事に
    携わる人を指す。
    たとえば、プログラマー、
    QA、テスター、
    ビジネスアナリストが含まれる”
    アジャイル開発
    その他
    すべて
    開発 テスト
    『Clean Agile』 Robert C. Martin著

    View Slide

  21. ビジネス構造の壁
    役割 金額 管理 上流工程 テスト設計 テスト実行 レポート作成
    品質コンサルティン

    XXX万円 ○ ○ ○ ○ ○
    テスト設計者 XX万円 ☓ ☓ ○ ○ ○
    テスト実行者 XX万円 ☓ ☓ ☓ ○ ○
    顧客が本当に欲しいものはマンパワーだけではない

    View Slide

  22. ビジネス構造の壁 − マンパワーが解決にならない
    サービス 金額
    アジャイル・スクラム開発における
    QA支援
    XXXX万円
    CI/CD構築と自動テスト統合 XXXX万円
    次世代QAトレーニング XXXX万円
    顧客が本当に欲しいものは結果である

    View Slide

  23. マインドセットの壁
    開発へは投資するが
    テストのコストを抑えたい
    どっちかじゃなくて、どっちも大切やでー

    View Slide

  24. マインドセットの壁
    テストなんて
    社員がやらなくていい仕事だ
    貴族かよ!!

    View Slide

  25. Outline
    なぜアジャイルテスティングと戦ってい
    るか
    アジャイルテスティングの壁
    ブラウザテストの進化
    これからのアジャイルテスティング
    27分ぐらいやったらベストやでー

    View Slide

  26. インテリジェントなブラウザテスト自動化
    ● クラウド/SaaSで初期コスト低
    ● 簡単操作でテストの作成や修正可能
    ● AIでテストを自動修復、自動画面分析
    ● クロスブラウザ対応、並列/同時実行、など
    クラウドならではの恩恵多数
    ● CI/CDへの組み込みも簡単

    View Slide

  27. キャプチャリプレイ型の弱点と進化
    弱点
    ● イニシャルコストが高い
    ● UI変更に弱い(E2Eフレーム
    ワークも同じ)
    ● テストコードの作成コストが
    高い
    ● テストコードや環境のメンテ
    ナンスコストが高い
    進化
    ● SaaS型でイニシャルコスト削減
    ● AI/MLの活用で変化に対応
    ● ノーコード化で運用コスト削減
    ● 共通部品やローコードによって再
    利用性や柔軟性の向上

    View Slide

  28. かんたんなデモ

    View Slide

  29. AIがUI変更を検知してテストを自動修復

    View Slide

  30. AIによる画面差分の検知

    View Slide

  31. ローコード(ノーコード)とAIがもたらすもの
    7X
    テスト作成のスピードUP
    テストカバレッジ テストの運用 リグレッションテスト
    85%
    メンテコストの削減
    80%
    テスト実行コストの削減

    View Slide

  32. Outline
    なぜアジャイルテスティングと戦ってい
    るか
    アジャイルテスティングの壁
    ブラウザテストの進化
    これからのアジャイルテスティング
    35分ぐらいやったらべすとやでー

    View Slide

  33. コスト削減から投資へ
    ● テストは品質向上を含めた開発
    スピードの向上に移りつつある
    ● 自動化 ≒ コスト削減 と単純に
    考えすぎると失敗しやすい
    ● なぜコスト削減をしたいのか?
    削減したコストによって何をした
    いのか?
    ● 開発もテストも同じ投資対象

    View Slide

  34. 求められるゴール
    スプリントの最後に
    テストをしない

    View Slide

  35. 求められるゴール
    テスト「だけ」に頼らない。
    テスト「以外」で品質を高める

    View Slide

  36. 継続的テストの実現へ
    Photo by Chang Duong on Unsplash

    View Slide

  37. 継続的テストするしかない
    スプリントレビュー
    スプリントプランニング
    ふりかえり
    スプリント
    ここでも
    テスト





    仕様 設計 実装 テスト
    ここでも
    テスト
    ここでも
    テスト
    ここでも
    テスト
    たまに第三者検証
    フェーズ
    デザイン・プログラミング
    テスト・テスト自動化
    インフラ構築などあらゆる開発アクティビティ

    View Slide

  38. 開発はアジャイル
    でもテストはウォータフォール
    アジャイル開発はテストを
    置き去りにしたのだろうか?
    Photo by Alex Conrath on Unsplash

    View Slide

  39. アジャイル開発の10年を
    「テスト」や「品質」が
    歩きはじめている
    Photo by Charlie Hammond on Unsplash

    View Slide

  40. Quality Assuranceから
    Quality Engineeringへ
    Photo by Markus Spiske on Unsplash

    View Slide

  41. Thank you very much
    月次ウェビナー開催中!
    「探索的テスト」「テスト自動化」「次世代QA
    組織」といったテーマをもとに「アジャイル
    ・DevOps時代のテストや品質保証」を目指
    すウェブナーです。
    今後も、さまざまなトピックや、その道のプロ
    フェッショナルにご登壇いただく予定です。
    https://mabl-japan.connpass.com
    今すぐできる2週間の無料トライアル!
    「セッション見たよ」でさらに2週間(合計1ヶ月!)
    のトライアルプレゼント
    デモリクエストも大歓迎!
    技術トレンドや実事例をまじえたデモMTGもお気
    軽にどうぞ!
    https://www.mabl.com/japan

    View Slide