Upgrade to Pro — share decks privately, control downloads, hide ads and more …

品質問題から始まったWhole-TeamアプローチとAgile Testingマインドセットの改善物語

品質問題から始まったWhole-TeamアプローチとAgile Testingマインドセットの改善物語

Jumpei Ito

April 16, 2021
Tweet

More Decks by Jumpei Ito

Other Decks in Technology

Transcript

  1. 品質問題から始まったWhole-Teamアプローチと
    Agile Testingマインドセットの改善物語
    2021/04/16
    伊藤 潤平
    DevOpsDays Tokyo 2021

    View Slide

  2. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    Copyright © 2020 WingArc1st Inc. All Rights Reserved.
    文雅科信息技术(大连)有限公司
    文雅科信息技术(上海)有限公司
    WingArc Singapore Pte. Ltd.
    WingArc Australia Pty Ltd
    東京(本社)
    仙台
    新潟
    札幌
    広島
    福岡
    大阪
    名古屋
    2
    ウイングアーク1st株式会社
    JAPAN
    8拠点
    GLOBAL
    4拠点
    • 商号 :ウイングアーク1st株式会社 (WingArc1st Inc.)
    • 所在地 :〒106-6235東京都港区六本木三丁目2番1号 六本木グランドタワー
    • 創業 :2004年3月
    • 資本金 :2億円
    • 事業内容 :ツール・ミドルウエア製品の開発・販売、導入支援・保守サポートサービスの提供
    • 従業員数 :連結651人/単体561人(2020年2月末現在)
    会社情報

    View Slide

  3. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    Copyright © 2020 WingArc1st Inc. All Rights Reserved. 3
    帳票・文書管理ソリューション事業

    View Slide

  4. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    Copyright © 2020 WingArc1st Inc. All Rights Reserved. 4
    帳票・文書管理ソリューション事業

    View Slide

  5. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    Copyright © 2020 WingArc1st Inc. All Rights Reserved. 5
    データエンパワーメントソリューション事業

    View Slide

  6. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    自己紹介
    • 伊藤 潤平(@jp_110)
    • ウイングアーク1st株式会社
    • 帳票関連ソフトウェアの品質保証/プロセス改善
    • 社外活動
    • 品質管理学会員
    • JaSST Niigata 実行委員長
    • Scrum Fest Osaka 新潟トラックオーナー
    • YouTube翻訳活動
    • Appendix A: What We‘ve Learned Since Agile Testing -- Janet Gregory
    and Lisa Crispin.
    • Gojko Adzic - "Five Key Challenges for Agile Testers tomorrow" -
    Keynote @ Agile Testing Days 2011
    • RSGT2021 - Janet Gregory - What’s Testing Got to do with Quality?
    • ブログ
    • https://medium.com/@sadonosake
    • 趣味
    • 日本酒(新潟限定)
    • 筋トレ(健康志向)
    6

    View Slide

  7. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    ここ一年の
    活動

    View Slide

  8. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    スクラムフェス大阪 2020
    8
    https://youtu.be/FIJQPHNS5Jc?list=PLynFqaQaGS-hRpH3Mi-6zHcMQO9gdAnnE

    View Slide

  9. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    とやのガッター Spring’21
    9
    https://youtu.be/Bwsl7tyAApA?list=PLynFqaQaGS-hRpH3Mi-6zHcMQO9gdAnnE

    View Slide

  10. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    Agile Testing DaysのYouTubeチャンネルに日本語プレイリスト
    10
    https://www.youtube.com/playlist?list=PLynFqaQaGS-hRpH3Mi-6zHcMQO9gdAnnE

    View Slide

  11. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    RSGT2021
    11
    https://youtu.be/fIdECEate5k?list=PL-bvtmk0kdw6DENU_86qtzzodjI9pHbrC

    View Slide

  12. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    研修
    12

    View Slide

  13. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    品質問題から始まった
    Whole-Teamアプローチと
    Agile Testingマインドセットの改善物語
    13

    View Slide

  14. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    伝えたいこと
    ほんの事例です。
    凄い話ではありません。
    現場で起こっていることを、伝えられる範囲で伝
    えます。
    14

    View Slide

  15. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    Whole-Teamアプローチ
    • “Whole-Team”
    • whoever you need to deliver the product
    • “Whole-Team Approach”
    • “all team members are responsible for the quality of their
    product”
    • プロダクトをデリバリーする際に関連するメンバー全
    員が「Whole-Team」であり、Whole-Teamのメン
    バーは全員がプロダクトに対する品質の責任がある。
    15

    View Slide

  16. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    Agile Testingマインドセット
    Agile Testingは、テスト活動やテストフェー
    ズではない
    テストはチーム全体の責任というマインド
    誰もがビジネスを理解し品質にフォーカスし
    ている
    16
    ドメイン
    エキスパート
    テスター
    プログラ
    マー
    ドメイン
    エキスパート
    テスター
    プログラ
    マー
    Functional Teams
    Whole-Team

    View Slide

  17. Copyright © 2021 WingArc1st Inc. All Rights Reserved.

    • 6つのプロダクトとサービスをQA
    担当している
    • テスト自動化とかCI/CDとかやって
    いるが...
    • プラクティスばかりで原理原則が
    できてない...
    • モヤモヤ...
    17

    View Slide

  18. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    18
    神様はちゃ~んと見てる
    (ミッションを与えてくれた)

    View Slide

  19. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    ある時
    単純バグ
    出すぎ
    品質の話が
    できる人間
    が来てくれ
    品質問題抱えてるから
    謝りに行こう!

    View Slide

  20. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    状況
    WingArc1st
    関連会社
    お客様

    View Slide

  21. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    プロジェクトの現場
    PdM
    BIチーム
    開発者2名
    アプリチーム
    開発者2名
    テスター2名
    運用チーム
    開発者2名
    サポートチーム
    サポート
    エンジニア1名

    View Slide

  22. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    QAとしてプロジェクトに入る
    PdM
    BIチーム
    開発者2名
    アプリチーム
    開発者2名
    テスター2名
    運用チーム
    開発者2名
    サポートチーム
    サポート
    エンジニア1名
    QA

    View Slide

  23. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    Build the Trust

    View Slide

  24. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    24
    https://www.wingarc.com/company/vision.html

    View Slide

  25. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    お客様との信頼関係構築
    25
    システムなので不具合があることは理解しているが、
    サービスとしてあまりにも軽微なバグが多い。
    テストしていないのではないか?
    社内からの問い合わせも多く、ほぼデバッカーになっている。
    より良いサービス運用のためにはどうすればよいか?
    品質改善プロジェクトを立ち上げます。
    月一回の定例報告会を実施させてください。

    View Slide

  26. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    プロダクトマネージャーとの信頼関係構築
    26
    全てのチームが品質問題を抱えている。
    QAとしてプロジェクトに入って、品質問題を解決してほし
    い。
    最終的には組織全体にQAを推進してほしい。
    QA監査としてプロジェクトに入ります。
    先ずはチームメンバー全員と1on1させてください。
    心理的に安全な場作りがしたいです。

    View Slide

  27. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    BIチームメンバーとの信頼関係構築
    27
    ユーザーの要望をスピーディーに構築して、早く使っても
    らいたかった。
    プロトタイプ開発のつもりであり、テストする時間はな
    かった。
    テストして品質を上げたい。
    先ずは朝会を始めて、メンバー全員と共通認識を持ちま
    しょう。
    カスタマーエクスペリエンスについて、一緒に考えていき
    ましょう。

    View Slide

  28. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    アプリチームメンバーとの信頼関係構築
    28
    お客様の温度感は理解しているが、メンバーには開発に集
    中してほしいので、伝えていない。
    品質は良くしたいし、これまで通りの開発もしたい。
    わかりました。
    ただ、メンバーとは共通認識とりたいので、毎日のデイ
    リーミーティングがNGの場合は、ウィークリーミーティン
    グをさせてください。

    View Slide

  29. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    お客様
    プログラ
    マー
    全員が品質に対して課題認識はあるが、、、
    29
    PdM
    テスター
    プログラ
    マー
    BIチーム アプリチーム
    PdM
    テスター

    View Slide

  30. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    失敗談
    30
    テスト自動化
    (文化の違い)
    QA監査
    (監視されるイメージ)

    View Slide

  31. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    始動
    31
    • BIチームには信頼できるメンバーであるY
    さんをアサイン
    • アプリチームには信頼できるメンバーであ
    るWさんをアサイン
    • BIチームはデイリーミーティング(朝会)
    を、アプリチームは週次のミーティングを
    開始。
    BIチーム

    Yさん
    Wさん

    View Slide

  32. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    Big Picture

    Use Case

    View Slide

  33. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    ビッグピクチャーを知る
    33

    View Slide

  34. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    ビックピクチャーとは?
    書籍『 Agile Testing: A Practical Guide for Testers and Agile
    Teams 』のサマリーチャプター(Chapter 21)では7つの成功
    要因についてまとめられています。
    Success Factor 6: Collaborate with Customers
    “テスターがアジャイルチームに貢献する最大の価値は、顧客
    の要求を明確にし、優先順位付けを助け、要求された動作や
    ユーザーシナリオを具体的な例で説明し、それらの例を実行可
    能なテストに変えることである。”
    Success Factor 7: Look at the Big Picture
    “テスターは全体像を見る傾向があり、通常は顧客の視点から
    見ることが多い。この全体像を見る視点は、チームへの大きな
    貢献となります。”
    34
    https://www.amazon.co.jp/dp/B001QL5N4K

    View Slide

  35. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    お客様に直接
    業務シナリオをヒヤリング
    • 製品を使う目的
    • 利用するユーザー
    • 利用環境
    • 利用時間
    • 利用場面(シナリオ)
    35

    View Slide

  36. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    ユースケース化
    ユースケースとは?
    • エンドユーザーとシス
    テムの間の関連シナリ
    オのコレクション
    • ユーザーはユースケー
    スのインスタンス(シ
    ナリオ)を使用して、
    いくつかの目標を達成
    したい。
    36

    View Slide

  37. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    ユースケースの例
    37

    View Slide

  38. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    ユースケースの例
    38
    Name:販売状況の確認
    Goal:年月日ごと・店舗ごとに、推奨
    した商品のうちの販売された件数を確認
    できる
    Actor:店舗スタッフ
    Preconditions:管轄地区の店舗毎の販
    売実績を確認
    Trigger:購入状況を検索画面を出した
    Scenario:
    1.購入集計画面を表示
    2.検索を実行
    3.EXCEL出力
    最低限の保証:販売状況を正しい集計結
    果で表示されている
    Name:商品を検索
    Goal:担当店舗のスタッフが顧客対応
    時に、どの商品をどのように推奨したか
    を分析できる
    Actor:店舗スタッフ
    Preconditions:見込顧客数と主要な推
    奨商品を把握
    Trigger:商品を検索画面を出した
    Scenario:
    1.商品集計画面を表示
    2.検索を実行
    3.グラフ表示
    4.EXCEL出力
    最低限の保証:対応商品を正しい集計結
    果で表示されている

    View Slide

  39. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    ユースケースからテスト観点への落とし込み
    39
    Name:商品を検索
    Goal:担当店舗のスタッフが顧客
    対応時に、どの商品をどのように
    推奨したかを分析できる
    Actor:店舗スタッフ
    Preconditions:見込顧客数と主
    要な推奨商品を把握
    Trigger:商品を検索画面を出し

    Scenario:
    1.商品集計画面を表示
    2.検索を実行
    3.グラフ表示
    4.EXCEL出力
    最低限の保証:対応商品を正しい
    集計結果で表示されている
    Name:対応商品を検索
    Goal:担当店舗のスタッフが顧客
    対応時に、どの商品をどのように
    推奨したかを分析できる
    Actor:店舗スタッフ
    Preconditions:見込顧客数と主
    要な推奨商品を把握
    Trigger:商品を検索画面を出し

    Scenario:
    1.商品集計画面を表示
    2.検索を実行
    3.EXCEL出力
    最低限の保証:対応商品を正しい
    集計結果で表示されている
    シナリオ
    商品集計
    店舗集計
    会員集計
    購入集計
    予約集計
    検索
    グラフ表示
    EXCEL出力
    テスト観点
    対応可能なブラウザで閲覧できる
    HOMEへ遷移できる
    ボードを閲覧できる(UI・アイテム
    構成の確認)
    右クリックメニューの操作が行える
    操作状態をクリアできる
    リロード後、ボードが繰り返し表示
    できる
    検索条件の初期値が指定通りである
    ボタンから検索の実行ができる
    検索条件を変更した際にクリア設定
    が反映される
    チャートのデータを絞り込み(リ
    レーション・フィルタ)できる
    EXCELデータの出力ができる
    テストタイプ
    プラットフォーム
    テスト
    UI操作性確認テス

    UIコンポーネント
    動作テスト
    検索実行テスト

    View Slide

  40. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    テスト設計
    40
    ビッグピクチャー
    (ユースケース)
    テスト設計
    プラットフォー
    ムテスト
    UI操作性確認テ
    スト
    UIコンポーネン
    ト動作テスト
    検索実行テスト
    テストケース テストケース テストケース テストケース
    テストタイプ
    テストケース

    View Slide

  41. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    余談
    41
    こういうのが欲しかった
    ビッグピクチャーを全員が理解することが大事ですね
    品質に対する意識変わった
    PdM
    テス
    ター
    プログ
    ラマー

    View Slide

  42. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    Whole-Team
    Approach

    View Slide

  43. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    チーム全員でテストに取り組み(BIチームの例)
    基本設計
    機能設計
    詳細設計
    実装
    単体テスト
    結合テスト
    システムテスト
    受け入れテスト
    とにかくユーザーに質問
    設計仕様書のドキュメント化
    要件定義
    チーム全員でテスト実行

    View Slide

  44. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    品質分析&お客様へ報告
    • 品質報告
    • 現在の状況説明
    • テスト計画の報告
    • 実行したテストの報告
    • 不具合と分析の報告
    • お客様の反応
    • 「だいぶ頑張ってバグ出してくれたん
    だなー」
    44

    View Slide

  45. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    振り返り
    45

    View Slide

  46. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    BIチームの活動まとめ
    テスト
    計画
    テスト
    設計
    テスト
    実行
    品質
    分析
    振り
    返り
    計画
    朝会
    設計 実行 分析&報告 振り返り
    バックログ管理
    PdM
    テス
    ター
    プログ
    ラマー

    View Slide

  47. Copyright © 2021 WingArc1st Inc. All Rights Reserved.

    View Slide

  48. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    凄いけど複雑すぎる製品
    • 凄い製品なのはわかるけど...
    • 機能全部乗せ状態で目的がわか
    らない
    • ユーザーも目的を理解していな

    • テストは単体テストのみ
    • 探索してみると深刻なバグ発見
    48
    https://pixabay.com/ja/photos/1221315/

    View Slide

  49. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    ステーク
    ホルダーに直訴
    • チームメンバー全員と共有し、
    • ステークホルダーと対話
    49

    View Slide

  50. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    リリース延期を決定
    お客様の運用目的に沿った構
    成にします。
    機能面と非機能面から品質を
    改善してリリースいたします。
    50

    View Slide

  51. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    余談
    51
    これだけ品質良いもの出したらもっとお金取れる
    品質を良くすることによって製品価値が上がりますね
    PdM
    テス
    ター
    プログ
    ラマー
    頑張って品質上げよう!

    View Slide

  52. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    Living
    Document

    View Slide

  53. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    常に最新の情報を持つ
    「生きたドキュメント」
    5
    3

    View Slide

  54. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    テスト計画書を基に全員で認識合わせ(アプリチームの例)
    54
    バックログ管理
    要求仕様書
    テスト計画書
    開発&テスト
    バックログ管理
    要求仕様書 開発&テスト
    情報過多
    情報過多 決まった情報のみを整理

    View Slide

  55. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    55
    テスト計画書の作成
    • 誰もが理解できるシンプルなテスト計画書を作成。
    (ウイングアークではテスト計画書はISO/IEC/IEEE29119-3に準拠している)
    • テストの目的やHow,When,Whatをチーム全員で理解する。

    View Slide

  56. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    「生きたドキュメント」でトレーザビリティを確保
    56
    1 2
    プロセス 形式 ID 機能 ID 機能
    テスト
    ベース
    要求 PowerPoint P.12 ブランド設定 P.13 会員の切り替えモード
    設計 Backlog
    Tickets
    PJ_SC-743 端末設定(ブランド表示) PJ_SC-866 会員の切り替えモード
    実装 Source Code - - - -
    テスト
    作業成果物
    テスト計画 GoogleSpread
    Sheets
    - - - -
    テスト設計 MindMap(
    MindMister) PJ_SC-743 [ノード]端末設定(ブランド表示) PJ_SC-866 [ノード]会員の切り替えモード
    テスト実装 GoogleSpread
    Sheets
    PJ_SC-743
    [テスト仕様書]端末設定(ブランド
    表示) PJ_SC-866
    [テスト仕様書]会員の切り替え
    モード
    テスト実行 GoogleSpread
    Sheets
    PJ_SC-743
    [テスト結果]端末設定(ブランド表
    示) PJ_SC-866
    [テスト結果]会員の切り替えモー

    テスト分析 Backlog
    Tickets
    PJ_SC-743
    BTSに以下を記入
    [テスト仕様書]端末設定(ブランド
    表示)
    PJ_SC-866
    BTSに以下を記入
    [テスト仕様書]会員の切り替え
    モード

    View Slide

  57. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    余談
    57
    これだけ見える化されていれば、PdMレビューのタイミング
    を入れやすくなる
    速いフィードバックプロセスが大事ですね
    リスクが見えた時にチーム全体に共有しやすくなった
    PdM
    テス
    ター
    プログ
    ラマー

    View Slide

  58. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    現在

    View Slide

  59. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    お客様
    「最近トラブルなくなってきましたね」
    59

    View Slide

  60. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    BIチーム
    「単体テストを完ぺきな状態にしたい」
    「ユースケースを考えながら開発したい」
    「リグレッションテストを自動化したい」
    60

    View Slide

  61. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    アプリチーム
    「計画書が大事なことが分かった」
    「実装時の単体テストプロセスを見える化したい」
    61

    View Slide

  62. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    プロダクトマネジャー
    「安心で安全な今の品質状態を継続したい」
    62

    View Slide

  63. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    お客様
    プログラ
    マー
    Whole-Teamアプローチ
    63
    PdM
    テスター
    プログラ
    マー
    BIチーム アプリチーム
    PdM
    テスター

    View Slide

  64. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    未来

    View Slide

  65. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    失敗談 → チームの変化
    65
    テスト自動化
    (文化の違い)
    QA監査
    (監視されるイメージ)

    View Slide

  66. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    QAファンネル
    QAプロモーター
    QAコンサルタント
    QAコーチ
    インプロセスQA
    フェーズゲートQA
    ・ QAサービス
    組織全体にQAを推進していく役割
    (自分で手を出してはいけない)
    開発組織に常駐せずに
    QAの技術移転や技術向上を担う
    開発組織に時々常駐してQAの
    技術移転や品質文化の浸透をする
    開発とは別組織でQAの
    実業務や出荷判定を担う
    開発組織に常駐しながら
    QAの実業務と品質文化を担う
    JaSST'21 Tokyo
    http://www.jasst.jp/symposium/jasst21tokyo/details.html#B8
    ソフトウェア・シンポジウム 2021
    https://www.sea.jp/ss2021/

    View Slide

  67. Copyright © 2021 WingArc1st Inc. All Rights Reserved.
    QAプロモーター
    67
    自己組織化したチーム
    QAプロモーター
    ティーチング

    メンタリング
    コーチング
    ファシリ
    テーション
    障害物の
    除去
    観察
    www.amazon.co.jp/dp/4798166855

    View Slide

  68. View Slide