品質問題から始まったWhole-TeamアプローチとAgile Testingマインドセットの改善物語

Transcript

1. 品質問題から始まったWhole-Teamアプローチと Agile Testingマインドセットの改善物語 2021/04/16 伊藤 潤平 DevOpsDays Tokyo 2021

2. Copyright © 2021 WingArc1st Inc. All Rights Reserved. Copyright ©

   2020 WingArc1st Inc. All Rights Reserved. 文雅科信息技术（大连）有限公司 文雅科信息技术（上海）有限公司 WingArc Singapore Pte. Ltd. WingArc Australia Pty Ltd 東京（本社） 仙台 新潟 札幌 広島 福岡 大阪 名古屋 2 ウイングアーク１ｓｔ株式会社 JAPAN 8拠点 GLOBAL 4拠点 • 商号 ：ウイングアーク１ｓｔ株式会社 (WingArc1st Inc.) • 所在地 ：〒106-6235東京都港区六本木三丁目2番1号 六本木グランドタワー • 創業 ：2004年3月 • 資本金 ：2億円 • 事業内容 ：ツール・ミドルウエア製品の開発・販売、導入支援・保守サポートサービスの提供 • 従業員数 ：連結651人／単体561人（2020年2月末現在） 会社情報

3. Copyright © 2021 WingArc1st Inc. All Rights Reserved. Copyright ©

   2020 WingArc1st Inc. All Rights Reserved. 3 帳票・文書管理ソリューション事業

4. Copyright © 2021 WingArc1st Inc. All Rights Reserved. Copyright ©

   2020 WingArc1st Inc. All Rights Reserved. 4 帳票・文書管理ソリューション事業

5. Copyright © 2021 WingArc1st Inc. All Rights Reserved. Copyright ©

   2020 WingArc1st Inc. All Rights Reserved. 5 データエンパワーメントソリューション事業

6. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 自己紹介 •

   伊藤 潤平(@jp_110) • ウイングアーク１ｓｔ株式会社 • 帳票関連ソフトウェアの品質保証/プロセス改善 • 社外活動 • 品質管理学会員 • JaSST Niigata 実行委員長 • Scrum Fest Osaka 新潟トラックオーナー • YouTube翻訳活動 • Appendix A: What We‘ve Learned Since Agile Testing -- Janet Gregory and Lisa Crispin. • Gojko Adzic - "Five Key Challenges for Agile Testers tomorrow" - Keynote @ Agile Testing Days 2011 • RSGT2021 - Janet Gregory - What’s Testing Got to do with Quality? • ブログ • https://medium.com/@sadonosake • 趣味 • 日本酒（新潟限定） • 筋トレ（健康志向） 6

7. Copyright © 2021 WingArc1st Inc. All Rights Reserved. ここ一年の 活動

8. Copyright © 2021 WingArc1st Inc. All Rights Reserved. スクラムフェス大阪 2020

   8 https://youtu.be/FIJQPHNS5Jc?list=PLynFqaQaGS-hRpH3Mi-6zHcMQO9gdAnnE

9. Copyright © 2021 WingArc1st Inc. All Rights Reserved. とやのガッター Spring’21

   9 https://youtu.be/Bwsl7tyAApA?list=PLynFqaQaGS-hRpH3Mi-6zHcMQO9gdAnnE

10. Copyright © 2021 WingArc1st Inc. All Rights Reserved. Agile Testing

    DaysのYouTubeチャンネルに日本語プレイリスト 10 https://www.youtube.com/playlist?list=PLynFqaQaGS-hRpH3Mi-6zHcMQO9gdAnnE

11. Copyright © 2021 WingArc1st Inc. All Rights Reserved. RSGT2021 11

    https://youtu.be/fIdECEate5k?list=PL-bvtmk0kdw6DENU_86qtzzodjI9pHbrC

12. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 研修 12

13. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 品質問題から始まった Whole-Teamアプローチと

    Agile Testingマインドセットの改善物語 13

14. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 伝えたいこと ほんの事例です。

    凄い話ではありません。 現場で起こっていることを、伝えられる範囲で伝 えます。 14

15. Copyright © 2021 WingArc1st Inc. All Rights Reserved. Whole-Teamアプローチ •

    “Whole-Team” • whoever you need to deliver the product • “Whole-Team Approach” • “all team members are responsible for the quality of their product” • プロダクトをデリバリーする際に関連するメンバー全 員が「Whole-Team」であり、Whole-Teamのメン バーは全員がプロダクトに対する品質の責任がある。 15

16. Copyright © 2021 WingArc1st Inc. All Rights Reserved. Agile Testingマインドセット

    Agile Testingは、テスト活動やテストフェー ズではない テストはチーム全体の責任というマインド 誰もがビジネスを理解し品質にフォーカスし ている 16 ドメイン エキスパート テスター プログラ マー ドメイン エキスパート テスター プログラ マー Functional Teams Whole-Team

17. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 私 •

    6つのプロダクトとサービスをQA 担当している • テスト自動化とかCI/CDとかやって いるが... • プラクティスばかりで原理原則が できてない... • モヤモヤ... 17

18. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 18 神様はちゃ～んと見てる

    （ミッションを与えてくれた）

19. Copyright © 2021 WingArc1st Inc. All Rights Reserved. ある時 単純バグ

    出すぎ 品質の話が できる人間 が来てくれ 品質問題抱えてるから 謝りに行こう！

20. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 状況 WingArc1st

    関連会社 お客様

21. Copyright © 2021 WingArc1st Inc. All Rights Reserved. プロジェクトの現場 PdM

    BIチーム 開発者2名 アプリチーム 開発者2名 テスター2名 運用チーム 開発者2名 サポートチーム サポート エンジニア1名

22. Copyright © 2021 WingArc1st Inc. All Rights Reserved. QAとしてプロジェクトに入る PdM

    BIチーム 開発者2名 アプリチーム 開発者2名 テスター2名 運用チーム 開発者2名 サポートチーム サポート エンジニア1名 QA

23. Copyright © 2021 WingArc1st Inc. All Rights Reserved. Build the

    Trust

24. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 24 https://www.wingarc.com/company/vision.html

25. Copyright © 2021 WingArc1st Inc. All Rights Reserved. お客様との信頼関係構築 25

    システムなので不具合があることは理解しているが、 サービスとしてあまりにも軽微なバグが多い。 テストしていないのではないか？ 社内からの問い合わせも多く、ほぼデバッカーになっている。 より良いサービス運用のためにはどうすればよいか？ 品質改善プロジェクトを立ち上げます。 月一回の定例報告会を実施させてください。

26. Copyright © 2021 WingArc1st Inc. All Rights Reserved. プロダクトマネージャーとの信頼関係構築 26

    全てのチームが品質問題を抱えている。 QAとしてプロジェクトに入って、品質問題を解決してほし い。 最終的には組織全体にQAを推進してほしい。 QA監査としてプロジェクトに入ります。 先ずはチームメンバー全員と1on1させてください。 心理的に安全な場作りがしたいです。

27. Copyright © 2021 WingArc1st Inc. All Rights Reserved. BIチームメンバーとの信頼関係構築 27

    ユーザーの要望をスピーディーに構築して、早く使っても らいたかった。 プロトタイプ開発のつもりであり、テストする時間はな かった。 テストして品質を上げたい。 先ずは朝会を始めて、メンバー全員と共通認識を持ちま しょう。 カスタマーエクスペリエンスについて、一緒に考えていき ましょう。

28. Copyright © 2021 WingArc1st Inc. All Rights Reserved. アプリチームメンバーとの信頼関係構築 28

    お客様の温度感は理解しているが、メンバーには開発に集 中してほしいので、伝えていない。 品質は良くしたいし、これまで通りの開発もしたい。 わかりました。 ただ、メンバーとは共通認識とりたいので、毎日のデイ リーミーティングがNGの場合は、ウィークリーミーティン グをさせてください。

29. Copyright © 2021 WingArc1st Inc. All Rights Reserved. お客様 プログラ

    マー 全員が品質に対して課題認識はあるが、、、 29 PdM テスター プログラ マー BIチーム アプリチーム PdM テスター

30. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 失敗談 30

    テスト自動化 （文化の違い） QA監査 （監視されるイメージ）

31. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 始動 31

    • BIチームには信頼できるメンバーであるY さんをアサイン • アプリチームには信頼できるメンバーであ るWさんをアサイン • BIチームはデイリーミーティング（朝会） を、アプリチームは週次のミーティングを 開始。 BIチーム 私 Yさん Wさん

32. Copyright © 2021 WingArc1st Inc. All Rights Reserved. Big Picture

    ＆ Use Case

33. Copyright © 2021 WingArc1st Inc. All Rights Reserved. ビッグピクチャーを知る 33

34. Copyright © 2021 WingArc1st Inc. All Rights Reserved. ビックピクチャーとは？ 書籍『

    Agile Testing: A Practical Guide for Testers and Agile Teams 』のサマリーチャプター（Chapter 21）では7つの成功 要因についてまとめられています。 Success Factor 6: Collaborate with Customers “テスターがアジャイルチームに貢献する最大の価値は、顧客 の要求を明確にし、優先順位付けを助け、要求された動作や ユーザーシナリオを具体的な例で説明し、それらの例を実行可 能なテストに変えることである。” Success Factor 7: Look at the Big Picture “テスターは全体像を見る傾向があり、通常は顧客の視点から 見ることが多い。この全体像を見る視点は、チームへの大きな 貢献となります。” 34 https://www.amazon.co.jp/dp/B001QL5N4K

35. Copyright © 2021 WingArc1st Inc. All Rights Reserved. お客様に直接 業務シナリオをヒヤリング

    • 製品を使う目的 • 利用するユーザー • 利用環境 • 利用時間 • 利用場面（シナリオ） 35

36. Copyright © 2021 WingArc1st Inc. All Rights Reserved. ユースケース化 ユースケースとは？

    • エンドユーザーとシス テムの間の関連シナリ オのコレクション • ユーザーはユースケー スのインスタンス（シ ナリオ）を使用して、 いくつかの目標を達成 したい。 36

37. Copyright © 2021 WingArc1st Inc. All Rights Reserved. ユースケースの例 37

38. Copyright © 2021 WingArc1st Inc. All Rights Reserved. ユースケースの例 38

    Name：販売状況の確認 Goal：年月日ごと・店舗ごとに、推奨 した商品のうちの販売された件数を確認 できる Actor：店舗スタッフ Preconditions：管轄地区の店舗毎の販 売実績を確認 Trigger：購入状況を検索画面を出した Scenario： １．購入集計画面を表示 ２．検索を実行 ３．EXCEL出力 最低限の保証：販売状況を正しい集計結 果で表示されている Name：商品を検索 Goal：担当店舗のスタッフが顧客対応 時に、どの商品をどのように推奨したか を分析できる Actor：店舗スタッフ Preconditions：見込顧客数と主要な推 奨商品を把握 Trigger：商品を検索画面を出した Scenario： １．商品集計画面を表示 ２．検索を実行 ３．グラフ表示 ４．EXCEL出力 最低限の保証：対応商品を正しい集計結 果で表示されている

39. Copyright © 2021 WingArc1st Inc. All Rights Reserved. ユースケースからテスト観点への落とし込み 39

    Name：商品を検索 Goal：担当店舗のスタッフが顧客 対応時に、どの商品をどのように 推奨したかを分析できる Actor：店舗スタッフ Preconditions：見込顧客数と主 要な推奨商品を把握 Trigger：商品を検索画面を出し た Scenario： １．商品集計画面を表示 ２．検索を実行 ３．グラフ表示 ４．EXCEL出力 最低限の保証：対応商品を正しい 集計結果で表示されている Name：対応商品を検索 Goal：担当店舗のスタッフが顧客 対応時に、どの商品をどのように 推奨したかを分析できる Actor：店舗スタッフ Preconditions：見込顧客数と主 要な推奨商品を把握 Trigger：商品を検索画面を出し た Scenario： １．商品集計画面を表示 ２．検索を実行 ３．EXCEL出力 最低限の保証：対応商品を正しい 集計結果で表示されている シナリオ 商品集計 店舗集計 会員集計 購入集計 予約集計 検索 グラフ表示 EXCEL出力 テスト観点 対応可能なブラウザで閲覧できる HOMEへ遷移できる ボードを閲覧できる（UI・アイテム 構成の確認） 右クリックメニューの操作が行える 操作状態をクリアできる リロード後、ボードが繰り返し表示 できる 検索条件の初期値が指定通りである ボタンから検索の実行ができる 検索条件を変更した際にクリア設定 が反映される チャートのデータを絞り込み（リ レーション・フィルタ）できる EXCELデータの出力ができる テストタイプ プラットフォーム テスト UI操作性確認テス ト UIコンポーネント 動作テスト 検索実行テスト

40. Copyright © 2021 WingArc1st Inc. All Rights Reserved. テスト設計 40

    ビッグピクチャー （ユースケース） テスト設計 プラットフォー ムテスト UI操作性確認テ スト UIコンポーネン ト動作テスト 検索実行テスト テストケース テストケース テストケース テストケース テストタイプ テストケース

41. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 余談 41

    こういうのが欲しかった ビッグピクチャーを全員が理解することが大事ですね 品質に対する意識変わった PdM テス ター プログ ラマー

42. Copyright © 2021 WingArc1st Inc. All Rights Reserved. Whole-Team Approach

43. Copyright © 2021 WingArc1st Inc. All Rights Reserved. チーム全員でテストに取り組み（BIチームの例） 基本設計

    機能設計 詳細設計 実装 単体テスト 結合テスト システムテスト 受け入れテスト とにかくユーザーに質問 設計仕様書のドキュメント化 要件定義 チーム全員でテスト実行

44. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 品質分析＆お客様へ報告 •

    品質報告 • 現在の状況説明 • テスト計画の報告 • 実行したテストの報告 • 不具合と分析の報告 • お客様の反応 • 「だいぶ頑張ってバグ出してくれたん だなー」 44

45. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 振り返り 45

46. Copyright © 2021 WingArc1st Inc. All Rights Reserved. BIチームの活動まとめ テスト

    計画 テスト 設計 テスト 実行 品質 分析 振り 返り 計画 朝会 設計 実行 分析&報告 振り返り バックログ管理 PdM テス ター プログ ラマー

47. Copyright © 2021 WingArc1st Inc. All Rights Reserved.

48. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 凄いけど複雑すぎる製品 •

    凄い製品なのはわかるけど... • 機能全部乗せ状態で目的がわか らない • ユーザーも目的を理解していな い • テストは単体テストのみ • 探索してみると深刻なバグ発見 48 https://pixabay.com/ja/photos/1221315/

49. Copyright © 2021 WingArc1st Inc. All Rights Reserved. ステーク ホルダーに直訴

    • チームメンバー全員と共有し、 • ステークホルダーと対話 49

50. Copyright © 2021 WingArc1st Inc. All Rights Reserved. リリース延期を決定 お客様の運用目的に沿った構

    成にします。 機能面と非機能面から品質を 改善してリリースいたします。 50

51. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 余談 51

    これだけ品質良いもの出したらもっとお金取れる 品質を良くすることによって製品価値が上がりますね PdM テス ター プログ ラマー 頑張って品質上げよう！

52. Copyright © 2021 WingArc1st Inc. All Rights Reserved. Living Document

53. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 常に最新の情報を持つ 「生きたドキュメント」

    5 3

54. Copyright © 2021 WingArc1st Inc. All Rights Reserved. テスト計画書を基に全員で認識合わせ(アプリチームの例) 54

    バックログ管理 要求仕様書 テスト計画書 開発＆テスト バックログ管理 要求仕様書 開発＆テスト 情報過多 情報過多 決まった情報のみを整理

55. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 55 テスト計画書の作成

    • 誰もが理解できるシンプルなテスト計画書を作成。 (ウイングアークではテスト計画書はISO/IEC/IEEE29119-3に準拠している) • テストの目的やHow,When,Whatをチーム全員で理解する。

56. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 「生きたドキュメント」でトレーザビリティを確保 56

    1 2 プロセス 形式 ID 機能 ID 機能 テスト ベース 要求 PowerPoint P.12 ブランド設定 P.13 会員の切り替えモード 設計 Backlog Tickets PJ_SC-743 端末設定（ブランド表示） PJ_SC-866 会員の切り替えモード 実装 Source Code - - - - テスト 作業成果物 テスト計画 GoogleSpread Sheets - - - - テスト設計 MindMap（ MindMister） PJ_SC-743 [ノード]端末設定（ブランド表示） PJ_SC-866 [ノード]会員の切り替えモード テスト実装 GoogleSpread Sheets PJ_SC-743 [テスト仕様書]端末設定（ブランド 表示） PJ_SC-866 [テスト仕様書]会員の切り替え モード テスト実行 GoogleSpread Sheets PJ_SC-743 [テスト結果]端末設定（ブランド表 示） PJ_SC-866 [テスト結果]会員の切り替えモー ド テスト分析 Backlog Tickets PJ_SC-743 BTSに以下を記入 [テスト仕様書]端末設定（ブランド 表示） PJ_SC-866 BTSに以下を記入 [テスト仕様書]会員の切り替え モード

57. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 余談 57

    これだけ見える化されていれば、PdMレビューのタイミング を入れやすくなる 速いフィードバックプロセスが大事ですね リスクが見えた時にチーム全体に共有しやすくなった PdM テス ター プログ ラマー

58. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 現在

59. Copyright © 2021 WingArc1st Inc. All Rights Reserved. お客様 「最近トラブルなくなってきましたね」

    59

60. Copyright © 2021 WingArc1st Inc. All Rights Reserved. BIチーム 「単体テストを完ぺきな状態にしたい」

    「ユースケースを考えながら開発したい」 「リグレッションテストを自動化したい」 60

61. Copyright © 2021 WingArc1st Inc. All Rights Reserved. アプリチーム 「計画書が大事なことが分かった」

    「実装時の単体テストプロセスを見える化したい」 61

62. Copyright © 2021 WingArc1st Inc. All Rights Reserved. プロダクトマネジャー 「安心で安全な今の品質状態を継続したい」

    62

63. Copyright © 2021 WingArc1st Inc. All Rights Reserved. お客様 プログラ

    マー Whole-Teamアプローチ 63 PdM テスター プログラ マー BIチーム アプリチーム PdM テスター

64. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 未来

65. Copyright © 2021 WingArc1st Inc. All Rights Reserved. 失敗談 →

    チームの変化 65 テスト自動化 （文化の違い） QA監査 （監視されるイメージ）

66. Copyright © 2021 WingArc1st Inc. All Rights Reserved. QAファンネル QAプロモーター

    QAコンサルタント QAコーチ インプロセスQA フェーズゲートQA ・ QAサービス 組織全体にQAを推進していく役割 （自分で手を出してはいけない） 開発組織に常駐せずに QAの技術移転や技術向上を担う 開発組織に時々常駐してQAの 技術移転や品質文化の浸透をする 開発とは別組織でQAの 実業務や出荷判定を担う 開発組織に常駐しながら QAの実業務と品質文化を担う JaSST'21 Tokyo http://www.jasst.jp/symposium/jasst21tokyo/details.html#B8 ソフトウェア・シンポジウム 2021 https://www.sea.jp/ss2021/

67. Copyright © 2021 WingArc1st Inc. All Rights Reserved. QAプロモーター 67

    自己組織化したチーム QAプロモーター ティーチング と メンタリング コーチング ファシリ テーション 障害物の 除去 観察 www.amazon.co.jp/dp/4798166855
68. None