SaaSプロダクト開発におけるバグの早期検出のためのAcceptance testの取り組み

by KNOWLEDGE WORK / 株式会社ナレッジワーク

Slide 1

Slide 1 text

JaSST’25 Tokyo 事例発表資料 SaaSプロダクト開発におけるバグの早期検出のためのAcceptance Testの取り組み Tommy (@TomitaHiroshi_)/ Knowledge Work

Slide 2

Slide 2 text

Slide 3

Slide 3 text

会社紹介

Slide 4

Slide 4 text

© Knowledge Work Inc. Proﬁle 会社概要 4 創業日　2020年4月1日代表者　麻野耕司資本金　61.3億円（資本準備金等含む）事業内容　ナレッジワークの開発・提供主な株主　グロービス・キャピタル・パートナーズ、DNX Ventures、WiL 　One Capital、ANRI、XTech、Salesforce Ventures 　ユーザベース、フォースタートアップス、Sansan

Slide 5

Slide 5 text

© Knowledge Work Inc. 5 できる喜びが巡る日々を届ける Deliver the joy of enablement 「昨日できなかった仕事が今日できるようになった」「今日うまく進められなかった仕事も明日はうまくできるかもしれない」そんな想いで働ければ、仕事に希望が持てるはずです。しかし、世の中の多くの人が「上司に恵まれない」「職場に恵まれない」「会社の仕組みに恵まれない」などの理由で、「努力しても成長できない」「努力しても成果が出ない」つまりは「努力しても報われない」という環境で仕事をしています。私たちは『イネーブルメント』を実現するプロダクトを提供することで世の中の人たちが仕事にできるようになることを支援し、働く喜びが巡る日々を届けます。

Slide 6

Slide 6 text

Slide 7

Slide 7 text

本発表のスコープ

Slide 8

Slide 8 text

Slide 9

Slide 9 text

本発表のサマリー

Slide 10

Slide 10 text

Slide 11

Slide 11 text

本発表の⽬的

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

背景

Slide 15

Slide 15 text

Slide 16

Slide 16 text

ナレッジワークの開発体制‧開発プロセス

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

問題

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

問題整理

Slide 34

Slide 34 text

© Knowledge Work Inc. 問題整理 34 34 開発者テストが暗黙的に⾏われている • 何をテストすれば開発者テストがOKなのか明確になっていない第三者のテスト観点が反映されていないため、実装担当者に閉じたテストになっている • 開発担当者が⼗分に開発者テストをしたつもりでも、テスト観点がカバーされていない可能性が⾼い開発者テスト⽤のテストケースがない • テスト実⾏時にテスト漏れが発⽣するリスクがある

Slide 35

Slide 35 text

課題

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

対策検討

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

© Knowledge Work Inc. ここまでのまとめ 44 44 問題 • 開発者テストが終わった後のQAエンジニアのテストで開発者テストで検出できそうなバグが発⽣したこと課題 • 開発者テストを明確に⾏える仕組みを構築すること • 開発者テストが明確に⾏われていること • 第三者のテスト観点がテストに反映されていること • 開発者テスト⽤のテストケースがあること対策検討 • [⾒送り]Acceptance Criteria（受け⼊れ基準）

Slide 45

Slide 45 text

Slide 46

Slide 46 text

取り組み

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

© Knowledge Work Inc. Acceptance Testの運⽤プロセス 54 AT 設計 AT PRD：Product Requirements Document DD:Design Doc AT：Acceptance Test Frontend Engineer Backend Engineer QA Engineer PRD DD レビュー開発者テスト実施チェック PRD・Des ign 設計（DD）この辺でAT実施有無を議論実装・開発者テスト

Slide 55

Slide 55 text

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

Slide 59

Slide 59 text

© Knowledge Work Inc. Acceptance Testで課題解決できたこと 59 59 開発者テストを明確に⾏える仕組みを構築できた • 開発者テストが明確に⾏われていること →何をテストすれば完了なのか明確になった • 第三者のテスト観点がテストに反映されていること →テストケースに第三者の視点‧テスト観点の反映が可能になった • 開発者テスト⽤のテストケースがあること →テスト漏れが発⽣するリスクを軽減できるようになった

Slide 60

Slide 60 text

Slide 61

Slide 61 text

Slide 62

Slide 62 text

Slide 63

Slide 63 text

効果検証

Slide 64

Slide 64 text

Slide 65

Slide 65 text

Slide 66

Slide 66 text

Slide 67

Slide 67 text

Slide 68

Slide 68 text

Slide 69

Slide 69 text

考察

Slide 70

Slide 70 text

© Knowledge Work Inc. 考察 70 70 • Acceptance Testの定量効果 • 開発状況によって検出されるバグの数は常に⼀定とは限らない • Acceptance Testでバグを検出できたことは事実であり、 Acceptance Testの導⼊は、バグを早期検出という点において⼀定の効果があったと考えられる • Acceptance Testの導⼊がQAエンジニアに与えた影響 • 開発者がテストにかける時間は増加したものの、バグの早期検出が進んだことで、開発担当者とQA間のコミュニケーションコストが削減された • QAエンジニアはスクリプトテスト以外のテストに時間を割けるようになった

Slide 71

Slide 71 text

Slide 72

Slide 72 text

まとめと今後の課題

Slide 73

Slide 73 text

Slide 74

Slide 74 text

© Knowledge Work Inc. 今後の課題 74 74 開発者テストで検出したいバグの原因を分析する • Acceptance Testを導⼊してもQA期間中に開発者テストで検出したいバグが検出されている点については、原因分析が必要である Acceptance Testのナレッジを作成する • Acceptance Testのナレッジがないため、個⼈によってAcceptance Testの内容にばらつきが⽣じ、開発者テストで検出すべきバグが増加するリスクがある