シフトレフトからその先へ【QA Online #2】

2022/06/03 に開催した QA Online #2 の登壇資料です。
DeNAの品質管理部における「上流QA」とはなにか、そして実際にやってきた事など、今まで語られなかった内容をご紹介します。

Transcript

1. シフトレフトからその先へ 　～QAから開発へ品質向上できた話～ 渡引　唯 品質本部　品質管理部QC第一グループ 株式会社ディー・エヌ・エー © DeNA Co.,Ltd.
2. 2 皆さんへお願いしたい事 この時間、そろそろ日中の疲れが出てきたかと思います なので一緒に発表に参加して今日の終わりを楽しみませんか？ 発表中各所で私が拍手するので、 皆さんもチャットで拍手参加をお願いしたいです！ （「8888」などで全然OK♪） このアイコンが目印なのでお見逃しなく！
3. 3 渡引 唯（わたびき ゆい） 2018年DeNA入社 前職で主にアプリゲームを中心にQAを経験しました。 現在新興チームである上流QA（通称：UQA）として ゲームタイトルチームに所属し、 初期品質向上、QA工数削減の取り組みに従事しております。 DeNA　品質本部　品質管理部QC第一グループ 自己紹介 将来の夢：ジャニーズ 私に1番似ている人物
4. 4 目次 上流QAについて 取り組みから見えてきた課題 改善活動による成果 今後の活動について 1 2 3 4
5. 5 1.上流QAについて
6. 6 ・仕様設計段階から人為的なミスが多く、 　QA検証前の成果物（仕様書、ROM)に明確な課題があった ・初期品質が低いことによる影響でQAの検証コストが増加 1 つまり初期品質向上とQA検証工数適正化 この2つの改善活動に従事しているチームです 上流QAとは この問題を解決するため 仕様設計段階から品質を上げるために発足されたチーム 上流QAについて
7. 7 1. 成果物に対する先行レビュー（初期品質向上） 2. 不具合傾向の分析（不具合要因の調査） 3. 分析結果から開発やQAへ改善提案のフィードバック（不具合の再発防止） 1 主な活動内容 上記3つの中で一番工数割合が多いのは「先行レビュー」になります。 今回はこの「先行レビュー」を軸に発表させて頂ければと思います。 上流QAについて
8. 8 上流QAについて 1 先行レビューイメージ（仕様書とデータ） 仕様書 リリース スケジュール表 報酬設計 資料 企画要件書 イベント データ お知らせ レビュー期間前半 （仕様書レビュー） 比較 比較 レビュー期間後半 （データレビュー）
9. 9 上流QAについて 開発の成果物（仕様書、ROMデータ）作成期間～QA検証開始までの期間に実施。 主に成果物の内容を様々な資料と照らし合わせて整合性の確認を行い、 不具合の早期検知、QA検証時の初期品質向上を目的とした内容となります。 ※タイトルによってレビュー期間は前後します 1 「先行レビュー」の詳細
10. 10 上流QAについて 1 レビュー効果 ※施策量が同等であるFY19を比較対象としています ※FY20では施策量に調整が入ってる為比較対象外としております。
11. 11 上流QAについて 1 レビュー効果 ※施策量が同等であるFY19を比較対象としています ※FY20では施策量に調整が入ってる為比較対象外としております。
12. 12 上流QAについて 1 レビュー効果 ※施策量が同等であるFY19を比較対象としています ※FY20では施策量に調整が入ってる為比較対象外としております。
13. 13 上流QAについて 1 5月から10月までの総合レビュー効果 件数 対比削減率 障害件数 -33件 59.8% QA工数 -660人日 51.3% JIRA件数 -887件 44.1% ※FY19とFY21の対比になります
14. 14 上流QAについて 1 参考:FY20の場合 件数 対比削減率 障害件数 -12件 80.3% QA工数 -62人日 91.8% JIRA件数 -443件 61.7% ※FY20では施策量に調整が入ってる為比較対象外としております。
15. 15 2.取り組みから見えてきた課題
16. 16 取り組みから見えてきた課題 レビュー成果による新たな課題 ・毎回同じ不具合が発生している 　（イベントの根幹は変わっていないサイクル運用なのに品質が安定しない） ・ユーザー問い合わせ件数が安定していない ・開発側の工数不足による影響で常時マイル遅延が発生している 　（データ実装遅延） ・効果面でいえば削減効果は見込めるが、 　「レビューする　＝　根本的な解決」　にはなっていない 「より本質に迫った別のアプローチ方法」 を見つける為に調査を始める 2
17. 17 取り組みから見えてきた課題 調査結果_JIRA不具合カテゴリ内訳 2 案件A 案件B 案件C 仕様書不整合 84.4% 76.9% 71.4% 画像 9.4% 7.7% 0% 進行不能 3.1% 5.1% 7.1% その他 3.1% 10.3% 21.4% ※クライアント開発を要さないデータアップデート案件の調査結果です
18. 18 取り組みから見えてきた課題 「仕様書不整合」内訳 2 案件A 案件B 案件C マスタデータ 62.5% 71.8% 28.6% お知らせ 37.5% 28.2% 71.4% ※クライアント開発を要さないデータアップデート案件の調査結果です
19. 19 取り組みから見えてきた課題 仕様書と実装内容の相違＝「仕様書不整合」 調査の結果仕様書の内容を手入力でイベントデータやお知らせに入力しており、 この時に誤った内容をゲームサーバーに反映する事で仕様書相違が発生 2 仕様書 データ or お知らせ 誤入力 設定 ゲーム サーバー QA検証 仕様書不整合 の不具合報告
20. 20 取り組みから見えてきた課題 「仕様書不整合」にアプローチした改善案 ・「先行レビュー」前の仕様書設計段階から初期品質向上させたい ・入力ミスによる「仕様書不整合」の問題解決 ・ユーザーの不満解消 2 この問題を解決するには上流QAだけでは達成困難な為 開発、QA、CSチームに協力を依頼し「ある」改善活動を実施しました。
21. 21 取り組みから見えてきた課題 課題サイクルイメージ 2 QA CS 開発 手入力箇所を 減らしたい 不具合を ケアしたい ユーザーの不満を 解消したい 課題共有 協力依頼 改善提案
22. 22 取り組みから見えてきた課題 仕様書テンプレートイメージ 2 ・イベント名　◦◦◦◦ ・イベント開始日時　2022/3/31 ・イベント終了日時　2022/4/15 ・ピックアップキャラ　◦◦◦◦ 　　　　　　　　　　　etc 手入力 仕様書 施策詳細シート 導入前 イベント データ お知らせ 仕様書_入力用シート 設定 ゲーム サーバー
23. 23 取り組みから見えてきた課題 仕様書テンプレートイメージ 2 ・イベント名　◦◦◦◦ ・イベント開始日時　2022/3/31 ・イベント終了日時　2022/4/15 ・ピックアップキャラ　◦◦◦◦ 　　　　　　　　　　　etc QA観点 CS観点 開発観点 観点追加 仕様書 施策詳細シート 仕様書_入力用シート 自動反映 ゲーム サーバー 設定 仕様書 お知らせシート 仕様書 イベントデータ シート 導入後
24. 24 取り組みから見えてきた課題 改善活動による仕様書テンプレート導入 具体的な改善内容は主に下記内容になります。 ◆マスタデータ対策 ・「入力用」シートを設け手入力箇所を最小限に削減 ・環境反映に必要な「マスタ」シートを設け自動反映 ・各部署の観点をフォーマットに導入し不具合要因の再発防止 ◆お知らせ対策 ・「入力用」シートから「お知らせ」シートへお知らせのHTMLを自動生成 ・各部署の観点をフォーマットに導入し不具合要因の再発防止 2
25. 25 突然ですが、ここでクイズです
26. 26 取り組みから見えてきた課題 2 問.実施した改善活動で得られた効果は次のうちどれか 1. 開発コストの削減 2. QAコストの削減 3. ユーザー問い合わせ件数の削減
27. 27 正解は…
28. 28 なんと全部です！
29. 29 3.改善活動による成果
30. 30 改善活動による成果 3 ユーザー問い合わせ件数 ※現在試験運用中施策の結果です ※FY19の同一施策と比較しております
31. 31 改善活動による成果 3 コスト比較 ※現在試験運用中施策の結果です ※FY19の同一施策と比較しております
32. 32 改善活動による成果 3 参考:FY20の場合_ユーザー問い合わせ件数 ※現在試験運用中施策の結果です ※FY20では施策量に調整が入ってる為比較対象外としております。
33. 33 改善活動による成果 3 参考:FY20の場合_コスト比較 ※現在試験運用中施策の結果です ※FY20では施策量に調整が入ってる為比較対象外としております。
34. 34 4.今後の活動について
35. 35 1.今回発表した改善活動を全施策本格導入や他チームへ横展開 2.この活動以外の改善活動を積極的に提案、実施 ★展望 今後の活動について 4 ・リモート業務の影響で業務効率が低下している為、PM業務にQA視点で介入 ・クライアント開発起因による障害対策で作業フロー棚卸し 　　　　　　　　　　　　　　　　　　　　　　　　　　　etc. ★検討案 次回の発表で新たな改善効果の共有をさせていただければと思います。
36. 36 QAから開発へアプローチして導入できたシフトレフトについて 今まで開発は開発の仕事、QAはQAの仕事 自分の業務を上手く運用出来ていればそれで問題ない、と思う風潮でした。 そんな中、シフトレフト導入は今までの風潮や壁を壊し １つの物事に「どうやったら良くなるか」という 全員が同じ方向性の未来を見据え、 意見を出し合ってくれたおかげで導入できた物です。 SPECIAL THANK YOU !! 私から皆さんへ一番大切なお話
37. 37 私から皆さんへ一番大切なお話 SPECIAL THANK YOU !! 私の話を聞いて 「自分には出来ないかもしれない」 「合わないかもしれない」で消極的になるのではなく 「この人面白い事言ってるなー」 「聞いててワクワクするなー」くらいの小さなきっかけでなんの問題はありません。 この場に来てくれている時点で「縁」は出来てるので、 もっといろんな話を聞きたい方は ぜひ、エントリーよろしくお願いします。
38. © DeNA Co.,Ltd.
39. • https://engineering.dena.com/team/quality/quality-control/ もっとDeNA品質管理部を知りたい方はこちら♪ 4