Upgrade to Pro — share decks privately, control downloads, hide ads and more …

シフトレフトからその先へ【QA Online #2】

シフトレフトからその先へ【QA Online #2】

2022/06/03 に開催した QA Online #2 の登壇資料です。
DeNAの品質管理部における「上流QA」とはなにか、そして実際にやってきた事など、今まで語られなかった内容をご紹介します。

DeNA_Tech

June 06, 2022
Tweet

More Decks by DeNA_Tech

Other Decks in Technology

Transcript

  1. シフトレフトからその先へ
     ~QAから開発へ品質向上できた話~
    渡引 唯
    品質本部 品質管理部QC第一グループ
    株式会社ディー・エヌ・エー
    © DeNA Co.,Ltd.

    View full-size slide

  2. 2
    皆さんへお願いしたい事
    この時間、そろそろ日中の疲れが出てきたかと思います
    なので一緒に発表に参加して今日の終わりを楽しみませんか?
    発表中各所で私が拍手するので、
    皆さんもチャットで拍手参加をお願いしたいです!
    (「8888」などで全然OK♪)
    このアイコンが目印なのでお見逃しなく!

    View full-size slide

  3. 3
    渡引 唯(わたびき ゆい)
    2018年DeNA入社
    前職で主にアプリゲームを中心にQAを経験しました。
    現在新興チームである上流QA(通称:UQA)として
    ゲームタイトルチームに所属し、
    初期品質向上、QA工数削減の取り組みに従事しております。
    DeNA 品質本部 品質管理部QC第一グループ
    自己紹介
    将来の夢:ジャニーズ
    私に1番似ている人物

    View full-size slide

  4. 4
    目次
    上流QAについて
    取り組みから見えてきた課題
    改善活動による成果
    今後の活動について
    1
    2
    3
    4

    View full-size slide

  5. 5
    1.上流QAについて

    View full-size slide

  6. 6
    ・仕様設計段階から人為的なミスが多く、
     QA検証前の成果物(仕様書、ROM)に明確な課題があった
    ・初期品質が低いことによる影響でQAの検証コストが増加
    1
    つまり初期品質向上とQA検証工数適正化
    この2つの改善活動に従事しているチームです
    上流QAとは
    この問題を解決するため
    仕様設計段階から品質を上げるために発足されたチーム
    上流QAについて

    View full-size slide

  7. 7
    1. 成果物に対する先行レビュー(初期品質向上)
    2. 不具合傾向の分析(不具合要因の調査)
    3. 分析結果から開発やQAへ改善提案のフィードバック(不具合の再発防止)
    1
    主な活動内容
    上記3つの中で一番工数割合が多いのは「先行レビュー」になります。
    今回はこの「先行レビュー」を軸に発表させて頂ければと思います。
    上流QAについて

    View full-size slide

  8. 8
    上流QAについて
    1
    先行レビューイメージ(仕様書とデータ)
    仕様書
    リリース
    スケジュール表
    報酬設計
    資料
    企画要件書
    イベント
    データ
    お知らせ
    レビュー期間前半
    (仕様書レビュー)
    比較 比較
    レビュー期間後半
    (データレビュー)

    View full-size slide

  9. 9
    上流QAについて
    開発の成果物(仕様書、ROMデータ)作成期間~QA検証開始までの期間に実施。
    主に成果物の内容を様々な資料と照らし合わせて整合性の確認を行い、
    不具合の早期検知、QA検証時の初期品質向上を目的とした内容となります。
    ※タイトルによってレビュー期間は前後します
    1
    「先行レビュー」の詳細

    View full-size slide

  10. 10
    上流QAについて
    1
    レビュー効果
    ※施策量が同等であるFY19を比較対象としています
    ※FY20では施策量に調整が入ってる為比較対象外としております。

    View full-size slide

  11. 11
    上流QAについて
    1
    レビュー効果
    ※施策量が同等であるFY19を比較対象としています
    ※FY20では施策量に調整が入ってる為比較対象外としております。

    View full-size slide

  12. 12
    上流QAについて
    1
    レビュー効果
    ※施策量が同等であるFY19を比較対象としています
    ※FY20では施策量に調整が入ってる為比較対象外としております。

    View full-size slide

  13. 13
    上流QAについて
    1
    5月から10月までの総合レビュー効果
    件数 対比削減率
    障害件数 -33件 59.8%
    QA工数 -660人日 51.3%
    JIRA件数 -887件 44.1%
    ※FY19とFY21の対比になります

    View full-size slide

  14. 14
    上流QAについて
    1
    参考:FY20の場合
    件数 対比削減率
    障害件数 -12件 80.3%
    QA工数 -62人日 91.8%
    JIRA件数 -443件 61.7%
    ※FY20では施策量に調整が入ってる為比較対象外としております。

    View full-size slide

  15. 15
    2.取り組みから見えてきた課題

    View full-size slide

  16. 16
    取り組みから見えてきた課題
    レビュー成果による新たな課題
    ・毎回同じ不具合が発生している
     (イベントの根幹は変わっていないサイクル運用なのに品質が安定しない)
    ・ユーザー問い合わせ件数が安定していない
    ・開発側の工数不足による影響で常時マイル遅延が発生している
     (データ実装遅延)
    ・効果面でいえば削減効果は見込めるが、
     「レビューする = 根本的な解決」 にはなっていない
    「より本質に迫った別のアプローチ方法」
    を見つける為に調査を始める
    2

    View full-size slide

  17. 17
    取り組みから見えてきた課題
    調査結果_JIRA不具合カテゴリ内訳
    2
    案件A 案件B 案件C
    仕様書不整合 84.4% 76.9% 71.4%
    画像 9.4% 7.7% 0%
    進行不能
    3.1% 5.1% 7.1%
    その他 3.1% 10.3% 21.4%
    ※クライアント開発を要さないデータアップデート案件の調査結果です

    View full-size slide

  18. 18
    取り組みから見えてきた課題
    「仕様書不整合」内訳
    2
    案件A 案件B 案件C
    マスタデータ 62.5% 71.8% 28.6%
    お知らせ 37.5% 28.2% 71.4%
    ※クライアント開発を要さないデータアップデート案件の調査結果です

    View full-size slide

  19. 19
    取り組みから見えてきた課題
    仕様書と実装内容の相違=「仕様書不整合」
    調査の結果仕様書の内容を手入力でイベントデータやお知らせに入力しており、
    この時に誤った内容をゲームサーバーに反映する事で仕様書相違が発生
    2
    仕様書
    データ
    or
    お知らせ
    誤入力 設定
    ゲーム
    サーバー
    QA検証
    仕様書不整合
    の不具合報告

    View full-size slide

  20. 20
    取り組みから見えてきた課題
    「仕様書不整合」にアプローチした改善案
    ・「先行レビュー」前の仕様書設計段階から初期品質向上させたい
    ・入力ミスによる「仕様書不整合」の問題解決
    ・ユーザーの不満解消
    2
    この問題を解決するには上流QAだけでは達成困難な為
    開発、QA、CSチームに協力を依頼し「ある」改善活動を実施しました。

    View full-size slide

  21. 21
    取り組みから見えてきた課題
    課題サイクルイメージ
    2
    QA
    CS
    開発
    手入力箇所を
    減らしたい
    不具合を
    ケアしたい
    ユーザーの不満を
    解消したい
    課題共有
    協力依頼
    改善提案

    View full-size slide

  22. 22
    取り組みから見えてきた課題
    仕様書テンプレートイメージ
    2
    ・イベント名 ○○○○
    ・イベント開始日時 2022/3/31
    ・イベント終了日時 2022/4/15
    ・ピックアップキャラ ○○○○
               etc
    手入力
    仕様書
    施策詳細シート
    導入前
    イベント
    データ
    お知らせ
    仕様書_入力用シート
    設定 ゲーム
    サーバー

    View full-size slide

  23. 23
    取り組みから見えてきた課題
    仕様書テンプレートイメージ
    2
    ・イベント名 ○○○○
    ・イベント開始日時 2022/3/31
    ・イベント終了日時 2022/4/15
    ・ピックアップキャラ ○○○○
               etc
    QA観点
    CS観点
    開発観点
    観点追加
    仕様書
    施策詳細シート
    仕様書_入力用シート
    自動反映 ゲーム
    サーバー
    設定
    仕様書
    お知らせシート
    仕様書
    イベントデータ
    シート
    導入後

    View full-size slide

  24. 24
    取り組みから見えてきた課題
    改善活動による仕様書テンプレート導入
    具体的な改善内容は主に下記内容になります。
    ◆マスタデータ対策
    ・「入力用」シートを設け手入力箇所を最小限に削減
    ・環境反映に必要な「マスタ」シートを設け自動反映
    ・各部署の観点をフォーマットに導入し不具合要因の再発防止
    ◆お知らせ対策
    ・「入力用」シートから「お知らせ」シートへお知らせのHTMLを自動生成
    ・各部署の観点をフォーマットに導入し不具合要因の再発防止
    2

    View full-size slide

  25. 25
    突然ですが、ここでクイズです

    View full-size slide

  26. 26
    取り組みから見えてきた課題
    2
    問.実施した改善活動で得られた効果は次のうちどれか
    1. 開発コストの削減
    2. QAコストの削減
    3. ユーザー問い合わせ件数の削減

    View full-size slide

  27. 27
    正解は…

    View full-size slide

  28. 28
    なんと全部です!

    View full-size slide

  29. 29
    3.改善活動による成果

    View full-size slide

  30. 30
    改善活動による成果
    3
    ユーザー問い合わせ件数
    ※現在試験運用中施策の結果です
    ※FY19の同一施策と比較しております

    View full-size slide

  31. 31
    改善活動による成果
    3
    コスト比較
    ※現在試験運用中施策の結果です
    ※FY19の同一施策と比較しております

    View full-size slide

  32. 32
    改善活動による成果
    3
    参考:FY20の場合_ユーザー問い合わせ件数
    ※現在試験運用中施策の結果です
    ※FY20では施策量に調整が入ってる為比較対象外としております。

    View full-size slide

  33. 33
    改善活動による成果
    3
    参考:FY20の場合_コスト比較
    ※現在試験運用中施策の結果です
    ※FY20では施策量に調整が入ってる為比較対象外としております。

    View full-size slide

  34. 34
    4.今後の活動について

    View full-size slide

  35. 35
    1.今回発表した改善活動を全施策本格導入や他チームへ横展開
    2.この活動以外の改善活動を積極的に提案、実施
    ★展望
    今後の活動について
    4
    ・リモート業務の影響で業務効率が低下している為、PM業務にQA視点で介入
    ・クライアント開発起因による障害対策で作業フロー棚卸し
                               etc.
    ★検討案
    次回の発表で新たな改善効果の共有をさせていただければと思います。

    View full-size slide

  36. 36
    QAから開発へアプローチして導入できたシフトレフトについて
    今まで開発は開発の仕事、QAはQAの仕事
    自分の業務を上手く運用出来ていればそれで問題ない、と思う風潮でした。
    そんな中、シフトレフト導入は今までの風潮や壁を壊し
    1つの物事に「どうやったら良くなるか」という
    全員が同じ方向性の未来を見据え、
    意見を出し合ってくれたおかげで導入できた物です。
    SPECIAL THANK YOU !!
    私から皆さんへ一番大切なお話

    View full-size slide

  37. 37
    私から皆さんへ一番大切なお話
    SPECIAL THANK YOU !!
    私の話を聞いて
    「自分には出来ないかもしれない」
    「合わないかもしれない」で消極的になるのではなく
    「この人面白い事言ってるなー」
    「聞いててワクワクするなー」くらいの小さなきっかけでなんの問題はありません。
    この場に来てくれている時点で「縁」は出来てるので、
    もっといろんな話を聞きたい方は
    ぜひ、エントリーよろしくお願いします。

    View full-size slide

  38. © DeNA Co.,Ltd.

    View full-size slide

  39. ● https://engineering.dena.com/team/quality/quality-control/
    もっとDeNA品質管理部を知りたい方はこちら♪
    4

    View full-size slide