CS×QAシナジー発揮！ユーザ体験向上ハンドブックのススメ【DeNA TechCon 2022】

お客様との接点であるカスタマーサービスチーム（以下CS）が、公開前のWEBページチェックや開発実装前の仕様チェックをし、ユーザー目線で改善提案のフィードバックを行っている。しかし、チェック基準が個人の感覚に頼るものとなりバラつきが発生していた。

一方でQuality Assuranceチーム（以下QA）では、ユーザー目線を持ってテストすることは非常に重要であるが、QAのユーザ目線を強化・補完するための仕組みが整っていなかった。

この課題を解決するため、CSが蓄積している豊富なユーザ目線（経験知）を、QAが得意とする可視化する技術を用いて整理し、誰でも活用できる知識集であるユーザ体験向上ハンドブック（形式知）としてまとめ上げた。

本発表では、CSの経験知をいかにして取り出し、整理していったのかを紹介する。

また、ハンドブックをどのように活用しているのか、その事例を紹介する。

◆ You Tube
https://youtu.be/jqJyoZ4Us0o

◆ You Tube チャンネル登録はこちら↓
https://youtube.com/c/denatech?sub_confirmation=1

◆ Twitter
https://twitter.com/DeNAxTech

◆ DeNA Engineering
https://engineering.dena.com/

◆ DeNA Engineer Blog
https://engineering.dena.com/blog/

◆ DeNA TechCon 2022 公式サイト
https://techcon2022.dena.dev/spring/

Transcript

1. CS×QAシナジー発揮！ユーザー体
   験向上ハンドブックのススメ
   小澤 直美 / 柏倉 直樹
   

   View Slide

2. TABLE CONTENTS
   1. 　発表概要
   2.　発表者紹介
   1. 発表概要
   2. CSを担当している方に伝えたいこと
   3. QAを担当している方に伝えたいこと
   1. QA　柏倉 直樹
   2. CS　小澤 直美
   3. 　CSとQAが協力できたワケ
   4.　解決策の提案
   1. 組織構成
   2. CSの業務概要・課題
   3. QAの業務概要・課題
   4. ニーズの合致
   1. ユーザー体験向上ハンドブックの紹介
   2. メリットの概要
   3. ユーザー体験向上ハンドブックの効果
   5. 　ユーザー体験向上ハンドブックの作り方
   6.　所感・今後の課題・まとめ
   1. QAの強み・CSの強み
   2. 具体的な作成ステップ
   1. 所感
   2. 今後の課題
   3. まとめ
   

   View Slide

3. 1. 発表概要
   　お客様との接点であるカスタマーサービスチーム（以下CS）が、公開前のWEBページチェックや開発実装前の仕様
   チェックをし、ユーザー目線で改善提案のフィードバックを行っています。しかし、チェック基準が個人の感覚に頼る
   ものとなりバラつきが発生していました。
   　一方で品質管理を担当するQuality Assuranceチーム（以下QA）では、ユーザー目線を持ってテストすることは非常に
   重要ですが、QA担当者のユーザ目線を強化・補完するための仕組みが整っていませんでした。
   　この課題を解決するため、CSが蓄積している豊富なユーザ目線（経験知）を、QAが得意とする可視化する技術を用い
   て整理し、誰でも活用できる知識集であるユーザ体験向上ハンドブック（形式知）としてまとめ上げました。
   　本発表では、CSの経験知をいかにして取り出し、整理していったのかを紹介します。また、ハンドブックをどのよう
   に活用しているのか、その事例を紹介します。
   カテゴリ 観点 事例
   安全性
   ※一部抜粋
   ・ユーザが危険な行為や行動にならないか ・移動中に利用できるアプリの場合は、利用中の事故などが起きないような使い方を促す注
   意文を目立つところに入れる
   ・サービス内のコンテンツで求められるセキュリティ度合いに応じて２段階認証を実装する
   地域性
   ※一部抜粋
   ・国や地域の違いを考慮できているか
   ・伝統・文化・習慣を考慮できているか
   ・国によって美白が好まれるとは限らず、顔フィルタの美白という項目を表現を明るさに変更し
   た。
   ハンドブックの抜粋
   

   View Slide

4. CSを担当している方に伝えたいこと
   ・作成ステップを地道に進めれば皆さんの組織でもハンドブックを作れると思います！ということ
   QAを担当している方に伝えたいこと
   ・QAが得意な「情報を聞き出す技術」と「情報を整理する技術」を発揮して、ぜひ皆さんの組織でもQAとCSのシナ
   ジーを発揮してみてください！ということ
   エンジニアの方に伝えたいこと
   ・ユーザー体験向上ハンドブックは仕様検討でも活用できます。もし本発表を聞いて有益そうと思ったら、ぜひ仕様検
   討の際にお客様視点を補完するツールとして活用してみてください！ということ
   

   View Slide

5. 2. 発表者紹介
   1. QA　柏倉 直樹
   2. CS　小澤 直美
   

   View Slide

6. QA　柏倉 直樹
   カーナビの第三者検証、企業向けルーターのQAを経験
   し、2018年2月DeNAに入社。
   担当サービスはtoCエンターテイメントサービス、ECサー
   ビス。リーンに事業を立ち上げる際のQAチーム構築、プ
   ロセス提案なども実施。
   現在はQAリーダーとしてチーム育成、QA技術向上、サー
   ビス品質向上に向けた取り組みに従事しています。
   ソフトウェア品質シンポジウム
   （通称SQiPシンポジウム）
   の実行委員としても活動中。
   

   View Slide

7. CS　小澤 直美
   某コンテンツ提供会社の事業部門を8年経験、中の人とし
   てユーザーの声に触れる中、CS職に興味を持ち、起ち上
   げ期のCS部門に異動し2年間CS経験を積む。その後、2019
   年にDeNAに中途入社。
   興味のあったソーシャルライブ部門のカスタマーサポート
   のSVに配属され、サポート現場の管理や事業部との連
   携、ユーザーの声をサービス品質の向上につなげる取り組
   みを行っている。
   

   View Slide

8. 3. CSとQAが協力できたワケ
   1. 組織構成
   2. CSの業務概要・課題
   3. QAの業務概要・課題
   4. ニーズの合致
   

   View Slide

9. 組織構成
   DeNAでは、
   ・品質管理部とカスタマーサービス部を品質統括部という同一の部門に配置し、
   ・あらゆる品質向上活動を推進するという共通のミッションを掲げることで、
   お互いに協力しやすい体制を構築しています
   

   View Slide

10. CSの業務概要・課題
    ● センターVision
    ○ 「安心」・「安全」・「健全」に配慮し、ユーザー体験の向上を追求する最先端
    のセンターであることを目指します
    ※2021年DeNAカスタマーセンターは株式会社プロシードが主催する「Well-Being Contact Center Award」にて7
    項目における1位を獲得し、全国38センター中の総合ランキング1位を獲得いたしました。
    ● 業務概要
    ○ お問い合わせ対応やお客様の声のレポート
    ○ リリース前の仕様チェックや告知チェック　etc
    ● 課題
    ユーザー視点をモノづくりに反映するためには、
    CSによるリリース前のチェック及びインプットが大切ですが、
    観点は担当者頼りとなり、人によるバラつきがありました。
    

    View Slide

11. QAの業務概要・課題
    ● ミッション
    ○ お客様のDelightに繋がるあらゆる品質向上活動を推進する
    ● 業務概要
    ○ プロセス改善支援
    ○ 品質分析と対策提案
    ○ ソフトウェアテスト　・・・　QA担当者はリリース前プロダクトを一番多く触る
    ○ etc
    ● 課題
    ○ 実際にプロダクトを動かす際に、お客様目線を持って操作する場合と
    そうでない場合、前者の方が良い仕事ができるはず。しかし、お客様
    目線を強化するための仕組みは整っていない。
    

    View Slide

12. ニーズの合致
    

    View Slide

13. 4. 解決策の提案
    1. ユーザー体験向上ハンドブックの紹介
    2. メリットの概要
    3. ユーザー体験向上ハンドブックの効果
    

    View Slide

14. ユーザー体験向上ハンドブックの紹介
    ● ユーザー体験向上ハンドブックとは
    ○ お客様視点で必要な観点をカテゴリ分けしながら網羅的に抽出し、一覧にまとめ、
    ハンドブックとして活用できるようにしたもの
    ● 以下、ハンドブック内容を一部抜粋（全15カテゴリ・36観点・57事例から抜粋）
    カテゴリ 観点 事例
    安全性
    ※一部抜粋
    ・ユーザが危険な行為や行動にならないか ・移動中に利用できるアプリの場合は、利用中の事故などが起きないような使い方を促す注
    意文を目立つところに入れる
    ・サービス内のコンテンツで求められるセキュリティ度合いに応じて２段階認証を実装する
    地域性
    ※一部抜粋
    ・国や地域の違いを考慮できているか
    ・伝統・文化・習慣を考慮できているか
    ・国によって美白が好まれるとは限らず、顔フィルタの美白という項目を表現を明るさに変更し
    た。
    嗜好性
    ※一部抜粋
    ・ターゲットユーザーの嗜好・生活環境・行動様式に
    マッチするか
    ・ユーザの需要や使用方法を考慮できているか
    ・通知できる情報と通知してほしくない情報の種類をユーザーが選べるような仕組みを実装す
    る
    ・10代をターゲットとしているのにデザインが古い、言葉が古い
    デライト
    （魅力性）
    ※一部抜粋
    ・マストではないがあるとユーザにとって親切な機
    能（+α）があるか
    ・不要なアイテムを別のものに交換できる仕組みの検討
    事例がポイント！
    観点の理解が深まる
    補足：観点は絶対のルールではなく、サービスの方針や状況によって優先度が変わります
    

    View Slide

15. メリットの概要
    部門 課題 ハンドブックがあると・・・？
    CS チェック基準が個人の感覚に頼
    るものとなりバラつきが発生
    ハンドブックにある観点を軸にチェック
    を実施することでバラつきが低減
    QA お客様目線強化の仕組みがな
    い
    漠然とお客様目線を考えるより、ハンド
    ブックを軸として具体的にお客様の気
    持ちを想像できるようになるため、視野
    が広がり開発チーム・企画チームへの
    意見発信が増える
    CSでの活用方法
    ● リリース前の新仕様をレ
    ビューする時に活用
    ● お客様のお問い合わせ
    に回答する際、お客様
    の気持ちをより深く理解
    するために活用
    QAでの活用方法
    ● リリース前の新仕様をレビューする時に活用
    ● テスト設計・実行時に参照し、視野を広げる
    エンジニアの活用方法
    ● 仕様検討時に参考にする
    

    View Slide

16. ユーザー体験向上ハンドブックの効果（CS）
    10年目
    細かい
    CSのAさん
    3年目
    大雑把
    CSのBさん
    先月入社
    心配性
    CSのCさん
    自分なりに
    考えたが
    心配。
    同じCSのスタッフでも経験年数や性格など、同じ仕様書を見ても指摘インプット量はバラバラ。
    ハンドブックを作成し軸にすることで、担当者に寄らないチェック精度が実現しました。
    指摘な
    し！
    過去に同じ仕様でト
    ラブルあった。BとC
    じゃ気付かないか
    ・・・
    10年目
    細かい
    CSのAさん
    3年目
    大雑把
    CSのBさん
    先月入社
    心配性
    CSのCさん
    チェックの軸
    があるから
    安心だ！
    過去にトラブル
    事例があった
    ぞ。指摘しない
    と！
    後輩にも安心して
    チェックを任せられ
    るな。
    効果
    観点がバラバラ
    （不安）
    観点が統一
    （信頼・安心）
    

    View Slide

17. ユーザー体験向上ハンドブックの効果（QA）
    QA担当者のお客様目線を強化する仕組みが無く、テスト方法を考えることで頭が一杯でした。
    しかし、ハンドブックを作成し、チェック観点の視野が広がったことで仕様提案が増加。
    効果
    それまでQA担当者はテスト設計に徹し、積極的な仕様の提案はほとんどしておりませんでした。
    しかし、ハンドブックを作成後・・・
    2.5ヵ月内で13件の仕様提案をQA部門から行い、うち、7件が採用されました！
    テスト方法どうし
    よう。
    ユーザーの利用シー
    ンを想像して、テスト
    しないとな！
    仕様書とはあっている
    けど、もっと工夫すれ
    ば、使いやすくなりそう
    だ。
    仕様書とあって
    いるし問題ない
    な。
    

    View Slide

18. 5. ユーザー体験向上ハンドブックの作り方
    1. 具体的な作成ステップ
    

    View Slide

19. 具体的な作成ステップ（全体像）
    

    View Slide

20. 具体的な作成ステップ（CSナレッジの抽出＆整理　1/2）
    1. CSのナレッジ（良い/悪い事例）を引き出す
    a. 利用時品質モデル(右図)を活用
    2. 引き出した事例と観点を表に書き込んでいく
    a. 事例に対する観点を同時に定める
    カテゴリ 観点 事例
    健康安全リスク緩和性 ・ユーザが危険な行為や行動にならないか ・移動中に利用できるアプリの場合は、利用中の事故などが起きないよ
    うな使い方を促す注意文を目立つところに入れる
    快適性 ・ユーザの需要や使用方法を考慮できてい
    るか
    ・10代をターゲットとしているのにデザインが古い、言葉が古い
    利用時品質モデルから転記 2.で定めた観点 1.で引き出した事例
    

    View Slide

21. 具体的な作成ステップ（CSナレッジの抽出＆整理　2/2）
    3. どのカテゴリともマッチしない事例は「その他」カテゴリへ
    4. 「その他」カテゴリを分類して新たなカテゴリを作る
    5. 一度全体を見直し、よりしっくりくるようカテゴライズ
    カテゴリ 観点 事例
    実用性 ・◯◯◯◯ ・〜〜〜〜〜〜
    その他 ・□□□□□□
    ・△△△△
    ・☆☆☆
    ・〜〜〜
    ・〜〜〜〜
    ・〜〜〜〜〜
    カテゴリ 観点 事例
    有効性 ・◯◯◯◯ ・〜〜〜〜〜〜
    デライト ・□□□□□□
    ・△△△△
    ・〜〜〜
    ・〜〜〜〜
    地域性 ・☆☆☆ ・〜〜〜〜〜
    新たなカテゴリを作って分類 よりしっくりくるカテゴリへ移動
    before
    after
    

    View Slide

22. 具体的な作成ステップ（カテゴリ名のテーラリング）
    6. 現場に馴染みやすいカテゴリ名にする
    7. 再度全体を見直してカテゴライズしなおす
    カテゴリ 観点
    健康安全リスク緩和性 ・ユーザが危険な行為や行動にならないか
    快適性 ・ユーザの需要や使用方法を考慮できているか
    カテゴリ 観点
    安全性 ・ユーザが危険な行為や行動にならないか
    嗜好性 ・ユーザの需要や使用方法を考慮できているか
    ポイント！
    現場のメンバーがしっくりくる表現にする！
    

    View Slide

23. 具体的な作成ステップ（事例・観点の肉付け）
    8. データベースを照合し観点や事例を肉付けする
    a. 新たなカテゴリが生まれることもある
    9. 全体を眺め、カテゴライズの最終確認
    10. 完成！
    どんな事例をピックアップすればいい？
    カテゴリ 観点
    ●●● ・〜〜〜
    ▲▲▲ ・〜〜
    ・〜〜〜〜〜〜
    漏れだらけ
    先に記憶ベースで議論をしたのは…
    という事態を回避するため！
    

    View Slide

24. 6. 所感・今後の課題・まとめ
    

    View Slide

25. 所感
    ユーザー体験向上ハンドブックの良いところの一つは、実際の事例をベースにしているところと思います
    個人の見解ではないリアルな市場の反応が背景にあるため、説得力が増すのではないでしょうか
    CS担当者と一緒にハンドブックを作成する過程でQA担当者のお客様目線が特に強化されたように思います
    もしQA担当者のお客様目線強化を目指す組織があるなら、ぜひ一度お試しください！
    以下のような副次的効果がありました
    ● CSとQAがより近しくなった（相談しやすい）
    ● CSとQA双方からの意見になるため、意見の重みが増した
    これまで個人の経験や感覚に頼っていたため、人によっては発言を遠慮してしまうことがあったかも
    しれません。しかしこの活動を通じて自信が持てたと言っているメンバーもいます。
    またハンドブック自体が個人の意見を後押しする役割を持つため、モノづくりの早い段階から
    積極的にCSやQAの声を自信を持って発信できる雰囲気を醸成できたと思います。
    

    View Slide

26. 今後の課題
    お客様が求めることは時と共に変化していきます
    ハンドブックも一度作ったら終わりではなく、よきタイミングでアップデートを実施する必要があると思います
    今後はアップデートを効率的に実施する仕組みや、アップデートのタイミングを検討していこうと思います
    

    View Slide

27. まとめ
    ● CSには「お客様目線のバラつき」という課題
    ● QAには「お客様目線を強化する仕組みがない」という課題
    ● これらの課題を解決する「ユーザー体験向上ハンドブック」の提案
    ● CSとQAの強みを活かし合ってユーザー体験向上ハンドブックを作る方法を紹介
    ● CS・QAの課題が一定解決できたことの提示
    

    View Slide

28. ご静聴ありがとうございました
    

    View Slide