Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ユーザーも驚きの高速かつ正確な対応をAIを用いて実現する / How to realize rapid and correct customer support with ML

ユーザーも驚きの高速かつ正確な対応をAIを用いて実現する / How to realize rapid and correct customer support with ML

Customer Support Tech Meetup #1 (2020/03/25)

Mitsunobu Homma

March 25, 2020
Tweet

More Decks by Mitsunobu Homma

Other Decks in Technology

Transcript

  1. (C) mixi, Inc.
    Customer Support Tech Meetup #1
    2020年3月25日
    株式会社ミクシィ
    本間 光宣
    ユーザーも驚きの高速かつ正確な対応を
    AIを用いて実現する

    View full-size slide

  2. (C) mixi, Inc.
    ○ 本間 光宣(@_mitsu9)
    ○ 2018年新卒入社
    ○ 2018年4月〜:CRE
    ○ CSが利用する各種ツールの開発・運用
    ○ 機械学習を用いたCSの業務効率化
    2
    自己紹介

    View full-size slide

  3. (C) mixi, Inc.
    【話すこと】
    今年度作成したテンプレ対応効率化システムの概要
    システム構築の流れと発生した問題
    効率化する対象の選び方
    【伝えたいこと】
    CSの改善のためにはCSとエンジニアの協力が必要不可欠!!
    3
    今日話すこと・伝えたいこと

    View full-size slide

  4. (C) mixi, Inc.
    4
    テンプレ対応効率化システムの概要

    View full-size slide

  5. (C) mixi, Inc.
    ○ テンプレ対応するような問い合わせは返信時間が満足度に直結する
    ○ テンプレ対応における課題
    ○ テンプレを探すことに時間がかかる
    ○ 異なるテンプレートを選択してしまい対応を間違えることがある
    ○ 技術の力で何とかできたりしないだろうか?というところからプロジェクトが開始!
    ○ チームでは初の機械学習を用いたプロジェクト
    5
    テンプレ対応効率化の取り組みについて
    問い合わせ一覧を見る 問い合わせを選ぶ 対応するテンプレを探す テンプレ返信をする
    問い合わせ対応の基本的な流れ

    View full-size slide

  6. (C) mixi, Inc.
    6
    テンプレ対応効率化システムを用いたオペレーションの流れ
    テンプレ推薦ありの
    問い合わせ一覧
    CSが推薦された
    テンプレで返信
    して良いか判断
    テンプレ推薦無しの
    問い合わせ一覧
    システムが
    テンプレで返信
    OK
    NG
    AIが問い合わせに
    対してテンプレを推
    薦する
    システムが対応する箇所
    CSが対応する箇所
    従来通りに対応
    AIは問い合わせに対して
    「テンプレA, テンプレB, …
    or 該当なし」から該当
    するラベルを付与する
    問い合わせ入信
    該当あり
    該当なし

    View full-size slide

  7. (C) mixi, Inc.
    7
    ZendeskでのCSのオペレーションの様子
    AIがテンプレAを推薦した
    問い合わせの一覧画面
    各問い合わせの画面でOK/NGを
    選択する
    問い合わせ詳細
    OK
    システムが
    テンプレ返信
    NG
    通常対応の
    フローの戻る

    View full-size slide

  8. (C) mixi, Inc.
    ○ 内部的には問い合わせ文に対してとあるテンプレートで返信できるか
    どうかを判定する二値分類器を複数作成
    8
    AIシステムの概要
    テンプレAで返信できるかど
    うかを判定する分類器
    テンプレBで返信できるかど
    うかを判定する分類器
    返信できない 返信できる
    AIシステム
    問い合わせ文
    「XXXXX」に
    適切なテンプレは
    何?
    テンプレB!

    View full-size slide

  9. (C) mixi, Inc.
    9
    AIシステムの構成
    SageMaker
    Endpoint
    Zendesk
    CodeBuild
    (定期実行)
    定期更新 推論リクエスト
    推論・組み込み
    SageMaker
    Training Job
    S3
    モデル取得
    Zendesk
    分析 学習
    S3
    インポート 取得
    Athena S3
    学習用データ
    生データ
    加工済みデータ
    取得
    保存
    学習済みモデル
    ○ システムは3つのコンポーネントから構成される
    第10回Amazon SageMaker事例祭り(https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-fes-10/)で詳しく話しましたのでこちらも参考にどうぞ

    View full-size slide

  10. (C) mixi, Inc.
    10
    システム構築によって得られた効率化の効果
    先月リリース・現在は一部のカテゴリにのみ対応
    対応時間の削減効果
    AIの効果・精度
    効率化前は1~5分/件
    システム導入によって約20秒/件で
    対応が可能になった
    対象となる問い合わせの1.2%に対して
    AIがテンプレを推薦
    ただし正解率はまだ5割程度

    View full-size slide

  11. (C) mixi, Inc.
    11
    システム構築の流れと発生した問題

    View full-size slide

  12. (C) mixi, Inc.
    12
    システム構築までに必要なステップ
    問い合わせ分析
    効率化の対象を
    決定する
    AIを作成する
    オペレーションに
    組み込む
    実運用
    ○ システム構築に必要なステップは以下の通り

    View full-size slide

  13. (C) mixi, Inc.
    13
    システム構築の中で発生した問題
    学習用のデータ作成に時間が
    かかるので精度改善がなかな
    か進まない・・
    AIを作ってみたけど精度が
    低いためこれでは使えない
    ・・
    いざ実際に動かすと問い
    合わせ件数が思ったより
    少ない・・
    作成していた時よりもAIの
    正解率が低いな・・
    問い合わせ分析
    効率化の対象を
    決定する
    AIを作成する
    オペレーションに
    組み込む
    実運用

    View full-size slide

  14. (C) mixi, Inc.
    14
    発生した問題と根本原因
    いろいろな問題が発生したが原因を深掘りすると全て
    効率化する問い合わせの対象の選び方の問題と考えられる
    AIの精度が低い・改善に時間がかかる
    実運用すると問い合わせの件数が少ない
    (効率化の効果が薄い)
    分類が難しい問題を設定している
    問い合わせの傾向が変化した時に
    入信が減る問い合わせを選択している

    View full-size slide

  15. (C) mixi, Inc.
    15
    効率化する対象の選び方

    View full-size slide

  16. (C) mixi, Inc.
    16
    効率化の対象を決定するステップ
    テンプレ対応効率化の効果が
    高い問い合わせを候補とする
    AIを作成することが可能か
    どうかを考え対象を決定する
    ● 今の問い合わせ数だけでなく、継続して入信す
    る問い合わせを選ぶと長い目で見た時に
    効果が高い
    ● CSの知識・経験・肌感が必要な領域
    ● AIを作成しやすい問い合わせを対象とすること
    でAI作成をスムーズに進めることができる
    ● エンジニアの技術・分析が必要な領域
    ○ 効率化の対象を選ぶ時のポイント
    ○ 長期的に見て効果が高い x AIを作成することができる

    View full-size slide

  17. (C) mixi, Inc.
    17
    テンプレ対応効率化の効果が高い対象の探し方
    過去の問い合わせを100件〜200件
    ランダムに抽出する
    件数が多い & テンプレ対応している
    問い合わせを候補に選ぶ
    候補の問い合わせが今後も継続的
    に入信する問い合わせか確認する
    テンプレ対応効率化の効果が
    高い問い合わせを候補とする
    AIを作成することが可能か
    どうかを考え対象を決定する
    ○ まずは長期的に見て効果の高い問い合わせを探す

    View full-size slide

  18. (C) mixi, Inc.
    ○ 基本的にはバラバラだがその中でも件数が多いカテゴリを対象にした
    18
    問い合わせ分析の様子 | 効果が高いカテゴリを探す
    比較的件数が多いので
    効率化できると効果が高そう

    View full-size slide

  19. (C) mixi, Inc.
    ○ 問い合わせの傾向の変化を考慮し、継続的に入信する問い合わせを選択す

    19
    継続的に入信する問い合わせを選択する
    効率化の対象に向いている 効率化の対象に向いていない
    ○ サービスのコア機能に関する
    問い合わせ
    ○ FAQを読んでも自力解決が
    難しい問い合わせ
    ○ 一時的なキャンペーン関連の
    問い合わせ
    ○ FAQやサービスの改善によって
    解決する問い合わせ

    View full-size slide

  20. (C) mixi, Inc.
    20
    AIを作成することが可能かどうかを確認する
    複数人で分類をおこなった時に
    回答が一致するかどうか
    クラスタリング・可視化をおこない
    機械が分類できそうかどうか
    そもそも機械学習を使う必要が
    あるのかどうか
    ○ 効果が高い候補が決まれば次にAIを作成可能かどうかを確認
    テンプレ対応効率化の効果が
    高い問い合わせを候補とする
    AIを作成することが可能か
    どうかを考え対象を決定する

    View full-size slide

  21. (C) mixi, Inc.
    ○ 複数人で分類をおこない回答が一致するかどうかを調べる
    ○ 回答が異なるとAIは誰を信じれば良いのかわからない
    ○ 一致しない時はなぜその判断をしたのかを話し合い基準を擦り合わせる
    21
    人が分類できるかを調べる
    Q: 問い合わせ「XXXXX」はテンプレAで返信して良い?
    基本的には良いけど
    最後の文章をちょっと
    変えたいな・・
    ちょっと変えたい
    ところはあるけど
    これで返信しても
    大丈夫!

    View full-size slide

  22. (C) mixi, Inc.
    ○ 離れているクラスタは機械が判別しやすいカテゴリ
    22
    機械が分類できるかどうかを調べる
    機械にとっては
    似ている問い合わせ
    離れているクラスタは分
    類しやすい可能性が高

    View full-size slide

  23. (C) mixi, Inc.
    23
    おわりに

    View full-size slide

  24. (C) mixi, Inc.
    24
    システム構築の中で発生した問題
    学習用のデータ作成に時間が
    かかるので精度改善がなかな
    か進まない・・
    AIを作ってみたけど精度が
    低いためこれでは使えない
    ・・
    いざ実際に動かすと問い
    合わせ件数が思ったより
    少ない・・
    作成していた時よりもAIの
    正解率が低いな・・
    問い合わせ分析
    効率化の対象を
    決定する
    AIを作成する
    オペレーションに
    組み込む
    実運用

    View full-size slide

  25. (C) mixi, Inc.
    25
    システム構築の中で得られた学び
    ○ これらの問題は丁寧に対象を決定することでほとんど解決する
    問い合わせ分析
    効率化の対象を
    決定する
    AIを作成する
    オペレーションに
    組み込む
    実運用
    「長期的に見て効果が高い x AIを作成できる対象」を選択する!

    View full-size slide

  26. (C) mixi, Inc.
    ○ AIを用いたプロジェクトではどうAIを作るかよりも、どこにAIを適用するか・どのような
    AIを作成する必要があるのかを大切にする必要がある
    ○ 効率化する対象は「長期的に見て効果が高い」かつ「AIを作成できる」ものを選ぶと良

    ○ このような対象を選ぶためには「CSの知識・経験・肌感」と「エンジニアのデータ分析・
    可視化」の両方が必要
    26
    まとめ

    View full-size slide

  27. (C) mixi, Inc.
    27
    ご静聴ありがとうございました!

    View full-size slide