Developers Summit 2020 Summer (2020/07/21)
(C) mixi, Inc.Developers Summit 2020 Summer2020年7月21日株式会社ミクシィ 統括管理本部 CS部 CREグループ本間 光宣人の仕事、機械の仕事。エンジニアによるカスタマーサポート改善#devsumiC C-6
View Slide
(C) mixi, Inc.#devsumiCミクシィのカスタマーサポート（CS）について○ ミクシィCS・CREの紹介○ ミクシィCREの目指している姿エンジニアによるCS改善事例○ 問い合わせ対応の効率化事例○ 課題と対応について2今日話すこと
(C) mixi, Inc.#devsumiC○ 本間 光宣（@_mitsu9）○ 株式会社ミクシィ・CRE○ 2018年新卒入社○ CSが利用する各種ツールの開発・運用○ 新規サービスリリースに伴うCS環境の構築○ 機械学習を用いたCSの業務効率化3自己紹介
(C) mixi, Inc.#devsumiCCustomer Reliability Engineer○ Googleが2016年に提唱した職種○ 顧客信頼の最大化を目的としたエンジニアミクシィCREはCS専属のエンジニア○ CSの業務に必要なシステムの開発・運用○ 問い合わせ調査○ 問い合わせ起因のプロダクト開発（バグ修正など）○ より良いCSを作るためにCSの問題分析やシステム開発4CREとは「CREチームを設立しました！」https://career.xflag.com/report/engineer/cre/
(C) mixi, Inc.#devsumiC○ 全社横断組織として複数サービスのサポートと健全化を行う○ CREはCSを支えるエンジニアとして複数サービスに携わる○ 私は主にゲーム事業のCSに携わっています5ミクシィのCSについてCRECSゲーム事業 SNS事業 スポーツ事業 ・・・
(C) mixi, Inc.#devsumiC問い合わせ例○ 仕様についての質問○ 操作がわからない・エラーになる等問題の解決方法について○ 機種変更時のデータ移行に関する問い合わせ○ クリアできないなど不満をぶつける問い合わせ問い合わせの分類○ 必要な情報を取得するための問い合わせ○ 感情を伝えるための問い合わせ6ゲームの問い合わせ
(C) mixi, Inc.#devsumiC必要な情報を取得するための問い合わせ○ 内容: 問題発生時にどうすれば良いのかを聞く等○ 期待: 正しい情報を素早く返信されること○ 対応: テンプレートをベースにユーザーに合わせて微調整→機械を活用することで効率的・効果的に対応できる問い合わせ7基本的な問い合わせ対応方針
(C) mixi, Inc.#devsumiC感情を伝えるための問い合わせ○ 内容: 喜び・怒り・悲しみなどの感情を伝える○ 期待: 話をきちんと聞いてくれること○ 対応: テンプレートは使わず1から作文を行う→人にしか対応できない問い合わせ8基本的な問い合わせ対応方針
(C) mixi, Inc.#devsumiCCSのクリエイティビティを最大化する○ 必要な情報を取得するための問い合わせ○ システムによって効率化できるプロセスを効率化○ 感情を伝えるための問い合わせ○ 人にしかできない対応をサポートするシステムを作る○ ユーザーのことをより深く理解するための管理ツール作り○ 暗黙知になりやすいCSのナレッジをデジタル化する○ 類似ユーザー・類似案件の分析を通してナレッジを活用する9ミクシィCREのミッション
(C) mixi, Inc.10エンジニアによるCS改善事例
(C) mixi, Inc.#devsumiC機械学習を活用してテンプレ対応を効率化した事例11本日紹介する事例
(C) mixi, Inc.#devsumiCCSの抱える課題○ 大量のテンプレを中から適切なテンプレを検索することに時間がかかる○ テンプレは1000件以上存在する今日話すこと○ 構築したシステムの概要○ 施策を進めるにあたっての課題と対応今日話さないこと○ 機械学習のモデルの詳細12機械学習を活用してテンプレ対応を効率化した事例
(C) mixi, Inc.#devsumiC○ チームに機械学習のナレッジがない○ 過去に機械学習を利用したことがない○ 問い合わせデータは大量にあるが活用できる形ではない○ CRMに全て保管されている状態○ CS・CREのリソースをあまり割けない○ CSは既存業務で手一杯○ CREもそれぞれの施策を進めている13施策開始時のチーム状況
(C) mixi, Inc.#devsumiC効果は小さくても良いからとにかく早く成果を出す小さな改善をこつこつ積み重ねる失敗することもあるが失敗するなら早く失敗する14テンプレ対応効率化の大方針
(C) mixi, Inc.#devsumiC○ 新規問い合わせに対してシステムがテンプレを推薦○ CSスタッフは推薦結果を確認し正解であればシステムで返信○ テンプレを検索する時間とテンプレで返信する時間を効率化15テンプレ対応効率化施策の概要新規問い合わせ テンプレ推薦システムが返信通常対応(テンプレ検索→返信)正解不正解CSスタッフシステムユーザー
(C) mixi, Inc.#devsumiCAWSを用いてシステムを構築16テンプレ推薦システムの構成問い合わせデータ学習済みモデルS3 CodeBuildSageMakerデータ分析学習の実行推論エンドポイントの構築テンプレ推薦CSスタッフがOKを選択した問い合わせへの返信CRM更新・返信CloudWatchEvent推論リクエスト定期実行CRMモデルの学習 推論・CRMとの繋ぎこみ過去の問い合わせをインポート
(C) mixi, Inc.#devsumiC17チームが抱えていた課題機械学習における課題初めて機械学習に取り組むチームが利用可能なモデルを開発することシステム開発における課題少ないリソースでできるだけ早くシステム開発をすること
(C) mixi, Inc.#devsumiC18チームが抱えていた課題機械学習における課題初めて機械学習に取り組むチームが利用可能なモデルを開発することシステム開発における課題少ないリソースでできるだけ早くシステム開発をすること
(C) mixi, Inc.#devsumiCできるだけ早く利用可能なモデルを開発するために行った工夫○ 取り組む問題を簡単にする○ 試行回数を増やす○ 試行の精度を高める19機械学習のモデル開発について
(C) mixi, Inc.#devsumiC問題をシンプルにする&要求される精度を下げるように問題を設定する○ モデルへのインプットは問い合わせ本文のみ○ まずは1つのテンプレを対象にする○ テンプレの推薦を行うシステムを作る（自動返信は行わない）20取り組む問題を簡単にする
(C) mixi, Inc.#devsumiC社内外のエンジニアに相談し自走するために必要な知識を身につける○ 自走するために必要な知識は何か考えながら相談する○ 答えを聞くのではなく考え方を教えてもらう○ どうしてもできないところは部分的に開発を協力してもらうが、後から実装を理解する21試行回数を増やす
(C) mixi, Inc.#devsumiCドメイン知識を身につけ明確な仮説を持って試行する○ 一次情報に触れる○ 問い合わせデータを見て傾向を理解する○ オペレーションの様子を見てCSの考え方を理解する22試行の精度を高くする
(C) mixi, Inc.#devsumiC23チームが抱えていた課題機械学習における課題初めて機械学習に取り組むチームが利用可能なモデルを開発すること→問題を簡単にし精度の高い試行を繰り返すことで必要なモデルを 開発することに成功システム開発における課題少ないリソースでできるだけ早くシステム開発をすること
(C) mixi, Inc.#devsumiC24チームが抱えていた課題機械学習における課題初めて機械学習に取り組むチームが利用可能なモデルを開発すること→問題を簡単にし精度の高い試行を繰り返すことで必要なモデルを 獲得することに成功システム開発における課題少ないリソースでできるだけ早くシステム開発をすること
(C) mixi, Inc.#devsumiCシンプルな構成で作るものを減らす x マネージドサービスを活用する今回必要だったものは次の3つ○ CRMにある過去データを利用するための仕組み○ モデルの学習・推論を行うための環境構築○ CRMにテンプレ推薦・返信をする仕組み25システム開発について
(C) mixi, Inc.#devsumiC26CRMにある過去データを利用するための仕組みCRMCodeBuild S3 AthenaSQLで取得Athenaを活用することでS3のJSONファイルに対してクエリを実行できるデータの加工が不要なのでデータを保存するスクリプトの実装のみで実現1.問い合わせ取得 2.保存CloudWatchEvent定期実行
(C) mixi, Inc.#devsumiC27モデルの学習・推論を行うための環境構築「カスタマーサポートにおける Amazon SageMakerを活用した自然言語処理・ MLシステム構築」https://pages.awscloud.com/rs/112-TZM-766/images/20191128_mixi_sagemaker-fes10.pdfSageMakerを活用することで必要な環境を簡単に用意できる必要なものは学習モデルを記述したコードのみ学習環境の構築 学習したモデルの管理 推論エンドポイントの構築
(C) mixi, Inc.#devsumiCバッチ処理でテンプレ推薦・返信を実装する新規問い合わせに対して推論を行いCRMを更新するスクリプトを定期実行28CRMにテンプレ推薦・返信をする仕組みCodeBuildSageMakerCRM1. 問い合わせ取得3. テンプレ推薦CloudWatchEvent2. 推論リクエスト定期実行1. 問い合わせ取得2. テンプレ返信
(C) mixi, Inc.#devsumiC29チームが抱えていた課題機械学習における課題初めて機械学習に取り組むチームが利用可能なモデルを開発すること→問題を簡単にし精度の高い試行を繰り返すことで必要なモデルを 獲得することに成功システム開発における課題少ないリソースでできるだけ早くシステム開発をすること→シンプルな構成で作るものを減らす x マネージドサービスを活用する
(C) mixi, Inc.#devsumiC効率化の効果○ 問い合わせの約1%をシステムで対応○ 1件あたり約3分の効率化その他の効果○ CSスタッフの中でAIに興味を持ってくれる人が増えた○ 今後AIを活用するためにはどのようなデータを蓄積すると良いのかという視点が生まれた30施策によって得られた効果
(C) mixi, Inc.#devsumiC人の能力を活かすために機械にできる仕事をできるだけシステム化するミクシィではCS専属のエンジニアとしてCREがいます初めて機械学習を使う時はできるだけ簡単な問題に落とし込む難しい問題を解くよりも問題を簡単にする方が簡単システム開発は効率化し機械学習に時間を割けるようにする特に少ないリソースで取り組む場合は取捨選択が大切効果は小さくてもリリースすることで得られるものは大きい目にみえるものができることでみんなの考え方が変わる31おわりに
(C) mixi, Inc.We Are Hiring!!新卒も！中途も！積極採用中！ミクシィ 採用 検索
(C) mixi, Inc.#devsumiCtech meetupの情報を入れる338月27日 オンライン開催詳細はconnpassをご覧ください！
(C) mixi, Inc.34
mitsu9
ikezoemakoto
th0x0472
line_developers
makotu
opeonikute
torounit
oracle4engineer
gawa
yayoi_dd
soudai
imsaku
hiashisan
sachag
garrettdimon
keavy
smashingmag
hatefulcrawdad
frogandcode
cherdarchuk
phodgson
lemiorhan
dougneiner
mongodb
caitiem20