VELTRA - Elastic{ON} Tour Tokyo 2017

日・英・中、問い合わせ仕分け業務 自 動化と、CS 戦略分析基盤を
Elastic Stack で実現

Transcript

1. 1 Satoko Shimazu / Kunihiko Kido Dec. 14, 2017, Customer Service, VELTRA Corporation 日・英・中、問い合わせ仕分け業務の自 動化と、CS 戦略分析基盤を Elastic Stack で実現
2. 2 Agenda VELTRA 会社紹介 Global Customer Service について Auto-Labeling System テクノロジーで変えるCSの未来 1 2 3 4
3. 3 WHAT IS VELTRA ? VELTRA is a global online marketplace where travelers from all over the world can find and book activities and tours.
4. 4 18,000+ travel agencies, partners and affiliates VELTRA KEY NUMBERS 1,800,000 members worldwide 126 countries 25,000 activities worldwide As of December, 2017
10. 10 Agenda VELTRA 会社紹介 Global Customer Service について Auto-Labeling System テクノロジーで変える CS の未来 1 3 4 2
11. 11 VELTRA Global Customer Service “To Become a World’s Best Customer Experience Creating Network” 50+ CS Travel Consultants
12. 12 上海、マニラ、パリ参入。 CS グローバルオペレー ション構築 韓国参入 マニラを CS 最大拠点へ 2017 2018 ...2019 2020 2020年までの Global Customer Service 計画 Maximize Quality & Increase Efficiency at the Best economy
13. 13 Global Customer Service の課題 グローバル化に伴って発生した課題 戦略データ不足 多言語対応 マニュアル業務増加
14. 14 14 戦略データ不足の 改善について
15. 15 Kibana活用例①：オペレーション進捗管理 問合せ対応状況が可視化され、社内連携促進＆顧客対応スピード改善 download & Aggregation マニュアル オペレーション Kibana を使ってリアルタイムにチームの状況 が把握できるように • オフィス、エリア、コンサルタント毎の問合せ数を把握 • 対応問い合わせ優先順位の確認
16. 16 Kibana活用例②:企画サポート 280万件の問合せデータから、目的にあわせて過去の問合せ数や傾向を確認 例：クーポン施策開始時 問合せの傾向把握 クーポン施策 創案 過去のクーポン施策実施 時の問合せ数、問合せ傾 向を確認 シフト変更 マニュアル作成の準備 クーポン施策開始 リアルタイムにクーポン 関連問合せを確認 →関連部署と連携 ２ 5 1 3 4
17. 17 • 具体的な数値でコミュニケーションが円滑に • リアルタイムに必要なデータを確認可能に • その他、正確な進捗管理にも役立てている • 担当者の感覚値に頼ることが多かった • 開発へ依頼して数ヶ月かかることも • 必要な数値が得られない 企画サポートのため の情報開始 問合せ分析基盤 Kibana による効果 今まで 導入後 開発へ依頼 分析後企画へフィー ドバック 企画サポートのため の情報収集開始 Kibana で確認 分析後企画へフィー ドバック 数ヶ月かかることも リアルタイム 1 2 3 1
18. 18 18 グローバルチーム化 における多言語対応
19. 19 多言語対応オペレーションの課題 日・英・中のメールがひとつのInboxに届き、グローバルオフィスが同時に対応 これは何語？ メールを開封し、担当オフィス拠点、担当部署を目で判別しなければいけない・・
20. 20 自動振り分け：担当者の明確化 担当部署 エリア 言語 • Customer Service • Sales • アジア • アメリカ大陸 • ヨーロッパ/アフリカ • パシフィック • 英語 • 日本語 • 中国語（繁体字） • 中国語（簡体字） アジア担当CSが日本 語で対応します！ オフィス拠点、部署単位まで振り分けされ迅速な顧客対応が可能に 問合せラベル例:
21. 21 • 参加日が48時間以内 • 至急関連ワード • 迅速な処理が必要な案件 • お客様からのコンプレイン • 催行会社からの事後報告 • Tr（トラベラー）とPtr（パート ナー＝催行会社）の直接の メールコミュニケーション 至急件 コンプレイン モニター案件 自動振り分け：CS効率化UPの各種セカンドラベル 問合せ一覧の中から優先順位をつけやすいように工夫
22. 22 ６時間/日 担当者含む振り分け業務 振り分け業務の効率化 自動化対象 → ９０％ 　　 　　　全体 → ５０％削減 削減３時間/日 自動化対象振り分け業務 平均初回応答時間(FRT) 短縮 優先順位の明確化により ５時間短縮 自動化対象 削減 全体 自動振り分け導入による効果（Elasticsearch）
23. 23 Agenda VELTRA 会社紹介 Global Customer Service について Auto-Labeling System テクノロジーで変える CS の未来 1 4 2 3
24. 24 Auto-Labeling System お問合せメッセージの自動振り分けを Elastic Stack で実現
25. 25 Before
26. 26 After
27. 27 OVERVIEW Elastic Stack で実現するCS戦略基盤 問い合わせ自動振り分け {prediction} 問い合わせ分析基盤 {analysis} 日・英・中の問い合わせメッセージを、トラベルコンサ ルタントがすぐに対応できるように、受信したメッセー ジをリアルタイムに適切なチームへ割り振る仕組み。 過去の問い合わせメッセージから企画サポートや業務 改善のための検索・分析基盤 Elastic Stack で実現 (Elasticsearch / Kibana / Logstash)
28. 28 Why? Elastic Stack 機械学習システムではなく？なぜ Elastic Stack なのか？
29. 29 “使えるデータの整備” AI や機械学習を検討する場合、まず多くの企業が直面するのは、 この問題ではないでしょうか？ まとめると 雑多な情報を予測分類で活用で きる情報として最適化する ↓↓↓↓↓ 使えるデータにする （システムでね） システム的な課題 • 増え続ける対応言語（日・英・中、etc） • ４２分類に振り分けが必要なラベル • チーム編成などで変わる振り分けルール • エリアなどでデータ数が極端にことなる • 未分類も含む約３００万件の過去データ • メールの件名、本文で予測する必要がある システム的な課題一覧
30. 30 私たちが必要だったのは... 宝の山を本当に使えるデータにするには？ 高度な自然言語処理 動的な予測モデルの実現 循環するシステム 私たちが必要だったのは … 正確な予測ができるシステム データを収集して、高度に加工して、利活用できるシステム Elastic Stack (Elasticsearch / Logstash / Kibana)
31. 31 センテンスやドキュメントを検索 条件としてリクエストして、類似す るドキュメントを検索する仕組み ↓↓↓ 分類済みの情報から分類を予測 したい場合 検索結果群を表す特徴的なター ムをスコアリングして得る仕組み ↓↓↓ 雑多な情報から特徴的な分類を 見つけ出したい場合 ドキュメントをリクエストして、その 条件にあったクエリーを検索する 仕組み ↓↓↓ 検索条件ベースで任意の分類を 予測したい場合 情報分類のためのソリューション Elasticsearch には情報分類で活用できる仕組みがいくつかあります Percolator Query Significant Terms Aggregation More Like This Query （今回はこれを採用）
32. 32 ドキュメントが類似していれば、 分類するラベルも同じはずという考え More Like This Query を使った予測分類
33. 33 システムアーキテクチャー 循環するシステムの実現
34. 34 SYSTEM ARCHITECTURE Nodes (X) Logstash Elasticsearch Kibana X-pack X-pack Instances (X) Master Nodes (3) Ingest Nodes (X) Data Nodes - Hot (X) Data Nodes - Warm (X) Inquiries System API Server Prediction Learning → Analytics Elastic Cloud ← Prediction Learning 2,800,000+ learning messages for inquiries CS Consultant Relabeling CS Consultant Analytics
35. 35 高度な自然言語処理 増える対応言語、類似度精度の向上に どのように対応したのか？
36. 36 〜多言語対応〜 適合率を重視しつつも、言語固有 の設計をしない
37. 37 ICU Tokenizer を中心に言語処理を設計 多言語対応のポイント Language Original Tokenized 英語 I like Hawaii island [I] [like] [Hawaii] [island] 日本語 ハワイ島が好き [ハワイ] [島] [が] [好き] 中国語(簡体) 我喜欢夏威夷岛 [我] [喜欢] [夏威夷岛] 中国語(繁体) 我喜歡夏威夷島 [我] [喜歡] [夏威夷] [島] 韓国語 하와이 섬이 좋아 [하와이] [섬이] [좋아] タイ語 ฉันชอบเกาะฮาวาย [ฉัน] [ชอบ] [เกาะ] [ฮาวาย] 分かち書きしない言語も、意味のある単語でトークナイズできる！
38. 38 〜類似度精度向上〜 辞書を使わずに複合語を 自動生成
40. 40 [ハワイ] [島] [が] [好き] 通常のインデックスでは query: “ハワイ島が好き” [ハワイ] [島] [が] [好き] doc: “ハワイ島が好き” [ハワイ] [の] [オアフ] [島] [が] [好き] doc: “ハワイのオアフ島が好き” 適合率が高いのは？ 人が読めば違いはわかるけど 機械だとわからない。。
41. 41 [ハワイ] [ハワイ 島] [島] [島 が] [が] [が 好き] [好き] 複合語を含むインデックスでは query: “ハワイ島が好き” [ハワイ] [ハワイ 島] [島] [島 が] [が] [が 好き] [好き] doc: “ハワイ島が好き” [ハワイ] [ハワイの] [の] [の オアフ] [オアフ] [オ アフ 島] [島] [島 が] [が] [が 好き] [好き] doc: “ハワイのオアフ島が好き” 適合率が高いのは？ 誰が見ても こっち 機械でも違いがわかるようになる！
42. 42 〜動的な予測モデル〜 Elasticsearch の高度な検索を使っ て絞り込む・検索する
43. 43 {filter} 件名で使われている単語の ３０％以上がマッチする検索結果群 title: ... body: ... from email: ... to email: ... 動的な予測モデル 絞り込んだメッセージの中から類似文書を探す 全ての過去の メッセージ群 {filter} 過去２年以内に 受信した検索結果群 類似するドキュメント群 予測に使用する 類似ドキュメント群 （検索結果として返却される） New message
44. 44 おまけ チューニング More Like This Query のパラメータだ けでも１２種類。効率的にチューニング するには？
45. 45 サンプリングして重回帰分析の係数に注目して効率的に 重回帰分析 係数に注目してみると、 「min_term_freq の値が１増えるごとに、 約 8.5% 正解率が下がる」 「max_query_terms が１増えると約 0.5% 正解率が上がる」 と言っていることがわかる。 よって、この結果から係数の振り 幅が大きな値（影響が大きい）の パラメータを中心にさらにチューニングし ていく。
46. 46 Elasticsearch ＝ “Data Driven Application Server” Elasticsearch ≠ Database
47. 47 Agenda VELTRA 会社紹介 Global Customer Service について テクノロジーで変える CS の未来 Auto-Labeling System 1 4 2 3
48. 48 VELTRA Customer Service Platform Modern inquiries system Gamification & Intelligence New VELTRA Inquires System Support everything for travelers New VELTRA Support Service Eagle backend services powered by artificial intelligence. Natural language processing Search & Analysis Machine learning Deep learning Peacock external services Peahen internal services 2017 2018 … 2019 コンサルタントにしかできないサービスをトラベラーへ提供するために （今日の話はここの一部）
49. 49 Your Story Begins Here! 一緒に働く仲間を募集中 ✈✈✈ https://hr.veltra.com/ ✈✈✈