Upgrade to Pro — share decks privately, control downloads, hide ads and more …

VELTRA - Elastic{ON} Tour Tokyo 2017

Kunihiko Kido
December 14, 2017

VELTRA - Elastic{ON} Tour Tokyo 2017

日・英・中、問い合わせ仕分け業務 自 動化と、CS 戦略分析基盤を
Elastic Stack で実現

Kunihiko Kido

December 14, 2017
Tweet

More Decks by Kunihiko Kido

Other Decks in Technology

Transcript

  1. 1
    Satoko Shimazu / Kunihiko Kido
    Dec. 14, 2017, Customer Service, VELTRA Corporation
    日・英・中、問い合わせ仕分け業務の自
    動化と、CS 戦略分析基盤を
    Elastic Stack で実現

    View full-size slide

  2. 2
    Agenda
    VELTRA 会社紹介
    Global Customer Service について
    Auto-Labeling System
    テクノロジーで変えるCSの未来
    1
    2
    3
    4

    View full-size slide

  3. 3
    WHAT IS VELTRA ?
    VELTRA is a global online marketplace where
    travelers from all over the world can find and book
    activities and tours.

    View full-size slide

  4. 4
    18,000+
    travel agencies,
    partners and affiliates
    VELTRA
    KEY NUMBERS
    1,800,000
    members worldwide
    126
    countries
    25,000
    activities worldwide
    As of December, 2017

    View full-size slide

  5. 10
    Agenda
    VELTRA 会社紹介
    Global Customer Service について
    Auto-Labeling System
    テクノロジーで変える CS の未来
    1
    3
    4
    2

    View full-size slide

  6. 11
    VELTRA Global Customer Service
    “To Become a World’s Best
    Customer Experience Creating Network”
    50+
    CS Travel Consultants

    View full-size slide

  7. 12
    上海、マニラ、パリ参入。
    CS グローバルオペレー
    ション構築
    韓国参入 マニラを CS 最大拠点へ
    2017 2018 ...2019 2020
    2020年までの Global Customer Service 計画
    Maximize Quality & Increase Efficiency at the Best economy

    View full-size slide

  8. 13
    Global Customer Service の課題
    グローバル化に伴って発生した課題
    戦略データ不足 多言語対応 マニュアル業務増加

    View full-size slide

  9. 14
    14
    戦略データ不足の
    改善について

    View full-size slide

  10. 15
    Kibana活用例①:オペレーション進捗管理
    問合せ対応状況が可視化され、社内連携促進&顧客対応スピード改善
    download &
    Aggregation
    マニュアル
    オペレーション
    Kibana を使ってリアルタイムにチームの状況
    が把握できるように
    ● オフィス、エリア、コンサルタント毎の問合せ数を把握
    ● 対応問い合わせ優先順位の確認

    View full-size slide

  11. 16
    Kibana活用例②:企画サポート
    280万件の問合せデータから、目的にあわせて過去の問合せ数や傾向を確認
    例:クーポン施策開始時
    問合せの傾向把握
    クーポン施策
    創案
    過去のクーポン施策実施
    時の問合せ数、問合せ傾
    向を確認
    シフト変更
    マニュアル作成の準備
    クーポン施策開始 リアルタイムにクーポン
    関連問合せを確認
    →関連部署と連携
    2 5
    1 3 4

    View full-size slide

  12. 17
    ● 具体的な数値でコミュニケーションが円滑に
    ● リアルタイムに必要なデータを確認可能に
    ● その他、正確な進捗管理にも役立てている
    ● 担当者の感覚値に頼ることが多かった
    ● 開発へ依頼して数ヶ月かかることも
    ● 必要な数値が得られない
    企画サポートのため
    の情報開始
    問合せ分析基盤 Kibana による効果
    今まで 導入後
    開発へ依頼 分析後企画へフィー
    ドバック
    企画サポートのため
    の情報収集開始
    Kibana で確認 分析後企画へフィー
    ドバック
    数ヶ月かかることも リアルタイム
    1 2 3 1

    View full-size slide

  13. 18
    18
    グローバルチーム化
    における多言語対応

    View full-size slide

  14. 19
    多言語対応オペレーションの課題
    日・英・中のメールがひとつのInboxに届き、グローバルオフィスが同時に対応
    これは何語?
    メールを開封し、担当オフィス拠点、担当部署を目で判別しなければいけない・・

    View full-size slide

  15. 20
    自動振り分け:担当者の明確化
    担当部署 エリア 言語
    • Customer Service
    • Sales
    • アジア
    • アメリカ大陸
    • ヨーロッパ/アフリカ
    • パシフィック
    • 英語
    • 日本語
    • 中国語(繁体字)
    • 中国語(簡体字)
    アジア担当CSが日本
    語で対応します!
    オフィス拠点、部署単位まで振り分けされ迅速な顧客対応が可能に
    問合せラベル例:

    View full-size slide

  16. 21
    • 参加日が48時間以内
    • 至急関連ワード
    • 迅速な処理が必要な案件
    • お客様からのコンプレイン
    • 催行会社からの事後報告
    • Tr(トラベラー)とPtr(パート
    ナー=催行会社)の直接の
    メールコミュニケーション
    至急件 コンプレイン モニター案件
    自動振り分け:CS効率化UPの各種セカンドラベル
    問合せ一覧の中から優先順位をつけやすいように工夫

    View full-size slide

  17. 22
    6時間/日
    担当者含む振り分け業務
    振り分け業務の効率化
    自動化対象 →
    90%   
       全体 →
    50%削減
    削減3時間/日
    自動化対象振り分け業務
    平均初回応答時間(FRT)
    短縮
    優先順位の明確化により
    5時間短縮
    自動化対象
    削減
    全体
    自動振り分け導入による効果(Elasticsearch)

    View full-size slide

  18. 23
    Agenda
    VELTRA 会社紹介
    Global Customer Service について
    Auto-Labeling System
    テクノロジーで変える CS の未来
    1
    4
    2
    3

    View full-size slide

  19. 24
    Auto-Labeling System
    お問合せメッセージの自動振り分けを
    Elastic Stack で実現

    View full-size slide

  20. 27
    OVERVIEW
    Elastic Stack で実現するCS戦略基盤
    問い合わせ自動振り分け
    {prediction}
    問い合わせ分析基盤
    {analysis}
    日・英・中の問い合わせメッセージを、トラベルコンサ
    ルタントがすぐに対応できるように、受信したメッセー
    ジをリアルタイムに適切なチームへ割り振る仕組み。
    過去の問い合わせメッセージから企画サポートや業務
    改善のための検索・分析基盤
    Elastic Stack で実現
    (Elasticsearch / Kibana / Logstash)

    View full-size slide

  21. 28
    Why? Elastic Stack
    機械学習システムではなく?なぜ Elastic Stack なのか?

    View full-size slide

  22. 29
    “使えるデータの整備”
    AI や機械学習を検討する場合、まず多くの企業が直面するのは、
    この問題ではないでしょうか?
    まとめると
    雑多な情報を予測分類で活用で
    きる情報として最適化する
    ↓↓↓↓↓
    使えるデータにする
    (システムでね)
    システム的な課題
    ● 増え続ける対応言語(日・英・中、etc)
    ● 42分類に振り分けが必要なラベル
    ● チーム編成などで変わる振り分けルール
    ● エリアなどでデータ数が極端にことなる
    ● 未分類も含む約300万件の過去データ
    ● メールの件名、本文で予測する必要がある
    システム的な課題一覧

    View full-size slide

  23. 30
    私たちが必要だったのは...
    宝の山を本当に使えるデータにするには?
    高度な自然言語処理 動的な予測モデルの実現 循環するシステム
    私たちが必要だったのは … 正確な予測ができるシステム
    データを収集して、高度に加工して、利活用できるシステム
    Elastic Stack
    (Elasticsearch / Logstash / Kibana)

    View full-size slide

  24. 31
    センテンスやドキュメントを検索
    条件としてリクエストして、類似す
    るドキュメントを検索する仕組み
    ↓↓↓
    分類済みの情報から分類を予測
    したい場合
    検索結果群を表す特徴的なター
    ムをスコアリングして得る仕組み
    ↓↓↓
    雑多な情報から特徴的な分類を
    見つけ出したい場合
    ドキュメントをリクエストして、その
    条件にあったクエリーを検索する
    仕組み
    ↓↓↓
    検索条件ベースで任意の分類を
    予測したい場合
    情報分類のためのソリューション
    Elasticsearch には情報分類で活用できる仕組みがいくつかあります
    Percolator Query
    Significant Terms
    Aggregation
    More Like This Query
    (今回はこれを採用)

    View full-size slide

  25. 32
    ドキュメントが類似していれば、
    分類するラベルも同じはずという考え
    More Like This Query を使った予測分類

    View full-size slide

  26. 33
    システムアーキテクチャー
    循環するシステムの実現

    View full-size slide

  27. 34
    SYSTEM ARCHITECTURE
    Nodes (X)
    Logstash
    Elasticsearch
    Kibana
    X-pack
    X-pack
    Instances (X)
    Master Nodes (3)
    Ingest Nodes (X)
    Data Nodes - Hot (X)
    Data Nodes - Warm (X)
    Inquiries
    System
    API Server
    Prediction
    Learning →
    Analytics
    Elastic Cloud
    ← Prediction
    Learning
    2,800,000+
    learning messages for inquiries
    CS Consultant
    Relabeling
    CS Consultant
    Analytics

    View full-size slide

  28. 35
    高度な自然言語処理
    増える対応言語、類似度精度の向上に
    どのように対応したのか?

    View full-size slide

  29. 36
    〜多言語対応〜
    適合率を重視しつつも、言語固有
    の設計をしない

    View full-size slide

  30. 37
    ICU Tokenizer を中心に言語処理を設計
    多言語対応のポイント
    Language Original Tokenized
    英語 I like Hawaii island [I] [like] [Hawaii] [island]
    日本語 ハワイ島が好き [ハワイ] [島] [が] [好き]
    中国語(簡体) 我喜欢夏威夷岛 [我] [喜欢] [夏威夷岛]
    中国語(繁体) 我喜歡夏威夷島 [我] [喜歡] [夏威夷] [島]
    韓国語 하와이 섬이 좋아 [하와이] [섬이] [좋아]
    タイ語 ฉันชอบเกาะฮาวาย [ฉัน] [ชอบ] [เกาะ] [ฮาวาย]
    分かち書きしない言語も、意味のある単語でトークナイズできる!

    View full-size slide

  31. 38
    〜類似度精度向上〜
    辞書を使わずに複合語を
    自動生成

    View full-size slide

  32. 40
    [ハワイ] [島] [が] [好き]
    通常のインデックスでは
    query: “ハワイ島が好き”
    [ハワイ] [島] [が] [好き]
    doc: “ハワイ島が好き”
    [ハワイ] [の] [オアフ] [島] [が] [好き]
    doc: “ハワイのオアフ島が好き”
    適合率が高いのは?
    人が読めば違いはわかるけど
    機械だとわからない。。

    View full-size slide

  33. 41
    [ハワイ] [ハワイ 島] [島] [島 が] [が]
    [が 好き] [好き]
    複合語を含むインデックスでは
    query: “ハワイ島が好き”
    [ハワイ] [ハワイ 島] [島] [島 が] [が]
    [が 好き] [好き]
    doc: “ハワイ島が好き”
    [ハワイ] [ハワイの] [の] [の オアフ] [オアフ] [オ
    アフ 島] [島] [島 が] [が] [が 好き] [好き]
    doc: “ハワイのオアフ島が好き”
    適合率が高いのは?
    誰が見ても
    こっち
    機械でも違いがわかるようになる!

    View full-size slide

  34. 42
    〜動的な予測モデル〜
    Elasticsearch の高度な検索を使っ
    て絞り込む・検索する

    View full-size slide

  35. 43
    {filter} 件名で使われている単語の
    30%以上がマッチする検索結果群
    title: ...
    body: ...
    from email: ...
    to email: ...
    動的な予測モデル
    絞り込んだメッセージの中から類似文書を探す
    全ての過去の
    メッセージ群
    {filter} 過去2年以内に
    受信した検索結果群
    類似するドキュメント群
    予測に使用する
    類似ドキュメント群
    (検索結果として返却される)
    New message

    View full-size slide

  36. 44
    おまけ
    チューニング
    More Like This Query のパラメータだ
    けでも12種類。効率的にチューニング
    するには?

    View full-size slide

  37. 45
    サンプリングして重回帰分析の係数に注目して効率的に
    重回帰分析
    係数に注目してみると、
    「min_term_freq の値が1増えるごとに、
    約 8.5% 正解率が下がる」
    「max_query_terms が1増えると約
    0.5% 正解率が上がる」
    と言っていることがわかる。
    よって、この結果から係数の振り
    幅が大きな値(影響が大きい)の
    パラメータを中心にさらにチューニングし
    ていく。

    View full-size slide

  38. 46
    Elasticsearch =
    “Data Driven Application Server”
    Elasticsearch ≠ Database

    View full-size slide

  39. 47
    Agenda
    VELTRA 会社紹介
    Global Customer Service について
    テクノロジーで変える CS の未来
    Auto-Labeling System
    1
    4
    2
    3

    View full-size slide

  40. 48
    VELTRA Customer Service Platform
    Modern inquiries
    system
    Gamification & Intelligence
    New VELTRA Inquires System
    Support everything
    for travelers
    New VELTRA Support Service
    Eagle
    backend services
    powered by artificial
    intelligence.
    Natural language processing
    Search & Analysis
    Machine learning
    Deep learning
    Peacock
    external services
    Peahen
    internal services
    2017 2018 … 2019
    コンサルタントにしかできないサービスをトラベラーへ提供するために
    (今日の話はここの一部)

    View full-size slide

  41. 49
    Your Story Begins Here!
    一緒に働く仲間を募集中
    ✈✈✈ https://hr.veltra.com/ ✈✈✈

    View full-size slide