リクルートにおけるChatbot事例と周辺技術紹介

リクルートにおける Chatbot事例と周辺技術紹介株式会社リクルートテクノロジーズ ITソリューション統括部データテクノロジーラボ部薬師寺政和

2 Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
1 2 本日の内容リクルートについて A3RTのご紹介 3 事例紹介 4 今後について 5 最後に

リクルートについて

リクルートのビジネスモデルさまざまなドメインでマッチングモデルに基づいたビジネスを展開。 Matching Business HR Bridal Group Buying Used Cars Travel Real Estate Beauty Gourmet Social Games E-Commerce Ad Network New Business Consumers Enterprise

リクルートの事業領域「選択」をサポートするような情報サービスを展開 Life event area Lifestyle Area Travel Business support Lifestyle Health & Beauty Job Hunt Marriage Job Change Home Purchase Car Purchase Child Birth Education

リクルートテクノロジーズの立ち位置 Infrastructure /Security Project Management UXD/SEO Internet Marketing Big Data Solutions Technology R&D Systems Development リクルートホールディングスは7つの主要事業会社と３つの機能会社から成り立っている。 Recruit Holdings Recruit Career Recruit Sumai Company Recruit Lifestyle Recruit Jobs Recruit Staffing Recruit Marketing Partners Staff service Holdings Recruit Technologies Recruit Administration Recruit Communications Business/ Service Function/ Support ITソリューションの提供

A3RTのご紹介

A3RTの導入リクルートテクノロジーズでは社内での機械学習並びにDeep Learningなどに代表される AI系ロジックを同一ブランドで統一・整備をし、社内に展開している。

A3RTサービス一覧  A3RTでは現在、下記のようなAPIサービスを整備・開発。  これまでデータ活用が数多く進んでいるカスタマーサイドだけではなく、クライアントサイド、営業シーン、制作業務などでの利用を想定し開発している。レコメンドバナーターゲティング OCR 画像解析原稿サジェスト文章校閲文章要約文章分類音声テキスト化屋内位置測位 ChatBot 転移学習マルチモーダルデータマスキング画像自動生成営業支援サービス

構築にいたった理由案件ごとのフルスクラッチ開発 一番自由度が高く最適な機能が作れる。一方、一から検討・開発するため、どうしても時間・コストがかかるので、全てのケースに対応できない外部のAPI群  一部は活用すべきだが、リクルートグループでの活用にそのまま使える機能が不足。汎用性が仇になる。  【効果的な機能】リクルートグループ特化による効果的なソリューションの開発。  【導入しやすさ】リクルート汎用的な機能についてはAPI化。導入の迅速化／低コスト化。  【最新技術】バックエンドのアルゴリズム、インフラ環境も常に最新かつ適切なものが適用できるよう継続的に検証。  【効率など付加価値】オペレーション部分にも最新技術を適応。精度／運用効率向上に向けた取り組みを継続的に実施。（DeepLearningの自動パラメータチューニング機能他）  リクルートグループにおいて機械学習によるソリューション活用の敷居はまだまだ高く、活用をスピードアップ・拡大するためには設計～開発～運用に工数が多くかかっていた。  データ活用・ロジック作成に気を取られ、ビジネス活用まで考えがいたらない状況。

レコメンド・推薦API  利用するデータを定型化しレコメンドの導入時間やコストを短縮  これまで個別サービスに特化して作られていたレコメンド機能の開発を、統一的に扱うデータスキームを策定して規格化  導入障壁を減らしてどのようなサービスでも気軽に導入できるようにサポート過去のユーザ履歴に基づいたレコメンド構築の自動化

画像解析API 汎用的なロジックを構築し目的ごとに特化した画像解析処理  ビジネスへの応用例  物体識別  不適切画像検出  タグ付与  画像認識によるレコメンド  OCR（文字読み取り）

文章サジェストAPI 大量の原稿情報を学習して、機械による原稿の自動作成  学習した原稿に近い文章を作成・サジェスト  なるべく自然な日本語で、学習した原稿に近い文章を生成  原稿作成者の負担減や作業効率化、熟練者と同じような文章を新人が書けるようなサポートを機械が担うことによる属人化への対応

自動校閲API ルールベースと機械学習のハイブリットによる原稿校閲  誤字脱字や不適切表現の自動検出  Web掲載原稿の校閲にかかる工数/時間を削減することで、今の原稿作成体制で扱うことのできる総量を増やす「納める」ではないですか？ • ルールベースによるチェック • 日付と曜日の整合性 • 住所の間違い • NGワード • 機械学習によるチェック • 漢字や助詞などの誤字脱字 • 差別表現となりうる表現 • 組合せによるNG表現

A3RTサービス一覧  A3RTでは現在、下記のようなAPIサービスを整備・開発。  これまでデータ活用が数多く進んでいるカスタマーサイドだけではなく、クライアントサイド、営業シーン、制作業務などでの利用を想定し開発している。レコメンドバナーターゲティング OCR 画像解析原稿サジェスト文章校閲文章要約文章分類音声テキスト化屋内位置測位 ChatBot 転移学習マルチモーダルデータマスキング画像自動生成営業支援サービス ChatBot

Chatbot事例紹介

Chatbotとは？チャット (chat) とは、インターネットを含むコンピュータネットワーク上のデータ通信回線を利用したリアルタイムコミュニケーションのこと。（Wikipedia） Bot（ボット）は、robot（ロボット）の短縮形・略称で、転じてコンピュータやインターネット関連の自動化プログラムの一種のこと。（Wikipedia）種々の技術の組み合わせ  検索  レコメンド  分類  雑談  画像認識 etc…  Chatというインターフェース上でBotによる自動応答を行う仕組みを言う。  ChatBotという一つの何か高尚なシステムがあるわけでもなく、ましてやAIでなんでもできるのような魔法の類ではない。

Chatbotのユースケース問い合わせ対応 QAの自動応答など、特定の問に特定の回答を行うもの。アクション向上を目的とした検索代替アイテムや情報を探す際の新たなインターフェース。雑談・日常会話日常的な会話を行うもの。重要なのは、このChatというインターフェースでどんなユーザーに対してどんな価値を提供したいのかという仮説をしっかり設計できているか。である。

Chatbotのユースケース問い合わせ対応 QAの自動応答など、特定の問に特定の回答を行うもの。アクション向上を目的とした検索代替アイテムや情報を探す際の新たなインターフェース。雑談・日常会話日常的な会話を行うもの。

日常会話 Q&A Chatbotイメージ

施策導入のプロセス施策・技術選定実装効果測定・横展開課題・背景  最適なソリューション開発を行うために、現状の課題や背景を捉える。  運用性まで考慮した技術選定を行い継続的に価値提供していく。  課題に対して効果が発揮できたのか効果測定を適切に行う。

施策導入のプロセス課題・背景技術選定実装効果測定・横展開事例紹介をベースにそれぞれのステップについてお話致します！  最適なソリューション開発を行うために、現状の課題や背景を捉える。  運用性まで考慮した技術選定を行い継続的に価値提供していく。  課題に対して効果が発揮できたのか効果測定を適切に行う。

施策導入のプロセス施策・技術選定実装効果測定・横展開課題・背景  最適なソリューション開発を行うために、現状の課題や背景を捉える。  運用性まで考慮した技術選定を行い継続的に価値提供していく。  課題に対して効果が発揮できたのか効果測定を適切に行う。

ゼクシィ恋結びでの事例目的 CSに寄せられる問い合わせ件数の削減（簡単な質問は事前に機械で答えてしまう。）現状  メール、電話での問い合わせ件数は増加傾向  一方で問い合わせの内容は、ID忘れなど簡素化  内容は口語体文章化、短文化  ナレッジの属人化  コストセンターとして費用がかけられない状況

背景お問合せの中にはヘルプページに記載されている内容についても多く存在していた。

施策導入のプロセス課題・背景施策・技術選定実装効果測定・横展開  最適なソリューション開発を行うために、現状の課題や背景を捉える。  運用性まで考慮した技術選定を行い継続的に価値提供していく。  課題に対して効果が発揮できたのか効果測定を適切に行う。

なぜChatbotなのかカスタマーサポートユーザー  コールセンターによせられるお問合せのうち、ヘルプページに記載されている内容も多く存在していた。  ChatインターフェースでならBotとの対話を通して自己解決できるのではないかという仮説をもとにChatbotを選定。「ログインできない」

なぜChatbotなのかユーザー簡潔な質問であればChatbotで答えることによってカスタマサポートの負荷削減につながらないか。 Chatbot 「ログインできない」カスタマーサポート

日常会話 Q&A Chatbotイメージ

日常会話 Q&A Chatbotの機能 Q&A機能  質問が入力された時に、入力文がどの質問に該当するかを推測。  質問に応じて適切な回答を応答する。

言い回しの多様性カスタマからの入力は一つの質問でも多様な言い回しが想定される。「ログインできない」「マイページに入れない」「サインインできない」「パスワード忘れた」「パスワードわからない」「パス忘れた」  大量の言い回しを人手で網羅していくことは非常に困難であると判断。  継続的に精度向上を行うためにルールベースに加えて機械学習を活用。

CNNによるテキスト分類 ①学習データを用意カテゴリテキストカテゴリ１ログインできないカテゴリ１ログインしたい・・・・・・カテゴリ２パスワード忘れたカテゴリ２パスわからない・・・・・・カテゴリ３メルマガ停止カテゴリ３メール止めたい ②分類モデルを学習「ログインできない」 Convolutional Neural Networks Q&A API 「ログイン出来ない場合は〜」カテゴリ１：９５％カテゴリ２：４０％カテゴリ３：２５％カテゴリ４：１０％学習データを用意するところから開始。

Chat風の会話データメールや電話での問合せログは存在していたが、Chat風の会話データは存在していなかった。カスタマーサポートユーザー「ログインできない」ログ Chatbot そのまま活用できる形ではなかった。

データ増幅単語表現や辞書レベルでの対応を地道に行い、学習データを増幅させることでコールドスタートに対応。短縮言い回しビジネス要件ドメイン特有表記ゆれ類義語アプリケーション ⇒ アプリ Facebook ⇒ FB PC版 = WEB版位置情報 = GPS いいね = イイネパスワード = ぱすわーど辞書 Q&Aマスタ Chatbot

CNNによるテキスト分類 ①学習データを用意カテゴリテキストカテゴリ１ログインできないカテゴリ１ログインしたい・・・・・・カテゴリ２パスワード忘れたカテゴリ２パスわからない・・・・・・カテゴリ３メルマガ停止カテゴリ３メール止めたい ②分類モデルを学習「ログインできない」 Convolutional Neural Networks Q&A API 「ログイン出来ない場合は〜」カテゴリ１：９５％カテゴリ２：４０％カテゴリ３：２５％カテゴリ４：１０％カテゴリ質問文回答文評価カテゴリ１ログインできない「ログイン出来ない場合は〜」 Good ログ評価を元に学習データに還元

日常会話 Q&A Chatbotイメージ日常会話機能  「おはよう」「ありがとう」などいわゆる日常的な会話が入力された時に返答ができる機能を装着。  対話を行う際にはBotにキャラクタ性を持たせることで利用促進につながるとリサーチから判明。

日常会話について Q&Aだけに留まらずキャラクタ性によりユーザへの親しみやすさをもたせることで利用促進につなげる。

日常会話のロジック Sequence to Sequence（Seq2Seq）を活用した日常会話機能を装着。＜？＞＜か＞＜です＞＜元気＞＜EOS＞＜はい＞＜元気＞＜です＞ Encoder Decoder Input Output

出力文選択における工夫についてはい・ビームサーチの k-best で出力単語の確率から有望そうな単語列を選別してスコアを計算・次の単語の推定確率が閾値以下の場合はそこで探索を打ち切ることで破綻文の生成を抑制・単語列のスコアには系列長に応じた正規化を行うことで短文ばかりが選ばれることを回避元気です EOS よ元気じゃないです EOS ないです EOS score: 0.7 score: 0.2 score: 0.6 EOS と score: 0.5 0.7 0.5 0.4 0.6 0.4 0.1 0.7 0.3 0.3 0.2 0.6 0.6 よ EOS 0.2 score: 0.4 0.3 そんなに 0.6 閾値以下のためEOS

システム構成図 S3 log Chatbot API EC2 Core 日常会話 API Q&A API redis Input Message Return Message learning Elasticsearch Q&A Master

システム構成図 S3 log Chatbot API EC2 Core 日常会話 API Q&A API redis Input Message Return Message learning Elasticsearch Q&A Master 検索ｘ機械学習ハイブリッド応答により回答精度を担保

システム構成図 S3 log Chatbot API EC2 Core 日常会話 API Q&A API redis Input Message Return Message learning Elasticsearch Q&A Master ログを学習データに還元することで回答精度を半自動的に向上

CNNによるテキスト分類 ①学習データを用意カテゴリテキストカテゴリ１ログインできないカテゴリ１ログインしたい・・・・・・カテゴリ２パスワード忘れたカテゴリ２パスわからない・・・・・・カテゴリ３メルマガ停止カテゴリ３メール止めたい ②分類モデルを学習「ログインできない」 Convolutional Neural Networks Q&A API 「ログイン出来ない場合は〜」カテゴリ１：９５％カテゴリ２：４０％カテゴリ３：２５％カテゴリ４：１０％カテゴリ質問文回答文評価カテゴリ１ログインできない「ログイン出来ない場合は〜」 Good ログ評価を元に学習データに還元

システム構成図 S3 log Chatbot API EC2 Core 日常会話 API Q&A API redis Input Message Return Message learning Elasticsearch Q&A Master Q&A機能の予測確率が閾値以下の場合に、日常会話APIを呼び出す

お問い合せ率推移  Chatbot導入後に問合せ率が34.1%削減された。  問い合わせの中にChatBotに対する苦情はなし。

時間帯別BOT利用数 BOTは２４時間３６５日機械で応答可能であり利用数は深夜帯がピークであった。

まとめ  Chatbot導入後、問合せ率を約34.1%削減できた。  カスタマがサービスをよく使う深夜帯における対応など２４時間３６５日対応できる基盤整備という人手では実現の難しい付加価値が見込まれる。  機械学習を活用することでカスタマに寄り添った独自ナレッジの構築を属人化することなく継続的にできる可能性がある。

今後について

まとめ  Chatbot導入後、問合せ率を約34.1%削減できた。  カスタマがサービスをよく使う深夜帯における対応など２４時間３６５日対応できる基盤整備という人手では実現の難しい付加価値が見込まれる。  機械学習を活用することでカスタマに寄り添った独自ナレッジの構築を属人化することなく継続的にできる可能性がある。

まとめ  Chatbot導入後、問合せ率を約34.1%削減できた。  カスタマがサービスをよく使う深夜帯における対応など２４時間３６５日対応できる基盤整備という人手では実現の難しい付加価値が見込まれる。  機械学習を活用することでカスタマに寄り添った独自ナレッジの構築を属人化することなく継続的にできる可能性がある。カスタマの問合せ対応の自動化以外にも使えるのではないか？

横展開の展望営業コールセンター ①リクルートとクライント/②リクルートとユーザ/③ユーザとクライント/④リクルート内部のやりとりが存在し、すべてにBOT導入の余地がある。バックオフィスユーザークライアント

Chatbotのユースケース問い合わせ対応 QAの自動応答など、特定の問に特定の回答を行うもの。アクション向上を目的とした検索代替アイテムや情報を探す際の新たなインターフェース。雑談・日常会話日常的な会話を行うもの。問合せ対応を自動化するだけでなく、 Chatというインターフェースを活用してアクション向上にもつなげていく。

システム構成図 S3 log Chatbot API EC2 Core 日常会話 API Q&A API redis Input Message Return Message learning 画像認識 API レコメンド API Elasticsearch Q&A Master

システム構成図 S3 log Chatbot API EC2 Core 日常会話 API Q&A API redis Input Message Return Message learning 画像認識 API レコメンド API Elasticsearch Q&A Master 機能をパーツのように組み立てることが可能多様なユースケースに応じてカスタマイズしやすい

システム構成図 S3 log Chatbot API EC2 Core 日常会話 API Q&A API redis Input Message Return Message learning 画像認識 API レコメンド API Elasticsearch Q&A Master

最後に

A3RT-API A3RT-APIを社外公開しております。 https://a3rt.recruit-tech.co.jp/ ぜひ試し、良い意見も悪い意見もフィードバックください。

ご静聴ありがとうございましたリクルートテクノロジーズ

リクルートにおけるChatbot事例と周辺技術紹介

リクルートにおけるChatbot事例と周辺技術紹介

More Decks by Recruit Technologies

Other Decks in Technology

Featured

Transcript