Webカスタマーサポート向けSaaSにおけるLLMの活用

LLMProd#3 Production目線で振り返る OpenAI DevDay (https://llm-in-production.connpass.com/event/303685/ ) でのRightTouchからの発表資料です。

Transcript

1. Webカスタマーサポート向けSaaSにおけるLLMの活用 株式会社RightTouch(株式会社プレイド) 齋藤成之
2. © RightTouch Inc. 2 AGENDA 会社・プロダクト紹介 LLM機能の開発とリリース
 今後 (OpenAI DevDayを受けて)

3. © RightTouch Inc. 3 AGENDA 会社・プロダクト紹介 LLM機能の開発とリリース
 今後 (OpenAI DevDayを受けて)

4. 　　｜　　© PLAID, Inc. 株式会社プレイド PLAID, Inc. 沿⾰ 4 About Company 2011.1 創業 2015.3 KARTEの正式版を提供開始 2018.3 KARTE for Appを提供開始 2018.5 約27億円を調達 2019.11 Googleからの資⾦調達を発表 2020.12 東京証券取引所マザーズ（現東証グロース市場）に上場 2021.8 三井物産と新会社 株式会社ドットミーを設⽴ 2021.8 株式会社エモーションテックの過半数株式を取得し、 NPSなどサーベイ分野におけるサービス提供を本格化 2021.12 新会社 株式会社RightTouchを設⽴し カスタマーサポート領域に正式参⼊ 2022.1 アジト株式会社の過半数株式を取得し、 インターネット広告領域におけるサービスを拡充 　　｜　　© PLAID, Inc. 設⽴：2011年10⽉ 所在地：東京都中央区銀座6-10-1 GINZA SIX 10F 従業員（連結/単体）：389/316⼈（2023年9⽉末時点）
5. © RightTouch Inc. © RightTouch Inc. RightTouchについて
 沿革 
 2021年12月 株式会社RightTouch設立
 2022年3月 次世代のコンタクトセンターを創ることに賛同いただいた
 お客様との実証実験を経て、KARTE RightSupport（β版）
 をリリース 2023年10月 Webサイトとコールセンターの分断をなくし、問い合わせ体験を抜 本から変革する新プロダクト「RightConnect by KARTE」β版を提 供開始
 2023年10月 RightSupport by KARTEの正式版をリリース
 
 主な導入企業様 設立：2021年12月
 従業員：22名（2023年8月1日現在）
 資本金：10,000,000円（資本準備金含む）

6. © RightTouch Inc. 自己紹介
 齋藤成之 (twitter: @nakaakist)
 
 
 2020 東京大学理学系研究科博士課程修了
 
 2020-2021 日立製作所
 
 2021-現在 株式会社プレイド/株式会社RightTouch
 
 
 レーザー物理で博士号取得後、日立製作所でITプラットフォームの設計・ 開発に従事。
 
 その後、プレイド/RightTouchで、テックリード、フルスタックエンジニアと して、アプリケーション開発に従事。
 
 LLM活用機能の設計・実装も担当
 
 好きなもの: 旬
 
 
 
 

7. - © RightTouch Inc. © RightTouch Inc. - 7 次世代カスタマーサポート基盤｜RightSupport by KARTE
 サイトに来ているお客様を可視化し 最適なカスタマーサポートを
 可能にするサービス
8. © RightTouch Inc. © RightTouch Inc. 8 © RightTouch Inc. RightSupport by KARTEの概要
 顧客行動を正確に計測し、 各ページで問い合わせに至るまでのつまずきを把握 Webサイトを拡張し、
 つまずきに即したFAQ/チャネルを提示 Webサイト全体を俯瞰して
 どこでどんなつまずきが起きているかを
 可視化 問い合わせに至るまでのカスタマーの迷いやつまずきを捉え、 エフォートレスなWebサポートを実現 ＜サポートウィジェット＞ ＜レポート/ダッシュボード＞ ＜n1のつまずき行動取得 /KARTE Live＞ 問い合わせ前のつまずきの把握 つまずきに合わせた先回りサポート
9. © RightTouch Inc. 9 AGENDA 会社・プロダクト紹介 LLM機能の開発とリリース
 今後 (OpenAI DevDayを受けて)

10. © RightTouch Inc. © RightTouch Inc. 1 0 © RightTouch Inc. プロダクトの課題
 顧客行動を正確に計測し、 各ページで問い合わせに至るまでのつまずきを把握 Webサイトを拡張し、
 つまずきに即したFAQ/チャネルを提示 Webサイト全体を俯瞰して
 どこでどんなつまずきが起きているかを
 可視化 レポートデータからサポート施策を出すまでに、一定の仮説立て、思考が必要
 Webサイト分析に馴染みのないクライアントも多く、ここで詰まってしまうケースが多い。
 ＜サポートウィジェット＞ ＜レポート/ダッシュボード＞ ＜n1のつまずき行動取得 /KARTE Live＞ 問い合わせ前のつまずきの把握 つまずきに合わせた先回りサポート ここが難しい

11. © RightTouch Inc. © RightTouch Inc. 1 1 © RightTouch Inc. プロダクトの課題
 顧客行動を正確に計測し、 各ページで問い合わせに至るまでのつまずきを把握 Webサイトを拡張し、
 つまずきに即したFAQ/チャネルを提示 Webサイト全体を俯瞰して
 どこでどんなつまずきが起きているかを
 可視化 レポートデータからサポート施策を出すまでに、一定の仮説立て、思考が必要
 Webサイト分析に馴染みのないクライアントも多く、ここで詰まってしまうケースが多い。
 → データから自動で施策の「叩き台」を作り、始めの一歩をアシストする
 ＜サポートウィジェット＞ ＜レポート/ダッシュボード＞ ＜n1のつまずき行動取得 /KARTE Live＞ 問い合わせ前のつまずきの把握 つまずきに合わせた先回りサポート LLMで半自動化

12. © RightTouch Inc. © RightTouch Inc. 1 2 © RightTouch Inc. 機能デモ: サポートシナリオの自動生成

13. © RightTouch Inc. © RightTouch Inc. 1 3 裏側の仕組み
 工夫した点
 • LLMへの入力:「レポート数値の羅列」ではなく、「シナリオに入れるべきFAQ一覧」という具体情報をルールベースで抽 出
 • LLMに行わせるタスクは分割し、並列実行することで速度と安定性を向上
 • 利用フローに人間の確認ステップを設け、あまりにおかしいアウトプットを抑制

14. © RightTouch Inc. © RightTouch Inc. 1 4 © RightTouch Inc. LLM機能をリリースしてみて
 • クライアントの声
 ◦ 0からシナリオを作る時間がかなり短縮された
 ◦ コールセンターのオペレータもシナリオ作成できるようになった
 
 • ML・AIエンジニアが社内にいなくても、企画からリリースまで短期間で実装できた
 ◦ 曖昧な入出力をカジュアルにシステムに組み込めるのはでかい
 
 • LLMの向き不向き(e.g., 100%の正確性は無理)を考慮したユースケースの見極めが難しい
 ▪ 今回の場合、施策作成の始めの一歩に課題がありそうなことがビジネスメンバーへのヒアリングでわかった
 
 • SaaSとして、様々なクライアントのデータに対し、安定したアウトプットを出させるのに苦労した
 ◦ 雑にデータを与えて「いい感じにシナリオにしてください」はうまく行かなかった
 ◦ 今後ここはLLMの進化でどんどん改善していきそう。逆に過去の工夫がすぐ陳腐化する
 

15. © RightTouch Inc. 1 5 AGENDA 会社・プロダクト紹介 LLM機能の開発とリリース
 今後 (OpenAI DevDayを受けて)

16. © RightTouch Inc. © RightTouch Inc. 1 6 © RightTouch Inc. 今後 (OpenAI DevDayを受けて)
 • 画像・動画データの活用 (=マルチモーダル)
 ◦ 例えば、エンドユーザーのweb行動を動画にとって、そのままLLMにユーザーの困りごとを分析させる
 
 • 大量データの分析 (=コスト/レイテンシの低下、トークン数上限の増加)
 ◦ 問い合わせデータ、webでの行動履歴などを大量に食わせる
 
 • エンドユーザー接点
 ◦ 電話、チャット、フォームなど、エンドユーザー接点で直接LLMを使う
 ◦ ハルシネーションを抑える工夫をしつつ
 
 LLMの進化が激しく、やりたいことはどんどん増えるが開発リソースが全然足りない