Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
チャットボットプロダクトにおけるリアルなNLP課題
Search
tomomatsu_yuta
July 06, 2019
Research
0
2.5k
チャットボットプロダクトにおけるリアルなNLP課題
BCU30で登壇した資料です
https://bcu30.jp/2019/talk/tomomatsu-yuta/
tomomatsu_yuta
July 06, 2019
Tweet
Share
More Decks by tomomatsu_yuta
See All by tomomatsu_yuta
〜LLM活用のリアルを語る〜 AI ShiftにおけるLLM活用
tomo_otamot
0
210
AIチャットボットのためのチューニング支援システム
tomo_otamot
0
820
組織にデータビジュアライゼーションを浸透させる
tomo_otamot
0
430
Other Decks in Research
See All in Research
音声感情認識技術の進展と展望
nagase
0
230
2025年度人工知能学会全国大会チュートリアル講演「深層基盤モデルの数理」
taiji_suzuki
25
19k
[RSJ25] Enhancing VLA Performance in Understanding and Executing Free-form Instructions via Visual Prompt-based Paraphrasing
keio_smilab
PRO
0
140
Towards a More Efficient Reasoning LLM: AIMO2 Solution Summary and Introduction to Fast-Math Models
analokmaus
2
890
IMC の細かすぎる話 2025
smly
2
680
When Submarine Cables Go Dark: Examining the Web Services Resilience Amid Global Internet Disruptions
irvin
0
320
Pythonでジオを使い倒そう! 〜それとFOSS4G Hiroshima 2026のご紹介を少し〜
wata909
0
910
最適化と機械学習による問題解決
mickey_kubo
0
180
なめらかなシステムと運用維持の終わらぬ未来 / dicomo2025_coherently_fittable_system
monochromegane
0
3.7k
2025/7/5 応用音響研究会招待講演@北海道大学
takuma_okamoto
1
220
GPUを利用したStein Particle Filterによる点群6自由度モンテカルロSLAM
takuminakao
0
350
Agentic AIとMCPを利用したサービス作成入門
mickey_kubo
0
640
Featured
See All Featured
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6.1k
Keith and Marios Guide to Fast Websites
keithpitt
411
23k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
162
15k
Optimizing for Happiness
mojombo
379
70k
Building an army of robots
kneath
306
46k
BBQ
matthewcrist
89
9.8k
A better future with KSS
kneath
239
18k
RailsConf 2023
tenderlove
30
1.2k
Music & Morning Musume
bryan
46
6.8k
Art, The Web, and Tiny UX
lynnandtonic
303
21k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
54
3k
Transcript
チャットボットプロダクト におけるリアルな NLP(⾃然⾔語処理) 課題 株式会社サイバーエージェント アドテク本部 AIメッセンジャーカンパニー 友松祐太
1.はじめに 2.AIメッセンジャーについて 3.チャットボット の運⽤における課題 4.まとめ
はじめに
⾃⼰紹介 名前︓ 友松 祐太(ともまつゆうた) 職種︓ データサイエンティスト 主な仕事︓ チャットボット のロジック開発/データビジュアライゼーション これまでの経歴︓
• 2015/04(学部4年)-2017/03(修⼠1年) サイバーエージェントの研究組織であるAI Labとの共同研究に携わる サイバーエージェントに内定 • 2017/07(修⼠2年) - 内定者アルバイトという形でAIメッセンジャーで仕事を始める • 2018 サイバーエージェントに新卒⼊社 内定者時代から引き続きAIメッセンジャーに配属
はじめに • チャットボットの開発/運⽤にあたり直⾯する様々なNLP(Natural Language Processing, ⾃然 ⾔語処理)の課題についてのお話しします • 時間的な制約があるので細かい話はAsk the
Speakerおよび懇親会の時間に聞いてください • 数式や具体的な機械学習⼿法の話は⾏いません。
AIメッセンジャーについて
AIメッセンジャーについて
AIメッセンジャーについて 経験豊富なAIコミュニケーション デザイナーがトータルサポート! [特徴] ①AIによる自動応答 ②有人切り替え可能 ③初期設計/運用/コンサルティングを提供 ⾼品質なチャットボットを提供
AIによるチャットボットの仕組み Question Answer ポイントはマイページ にて確認いただけます... 何ポイント貯まったか 確認したい FAQ
賢いチャットボットを作るために 賢い チャット ボット 賢いAI 質の⾼い FAQの整備
チャットボットの 運⽤における課題
チャットボット の運⽤プロセス
チャットボット の運⽤プロセス 初期設計
初期設計 ⼈⼿ ⾃動 ⼈的コスト: ⼤ 技術コスト: ⼩ ⼈的コスト: ⼩ 技術コスト:
⼤ 顧客とCS(カスタマーサポート)のやりとりの記録からチャットボットが 答えるFAQを作成する
初期設計 ⼈⼿ ⾃動 ⼈的コスト: ⼤ 技術コスト: ⼩ ⼈的コスト: ⼩ 技術コスト:
⼤ 顧客とCS(カスタマーサポート)のやりとりの記録からチャットボットが 答えるFAQを作成する ⼀部を⾃動化し、残りの作業を⼈⼿で⾏う (例)問い合わせのクラスタリング • 重複する問い合わせをまとめられる • 件数から重要度がわかる 他にもクラスタ内の要約やキーフレーズ抽出などが 考えられる(できるだけ⾃動の部分を増やしたい)
チャットボット の運⽤プロセス 実際の使われ⽅の確認
表記揺れ ユーザに⾃由⼊⼒を許す場合、ユーザは様々な表現で問い合わせてくる iphoneのデータ引き継ぎ iphone7のデータ引き継ぎ アイホンのデータ引き継ぎ アイフォーンのデータ引き継ぎ
表記揺れ 【解決法】 辞書に表記揺れのパターンを登録 【問題点】 1. 運⽤開始時に全ての表記揺れを把握することは不可能 運⽤しながら辞書を追加していく必要があり、⼈的コストがかかる 2. 顧客によって表記揺れとして扱うべきものが異なる iPhoneもAndroidも「スマホ」として扱っていい場合と分けて扱わなければならない場合がある
→顧客ごとに辞書を設定する必要がある 可能な限り辞書作成を⾃動化したい & 表記揺れに強いモデルを適⽤したい
チャットボット の運⽤プロセス FAQの再設計
FAQの改善 利⽤ログにはどういう問い合わせに対して何の回答を提案し、それが参照されたか が記録されている 利⽤ログ 提⽰した回答が参照されなかった原因を分析 1. 回答候補に適切なものが無い →対応するFAQの作成 2. 新商品などの新語
→表記揺れ辞書の追加 3. 正しい回答は提⽰できているが正しいと認識されていない →提⽰⽂⾔の修正(次ページ)
提⽰⽂⾔の修正 下記の中に近い問題はありますか︖ マイページの開き⽅ ログイン⽅法 ・・・ ・・・ このサイトではログインするとマイページが開くので、提⽰した回答で解決できる しかし「ログイン=マイページを開く」と認識できていないユーザーもいるため マイページへのログイン⽅法 ログイン⽅法
マイページの開き⽅ と修正するか のようにユーザの発話に合わせて2種類の⽂⾔を提⽰するなど、 回答⽂⾔を⼯夫する必要がある
ログの汚染 メモ 不幸の⼿紙 ゲーム広告 ◦◦を⼀緒に遊ぼう! かんたんなパズルゲームだよ。 ▼ダウンロードはこちらから▼ https://〇〇/△ △ △
今、〇〇本社がチェンメの危険性 を確かめる為、どこまで回るのか 検証中です。前回の嘘を⾒た〇〇 本社が、新しく作りました。もし よければ、このメッセージを20⼈ に回してください。もし、回して くれた場合、〇〇本社から1000コ イン、お好きな着せ替え1個をプレ ゼントします!ご協⼒お願いします。 せんぱいせんぱい! 今週の⽊曜⽇の夜って、お忙しいで すか? 提供するボットの機能と関係のない⼊⼒がされることがある 学習のノイズや、ボットの指標に悪影響なので、これらの問い合わせは除外したい →スパムフィルターの開発
まとめ
まとめ • AIチャットボット の精度向上には「AIの賢さ」に加えて「質の⾼いFAQの整備」が不可⽋ • 実プロダクトにおいてNLPや機械学習の利⽤価値は無限⼤ • アカデミックとはまた違った実プロダクトならではの課題がたくさんある。 続きはAsk the
Speakerと懇親会で話しましょう︕
ご静聴ありがとうございました