Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
チャットボットプロダクトにおけるリアルなNLP課題
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
tomomatsu_yuta
July 06, 2019
Research
2.7k
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
チャットボットプロダクトにおけるリアルなNLP課題
BCU30で登壇した資料です
https://bcu30.jp/2019/talk/tomomatsu-yuta/
tomomatsu_yuta
July 06, 2019
Transcript
25 slides
チャットボットプロダクト におけるリアルな NLP(⾃然⾔語処理) 課題 株式会社サイバーエージェント アドテク本部 AIメッセンジャーカンパニー 友松祐太
1.はじめに 2.AIメッセンジャーについて 3.チャットボット の運⽤における課題 4.まとめ
はじめに
⾃⼰紹介 名前︓ 友松 祐太(ともまつゆうた) 職種︓ データサイエンティスト 主な仕事︓ チャットボット のロジック開発/データビジュアライゼーション これまでの経歴︓
• 2015/04(学部4年)-2017/03(修⼠1年) サイバーエージェントの研究組織であるAI Labとの共同研究に携わる サイバーエージェントに内定 • 2017/07(修⼠2年) - 内定者アルバイトという形でAIメッセンジャーで仕事を始める • 2018 サイバーエージェントに新卒⼊社 内定者時代から引き続きAIメッセンジャーに配属
はじめに • チャットボットの開発/運⽤にあたり直⾯する様々なNLP(Natural Language Processing, ⾃然 ⾔語処理)の課題についてのお話しします • 時間的な制約があるので細かい話はAsk the
Speakerおよび懇親会の時間に聞いてください • 数式や具体的な機械学習⼿法の話は⾏いません。
AIメッセンジャーについて
AIメッセンジャーについて
AIメッセンジャーについて 経験豊富なAIコミュニケーション デザイナーがトータルサポート! [特徴] ①AIによる自動応答 ②有人切り替え可能 ③初期設計/運用/コンサルティングを提供 ⾼品質なチャットボットを提供
AIによるチャットボットの仕組み Question Answer ポイントはマイページ にて確認いただけます... 何ポイント貯まったか 確認したい FAQ
賢いチャットボットを作るために 賢い チャット ボット 賢いAI 質の⾼い FAQの整備
チャットボットの 運⽤における課題
チャットボット の運⽤プロセス
チャットボット の運⽤プロセス 初期設計
初期設計 ⼈⼿ ⾃動 ⼈的コスト: ⼤ 技術コスト: ⼩ ⼈的コスト: ⼩ 技術コスト:
⼤ 顧客とCS(カスタマーサポート)のやりとりの記録からチャットボットが 答えるFAQを作成する
初期設計 ⼈⼿ ⾃動 ⼈的コスト: ⼤ 技術コスト: ⼩ ⼈的コスト: ⼩ 技術コスト:
⼤ 顧客とCS(カスタマーサポート)のやりとりの記録からチャットボットが 答えるFAQを作成する ⼀部を⾃動化し、残りの作業を⼈⼿で⾏う (例)問い合わせのクラスタリング • 重複する問い合わせをまとめられる • 件数から重要度がわかる 他にもクラスタ内の要約やキーフレーズ抽出などが 考えられる(できるだけ⾃動の部分を増やしたい)
チャットボット の運⽤プロセス 実際の使われ⽅の確認
表記揺れ ユーザに⾃由⼊⼒を許す場合、ユーザは様々な表現で問い合わせてくる iphoneのデータ引き継ぎ iphone7のデータ引き継ぎ アイホンのデータ引き継ぎ アイフォーンのデータ引き継ぎ
表記揺れ 【解決法】 辞書に表記揺れのパターンを登録 【問題点】 1. 運⽤開始時に全ての表記揺れを把握することは不可能 運⽤しながら辞書を追加していく必要があり、⼈的コストがかかる 2. 顧客によって表記揺れとして扱うべきものが異なる iPhoneもAndroidも「スマホ」として扱っていい場合と分けて扱わなければならない場合がある
→顧客ごとに辞書を設定する必要がある 可能な限り辞書作成を⾃動化したい & 表記揺れに強いモデルを適⽤したい
チャットボット の運⽤プロセス FAQの再設計
FAQの改善 利⽤ログにはどういう問い合わせに対して何の回答を提案し、それが参照されたか が記録されている 利⽤ログ 提⽰した回答が参照されなかった原因を分析 1. 回答候補に適切なものが無い →対応するFAQの作成 2. 新商品などの新語
→表記揺れ辞書の追加 3. 正しい回答は提⽰できているが正しいと認識されていない →提⽰⽂⾔の修正(次ページ)
提⽰⽂⾔の修正 下記の中に近い問題はありますか︖ マイページの開き⽅ ログイン⽅法 ・・・ ・・・ このサイトではログインするとマイページが開くので、提⽰した回答で解決できる しかし「ログイン=マイページを開く」と認識できていないユーザーもいるため マイページへのログイン⽅法 ログイン⽅法
マイページの開き⽅ と修正するか のようにユーザの発話に合わせて2種類の⽂⾔を提⽰するなど、 回答⽂⾔を⼯夫する必要がある
ログの汚染 メモ 不幸の⼿紙 ゲーム広告 ◦◦を⼀緒に遊ぼう! かんたんなパズルゲームだよ。 ▼ダウンロードはこちらから▼ https://〇〇/△ △ △
今、〇〇本社がチェンメの危険性 を確かめる為、どこまで回るのか 検証中です。前回の嘘を⾒た〇〇 本社が、新しく作りました。もし よければ、このメッセージを20⼈ に回してください。もし、回して くれた場合、〇〇本社から1000コ イン、お好きな着せ替え1個をプレ ゼントします!ご協⼒お願いします。 せんぱいせんぱい! 今週の⽊曜⽇の夜って、お忙しいで すか? 提供するボットの機能と関係のない⼊⼒がされることがある 学習のノイズや、ボットの指標に悪影響なので、これらの問い合わせは除外したい →スパムフィルターの開発
まとめ
まとめ • AIチャットボット の精度向上には「AIの賢さ」に加えて「質の⾼いFAQの整備」が不可⽋ • 実プロダクトにおいてNLPや機械学習の利⽤価値は無限⼤ • アカデミックとはまた違った実プロダクトならではの課題がたくさんある。 続きはAsk the
Speakerと懇親会で話しましょう︕
ご静聴ありがとうございました
More Decks by tomomatsu_yuta
See All by tomomatsu_yuta
〜LLM活用のリアルを語る〜 AI ShiftにおけるLLM活用
tomo_otamot
0
250
AIチャットボットのためのチューニング支援システム
tomo_otamot
0
940
組織にデータビジュアライゼーションを浸透させる
tomo_otamot
0
440
Other Decks in Research
See All in Research
Empreinte carbone des ovins : une approche globale (technique, économique, environnementale) – 4 années de résultats avec LIFE GREEN SHEEP
institutdelelevage
PRO
0
150
最先端NLP勉強会2026 論文紹介:Reasoning with Sampling: Your Base Model is Smarter Than You Think (ICLR 2026 paper)
kogoro
4
970
La longévité des troupeaux laitiers: état des lieux et perspectives
institutdelelevage
PRO
0
140
モデル評価を効率的にする方法
ftakahashi
0
250
TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis
satai
3
130
La génomique au service de la fromageabilité du lait grâce aux spectres MIR
institutdelelevage
PRO
0
230
生成AI時代の開発方法論と、メールサーバー運用の新しいかたち
hirachan
0
230
CDCL を用いた MILP の厳密解法
imai448
0
330
Karkada さんの論文 × 2 の紹介: (1) Closed-Form Training Dynamics Reveal Learned Features and Linear Structure in Word2Vec-like Models, (2) Symmetry in language statistics shapes the geometry of model representations
eumesy
PRO
1
1k
量子サマースクール2026「量子計算機アーキテクチャ分野の概観」
youten622
1
1k
Santé et fertilité des sols : ce que nous disent les pratiques dans les systèmes de polyculture-élevage
institutdelelevage
PRO
0
240
Physical AIでモデリングはどう変わるか/How Physical AI Will Change Modeling
stktu
0
350
Featured
See All Featured
Breaking role norms: Why Content Design is so much more than writing copy - Taylor Woolridge
uxyall
2
530
Leveraging LLMs for student feedback in introductory data science courses - posit::conf(2025)
minecr
1
480
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
38
3.1k
The Director’s Chair: Orchestrating AI for Truly Effective Learning
tmiket
1
350
Money Talks: Using Revenue to Get Sh*t Done
nikkihalliwell
0
560
Typedesign – Prime Four
hannesfritz
42
3.2k
What's in a price? How to price your products and services
michaelherold
247
13k
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
tomoyanonymous
3
1.4k
Statistics for Hackers
jakevdp
799
230k
A Tale of Four Properties
chriscoyier
163
24k
Ethics towards AI in product and experience design
skipperchong
2
470
VelocityConf: Rendering Performance Case Studies
addyosmani
331
25k