Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SORACOM Support Bot の開発秘話
Search
SORACOM
PRO
February 16, 2024
Technology
0
2.2k
SORACOM Support Bot の開発秘話
2024年2月16日開催『
サポートエンジニアNight vol. 5
』で、ソラコム三國(mick)が発表した資料です。
SORACOM
PRO
February 16, 2024
Tweet
Share
More Decks by SORACOM
See All by SORACOM
10年の共創が示す、これからの開発者と企業の関係 ~ Crossroad
soracom
PRO
1
220
投資家様向けビジネス概要<2025年8月版>
soracom
PRO
0
310
Business Overview for Investors[August 2025 Edition]
soracom
PRO
0
48
少人数・短期間で実現!“ゼロから作らない” 4つの事例から見る、新時代IoT【SORACOM Discovery 2025】
soracom
PRO
0
310
現場のリアルをカメラで変える!小売・商業施設の「現場改革」最前線【SORACOM Discovery 2025】
soracom
PRO
0
280
【特別講演】公開思考実験!もしも、この世界から「ヒトとモノのつながり」が消えたなら?【SORACOM Discovery 2025】
soracom
PRO
0
160
トヨタのIoT民主化を支援!「D-ROOM」の仕組みと現場浸透のくふう【SORACOM Discovery 2025】
soracom
PRO
0
340
クラウド全盛時代におけるIoTエッジ活用とグローバルサプライチェーン戦略【SORACOM Discovery 2025】
soracom
PRO
0
180
【特別講演】デジタル変革の羅針盤 ~CIO/CDOが描くIoTとAIの未来~【SORACOM Discovery 2025】
soracom
PRO
0
300
Other Decks in Technology
See All in Technology
GopherCon Tour 概略
logica0419
2
190
SREとソフトウェア開発者の合同チームはどのようにS3のコストを削減したか?
muziyoshiz
1
100
多様な事業ドメインのクリエイターへ 価値を届けるための営みについて
massyuu
1
270
VCC 2025 Write-up
bata_24
0
180
Why React!?? Next.jsそしてReactを改めてイチから選ぶ
ypresto
10
4.5k
AIAgentの限界を超え、 現場を動かすWorkflowAgentの設計と実践
miyatakoji
0
140
データエンジニアがこの先生きのこるには...?
10xinc
0
450
LLMアプリケーション開発におけるセキュリティリスクと対策 / LLM Application Security
flatt_security
7
1.9k
職種別ミートアップで社内から盛り上げる アウトプット文化の醸成と関係強化/ #DevRelKaigi
nishiuma
2
140
PLaMoの事後学習を支える技術 / PFN LLMセミナー
pfn
PRO
9
3.8k
Access-what? why and how, A11Y for All - Nordic.js 2025
gdomiciano
1
110
実装で解き明かす並行処理の歴史
zozotech
PRO
1
350
Featured
See All Featured
We Have a Design System, Now What?
morganepeng
53
7.8k
Typedesign – Prime Four
hannesfritz
42
2.8k
KATA
mclloyd
32
15k
GraphQLとの向き合い方2022年版
quramy
49
14k
Unsuck your backbone
ammeep
671
58k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.9k
What's in a price? How to price your products and services
michaelherold
246
12k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
It's Worth the Effort
3n
187
28k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.6k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
How to Ace a Technical Interview
jacobian
280
24k
Transcript
SORACOM Support Bot の開発秘話 サポートエンジニアNight vol.5 - サポートにLLMを添えて - Feb.
16, 2024 株式会社ソラコム | SORACOM, INC. Customer Reliability Engineer 三國直樹 | Naoki “Mick” Mikuni (@n_mikuni)
このプレゼンテーションで話すこと • ソラコムで提供した SORACOM Support Bot の全体像 • 提供するまでに工夫したこと •
提供してみてわかったこと • 今後やりたいこと
自己紹介 三國直樹 (mick) Customer Reliability Engineer SORACOM のサポートやドキュメント等を担当。 Playing Manager
やっています。 Zendesk community champion 2021 (Tokyo)
会社紹介 株式会社ソラコム|SORACOM, INC. 代表取締役社長 玉川憲|Ken Tamagawa サービス開始 2015年9月30日 拠点 日本、アメリカ、イギリス
サポートの範囲 IoT デバイス クラウドサービス ✓ 遠隔操作 ✓ メンテナンス ✓ 蓄積・見える化
✓ アラート通知 通信 デバイス センサ キット IoT 通信 IoT SIM LPWA パートナー デバイス パートナークラウド (AWS / Microsoft / Google) Wi-Fi / 有線 3G / LTE / 5G LTE-M
SORACOM Support Bot とは LLM を使って生成した回答 お客様からの質問 関連ドキュメントのリンク
なぜ SORACOM Support Bot を開発したのか? お客様のセルフサービスを促進できると考えた 素早い回答 (数分以内) (人間と比べると) 安価なコスト
自然言語での回答 + 参考ドキュメント付き
SORACOM Support Bot のコンポーネント ドキュメント インターフェース RAG のコアシステム
AWS Cloud SORACOM Support Bot のコアのアーキテクチャ Amazon API Gateway (REST)
AWS Lambda (Authorizer) Amazon SQS AWS Lambda (Handler) AWS Lambda (soracom-bot) Azure OpenAI Send request Authorize Enqueue Trigger Query Query Add comments Amazon DynamoDB Store conversation
SORACOM Support Bot を提供するための工夫 特に以下のような工夫がありました 提供する情報の コントロール コストの コントロール 品質への期待値の
コントロール
• 間違っても他のお客様の情報や機密情報を回答へ含めてはいけない • サポートの履歴は使わず、公開ドキュメントのみ使って回答を作成 するようにしている 提供する情報のコントロール
コストのコントロール • 誰でも bot を使えるようにすると、予期せぬ濫用によるコスト増大 が危惧される • 現フェーズでは、ログインしたお客様からの問い合わせのみで使え るようにしている
品質への期待値のコントロール • 生成 AI の回答精度はまだまだ伸びしろがある • トラブルシューティングや課金で誤った回答をするのはお客様にも 迷惑がかかるので、現時点では仕様確認・手順確認に絞って提供し ている
提供してみてわかったこと • LLM へのお客様の関心は高く、多くのお客様に使っていただけた • しかし回答精度は (思ったよりも) 十分ではなかった • お客様は一問一答で質問してくれるとは限らない
• ドキュメントに載っていないことも LLM は自信満々に回答して しまう
今後やりたいこと • 仕様・手順の質問について5%程度は bot で解決できるようにする • 仕様・手順以外の質問へも回答できるようにする (トラブルシュー ティングや課金など) •
インターフェースの拡大 (コンソールやドキュメントページから使 えるように) • ドキュメント・コアの継続的な改善
まとめ • LLM / RAG がカスタマーサポートにとってブレークスルーになる ことは間違いない • 乗るしかない、このビッグウェーブに •
作るのも提供するのも大変だが、ナレッジを共有しつつ、一緒に 乗り越えていきましょう
IoT の「つなぐ」を簡単に You Create. We Connect.