Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SORACOM Support Bot の開発秘話
Search
SORACOM
PRO
February 16, 2024
Technology
0
2.2k
SORACOM Support Bot の開発秘話
2024年2月16日開催『
サポートエンジニアNight vol. 5
』で、ソラコム三國(mick)が発表した資料です。
SORACOM
PRO
February 16, 2024
Tweet
Share
More Decks by SORACOM
See All by SORACOM
投資家様向けビジネス概要<2025年8月版>
soracom
PRO
0
110
Business Overview for Investors[August 2025 Edition]
soracom
PRO
0
17
少人数・短期間で実現!“ゼロから作らない” 4つの事例から見る、新時代IoT【SORACOM Discovery 2025】
soracom
PRO
0
240
現場のリアルをカメラで変える!小売・商業施設の「現場改革」最前線【SORACOM Discovery 2025】
soracom
PRO
0
190
【特別講演】公開思考実験!もしも、この世界から「ヒトとモノのつながり」が消えたなら?【SORACOM Discovery 2025】
soracom
PRO
0
130
トヨタのIoT民主化を支援!「D-ROOM」の仕組みと現場浸透のくふう【SORACOM Discovery 2025】
soracom
PRO
0
250
クラウド全盛時代におけるIoTエッジ活用とグローバルサプライチェーン戦略【SORACOM Discovery 2025】
soracom
PRO
0
140
【特別講演】デジタル変革の羅針盤 ~CIO/CDOが描くIoTとAIの未来~【SORACOM Discovery 2025】
soracom
PRO
0
240
現場データを“武器”に変える!データ連携で加速する製造DX【SORACOM Discovery 2025】
soracom
PRO
0
120
Other Decks in Technology
See All in Technology
Amazon Bedrock AgentCore でプロモーション用動画生成エージェントを開発する
nasuvitz
6
460
生成AI利用プログラミング:誰でもプログラムが書けると 世の中どうなる?/opencampus202508
okana2ki
0
190
攻撃と防御で実践するプロダクトセキュリティ演習~導入パート~
recruitengineers
PRO
3
870
実践アプリケーション設計 ②トランザクションスクリプトへの対応
recruitengineers
PRO
4
790
知られざるprops命名の慣習 アクション編
uhyo
11
2.7k
見てわかるテスト駆動開発
recruitengineers
PRO
6
1.4k
新規案件の立ち上げ専門チームから見たAI駆動開発の始め方
shuyakinjo
0
190
ドキュメントはAIの味方!スタートアップのアジャイルを加速するADR
kawauso
3
420
実践データベース設計 ①データベース設計概論
recruitengineers
PRO
4
910
帳票Vibe Coding
terurou
0
150
制約理論(ToC)入門
recruitengineers
PRO
7
2.5k
7月のガバクラ利用料が高かったので調べてみた
techniczna
3
670
Featured
See All Featured
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
61k
BBQ
matthewcrist
89
9.8k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.4k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.5k
Become a Pro
speakerdeck
PRO
29
5.5k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
185
54k
For a Future-Friendly Web
brad_frost
179
9.9k
A better future with KSS
kneath
239
17k
Code Review Best Practice
trishagee
70
19k
Transcript
SORACOM Support Bot の開発秘話 サポートエンジニアNight vol.5 - サポートにLLMを添えて - Feb.
16, 2024 株式会社ソラコム | SORACOM, INC. Customer Reliability Engineer 三國直樹 | Naoki “Mick” Mikuni (@n_mikuni)
このプレゼンテーションで話すこと • ソラコムで提供した SORACOM Support Bot の全体像 • 提供するまでに工夫したこと •
提供してみてわかったこと • 今後やりたいこと
自己紹介 三國直樹 (mick) Customer Reliability Engineer SORACOM のサポートやドキュメント等を担当。 Playing Manager
やっています。 Zendesk community champion 2021 (Tokyo)
会社紹介 株式会社ソラコム|SORACOM, INC. 代表取締役社長 玉川憲|Ken Tamagawa サービス開始 2015年9月30日 拠点 日本、アメリカ、イギリス
サポートの範囲 IoT デバイス クラウドサービス ✓ 遠隔操作 ✓ メンテナンス ✓ 蓄積・見える化
✓ アラート通知 通信 デバイス センサ キット IoT 通信 IoT SIM LPWA パートナー デバイス パートナークラウド (AWS / Microsoft / Google) Wi-Fi / 有線 3G / LTE / 5G LTE-M
SORACOM Support Bot とは LLM を使って生成した回答 お客様からの質問 関連ドキュメントのリンク
なぜ SORACOM Support Bot を開発したのか? お客様のセルフサービスを促進できると考えた 素早い回答 (数分以内) (人間と比べると) 安価なコスト
自然言語での回答 + 参考ドキュメント付き
SORACOM Support Bot のコンポーネント ドキュメント インターフェース RAG のコアシステム
AWS Cloud SORACOM Support Bot のコアのアーキテクチャ Amazon API Gateway (REST)
AWS Lambda (Authorizer) Amazon SQS AWS Lambda (Handler) AWS Lambda (soracom-bot) Azure OpenAI Send request Authorize Enqueue Trigger Query Query Add comments Amazon DynamoDB Store conversation
SORACOM Support Bot を提供するための工夫 特に以下のような工夫がありました 提供する情報の コントロール コストの コントロール 品質への期待値の
コントロール
• 間違っても他のお客様の情報や機密情報を回答へ含めてはいけない • サポートの履歴は使わず、公開ドキュメントのみ使って回答を作成 するようにしている 提供する情報のコントロール
コストのコントロール • 誰でも bot を使えるようにすると、予期せぬ濫用によるコスト増大 が危惧される • 現フェーズでは、ログインしたお客様からの問い合わせのみで使え るようにしている
品質への期待値のコントロール • 生成 AI の回答精度はまだまだ伸びしろがある • トラブルシューティングや課金で誤った回答をするのはお客様にも 迷惑がかかるので、現時点では仕様確認・手順確認に絞って提供し ている
提供してみてわかったこと • LLM へのお客様の関心は高く、多くのお客様に使っていただけた • しかし回答精度は (思ったよりも) 十分ではなかった • お客様は一問一答で質問してくれるとは限らない
• ドキュメントに載っていないことも LLM は自信満々に回答して しまう
今後やりたいこと • 仕様・手順の質問について5%程度は bot で解決できるようにする • 仕様・手順以外の質問へも回答できるようにする (トラブルシュー ティングや課金など) •
インターフェースの拡大 (コンソールやドキュメントページから使 えるように) • ドキュメント・コアの継続的な改善
まとめ • LLM / RAG がカスタマーサポートにとってブレークスルーになる ことは間違いない • 乗るしかない、このビッグウェーブに •
作るのも提供するのも大変だが、ナレッジを共有しつつ、一緒に 乗り越えていきましょう
IoT の「つなぐ」を簡単に You Create. We Connect.