Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SORACOM Support Bot の開発秘話
Search
SORACOM
PRO
February 16, 2024
Technology
0
2.1k
SORACOM Support Bot の開発秘話
2024年2月16日開催『
サポートエンジニアNight vol. 5
』で、ソラコム三國(mick)が発表した資料です。
SORACOM
PRO
February 16, 2024
Tweet
Share
More Decks by SORACOM
See All by SORACOM
投資家様向けビジネス概要
soracom
PRO
0
120
IoT でできること・取り組み方「後付け IoT」「組み込み IoT」と、IoTやSORACOMの仲間が共に学び交流するコミュニティ「SORACOM UG」
soracom
PRO
0
340
APIファーストで実現する運用性の高い IoT プラットフォーム: SORACOMのアプローチ
soracom
PRO
0
1.5k
IoTシステムの運用効率化に取り組もう! ― 回線管理とデバイス設定を自動化するための SORACOM API とプラットフォーム機能の活用
soracom
PRO
0
120
SORACOM のアーキテクチャと挑戦のフィールド
soracom
PRO
1
1k
Technical Writing Meetup vol.39
soracom
PRO
2
980
今だからこそ振り返る、生成AIの基礎とこれからの使い道 ― デバイスから生成AIを使うには
soracom
PRO
0
73
【SORACOM UG】SORACOM におけるユーザーコミュニティの重要性とこれから
soracom
PRO
2
610
AWS Lambda と Amazon SQS で「わかった気になれる」FreeRTOS 入門
soracom
PRO
2
790
Other Decks in Technology
See All in Technology
TableauLangchainとは何か?
cielo1985
1
150
Amplify Gen2から知るAWS CDK Toolkit Libraryの使い方/How to use the AWS CDK Toolkit Library as known from Amplify Gen2
fossamagna
1
240
サイバーエージェントグループのSRE10年の歩みとAI時代の生存戦略
shotatsuge
4
830
大量配信システムにおけるSLOの実践:「見えない」信頼性をSLOで可視化
plaidtech
PRO
0
290
Delegating the chores of authenticating users to Keycloak
ahus1
0
180
関数型プログラミングで 「脳がバグる」を乗り越える
manabeai
2
220
全部AI、全員Cursor、ドキュメント駆動開発 〜DevinやGeminiも添えて〜
rinchsan
2
2.2k
OpenTelemetryセマンティック規約の恩恵とMackerel APMにおける活用例 / SRE NEXT 2025
mackerelio
3
1.6k
20250707-AI活用の個人差を埋めるチームづくり
shnjtk
6
4.1k
CDKTFについてざっくり理解する!!~CloudFormationからCDKTFへ変換するツールも作ってみた~
masakiokuda
1
200
shake-upを科学する
rsakata
7
930
SEQUENCE object comparison - db tech showcase 2025 LT2
nori_shinoda
0
280
Featured
See All Featured
Making Projects Easy
brettharned
116
6.3k
Code Reviewing Like a Champion
maltzj
524
40k
Art, The Web, and Tiny UX
lynnandtonic
299
21k
Rails Girls Zürich Keynote
gr2m
95
14k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
54k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
Building a Modern Day E-commerce SEO Strategy
aleyda
42
7.4k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
The Language of Interfaces
destraynor
158
25k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.7k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
Transcript
SORACOM Support Bot の開発秘話 サポートエンジニアNight vol.5 - サポートにLLMを添えて - Feb.
16, 2024 株式会社ソラコム | SORACOM, INC. Customer Reliability Engineer 三國直樹 | Naoki “Mick” Mikuni (@n_mikuni)
このプレゼンテーションで話すこと • ソラコムで提供した SORACOM Support Bot の全体像 • 提供するまでに工夫したこと •
提供してみてわかったこと • 今後やりたいこと
自己紹介 三國直樹 (mick) Customer Reliability Engineer SORACOM のサポートやドキュメント等を担当。 Playing Manager
やっています。 Zendesk community champion 2021 (Tokyo)
会社紹介 株式会社ソラコム|SORACOM, INC. 代表取締役社長 玉川憲|Ken Tamagawa サービス開始 2015年9月30日 拠点 日本、アメリカ、イギリス
サポートの範囲 IoT デバイス クラウドサービス ✓ 遠隔操作 ✓ メンテナンス ✓ 蓄積・見える化
✓ アラート通知 通信 デバイス センサ キット IoT 通信 IoT SIM LPWA パートナー デバイス パートナークラウド (AWS / Microsoft / Google) Wi-Fi / 有線 3G / LTE / 5G LTE-M
SORACOM Support Bot とは LLM を使って生成した回答 お客様からの質問 関連ドキュメントのリンク
なぜ SORACOM Support Bot を開発したのか? お客様のセルフサービスを促進できると考えた 素早い回答 (数分以内) (人間と比べると) 安価なコスト
自然言語での回答 + 参考ドキュメント付き
SORACOM Support Bot のコンポーネント ドキュメント インターフェース RAG のコアシステム
AWS Cloud SORACOM Support Bot のコアのアーキテクチャ Amazon API Gateway (REST)
AWS Lambda (Authorizer) Amazon SQS AWS Lambda (Handler) AWS Lambda (soracom-bot) Azure OpenAI Send request Authorize Enqueue Trigger Query Query Add comments Amazon DynamoDB Store conversation
SORACOM Support Bot を提供するための工夫 特に以下のような工夫がありました 提供する情報の コントロール コストの コントロール 品質への期待値の
コントロール
• 間違っても他のお客様の情報や機密情報を回答へ含めてはいけない • サポートの履歴は使わず、公開ドキュメントのみ使って回答を作成 するようにしている 提供する情報のコントロール
コストのコントロール • 誰でも bot を使えるようにすると、予期せぬ濫用によるコスト増大 が危惧される • 現フェーズでは、ログインしたお客様からの問い合わせのみで使え るようにしている
品質への期待値のコントロール • 生成 AI の回答精度はまだまだ伸びしろがある • トラブルシューティングや課金で誤った回答をするのはお客様にも 迷惑がかかるので、現時点では仕様確認・手順確認に絞って提供し ている
提供してみてわかったこと • LLM へのお客様の関心は高く、多くのお客様に使っていただけた • しかし回答精度は (思ったよりも) 十分ではなかった • お客様は一問一答で質問してくれるとは限らない
• ドキュメントに載っていないことも LLM は自信満々に回答して しまう
今後やりたいこと • 仕様・手順の質問について5%程度は bot で解決できるようにする • 仕様・手順以外の質問へも回答できるようにする (トラブルシュー ティングや課金など) •
インターフェースの拡大 (コンソールやドキュメントページから使 えるように) • ドキュメント・コアの継続的な改善
まとめ • LLM / RAG がカスタマーサポートにとってブレークスルーになる ことは間違いない • 乗るしかない、このビッグウェーブに •
作るのも提供するのも大変だが、ナレッジを共有しつつ、一緒に 乗り越えていきましょう
IoT の「つなぐ」を簡単に You Create. We Connect.