Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SORACOM Support Bot の開発秘話
Search
SORACOM
PRO
February 16, 2024
Technology
0
2k
SORACOM Support Bot の開発秘話
2024年2月16日開催『
サポートエンジニアNight vol. 5
』で、ソラコム三國(mick)が発表した資料です。
SORACOM
PRO
February 16, 2024
Tweet
Share
More Decks by SORACOM
See All by SORACOM
APIファーストで実現する運用性の高い IoT プラットフォーム: SORACOMのアプローチ
soracom
PRO
0
290
IoTシステムの運用効率化に取り組もう! ― 回線管理とデバイス設定を自動化するための SORACOM API とプラットフォーム機能の活用
soracom
PRO
0
13
SORACOM のアーキテクチャと挑戦のフィールド
soracom
PRO
1
790
Technical Writing Meetup vol.39
soracom
PRO
2
780
今だからこそ振り返る、生成AIの基礎とこれからの使い道 ― デバイスから生成AIを使うには
soracom
PRO
0
41
【SORACOM UG】SORACOM におけるユーザーコミュニティの重要性とこれから
soracom
PRO
2
460
AWS Lambda と Amazon SQS で「わかった気になれる」FreeRTOS 入門
soracom
PRO
2
600
IoT とは?IoTプラットフォーム「SORACOM」の役割
soracom
PRO
0
380
Technical Writing Meetup vol.35
soracom
PRO
2
330
Other Decks in Technology
See All in Technology
ABWG2024採択者が語るエンジニアとしての自分自身の見つけ方〜発信して、つながって、世界を広げていく〜
maimyyym
1
180
ウォンテッドリーのデータパイプラインを支える ETL のための analytics, rds-exporter / analytics, rds-exporter for ETL to support Wantedly's data pipeline
unblee
0
130
脳波を用いた嗜好マッチングシステム
hokkey621
0
290
【内製開発Summit 2025】イオンスマートテクノロジーの内製化組織の作り方/In-house-development-summit-AST
aeonpeople
2
670
依存パッケージの更新はコツコツが勝つコツ! / phpcon_nagoya2025
blue_goheimochi
3
220
実は強い 非ViTな画像認識モデル
tattaka
3
1.3k
Amazon Q Developerの無料利用枠を使い倒してHello worldを表示させよう!
nrinetcom
PRO
2
120
(機械学習システムでも) SLO から始める信頼性構築 - ゆる SRE#9 2025/02/21
daigo0927
0
270
Ruby on Railsで持続可能な開発を行うために取り組んでいること
am1157154
3
150
ExaDB-XSで利用されているExadata Exascaleについて
oracle4engineer
PRO
3
260
RemoveだらけのPHPUnit 12に備えよう
cocoeyes02
0
290
Exadata Database Service on Cloud@Customer セキュリティ、ネットワーク、および管理について
oracle4engineer
PRO
2
1.5k
Featured
See All Featured
Testing 201, or: Great Expectations
jmmastey
42
7.2k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
100
18k
Designing on Purpose - Digital PM Summit 2013
jponch
117
7.1k
Building an army of robots
kneath
303
45k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.2k
Rails Girls Zürich Keynote
gr2m
94
13k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
133
33k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
Designing for humans not robots
tammielis
250
25k
Building Your Own Lightsaber
phodgson
104
6.2k
4 Signs Your Business is Dying
shpigford
182
22k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
Transcript
SORACOM Support Bot の開発秘話 サポートエンジニアNight vol.5 - サポートにLLMを添えて - Feb.
16, 2024 株式会社ソラコム | SORACOM, INC. Customer Reliability Engineer 三國直樹 | Naoki “Mick” Mikuni (@n_mikuni)
このプレゼンテーションで話すこと • ソラコムで提供した SORACOM Support Bot の全体像 • 提供するまでに工夫したこと •
提供してみてわかったこと • 今後やりたいこと
自己紹介 三國直樹 (mick) Customer Reliability Engineer SORACOM のサポートやドキュメント等を担当。 Playing Manager
やっています。 Zendesk community champion 2021 (Tokyo)
会社紹介 株式会社ソラコム|SORACOM, INC. 代表取締役社長 玉川憲|Ken Tamagawa サービス開始 2015年9月30日 拠点 日本、アメリカ、イギリス
サポートの範囲 IoT デバイス クラウドサービス ✓ 遠隔操作 ✓ メンテナンス ✓ 蓄積・見える化
✓ アラート通知 通信 デバイス センサ キット IoT 通信 IoT SIM LPWA パートナー デバイス パートナークラウド (AWS / Microsoft / Google) Wi-Fi / 有線 3G / LTE / 5G LTE-M
SORACOM Support Bot とは LLM を使って生成した回答 お客様からの質問 関連ドキュメントのリンク
なぜ SORACOM Support Bot を開発したのか? お客様のセルフサービスを促進できると考えた 素早い回答 (数分以内) (人間と比べると) 安価なコスト
自然言語での回答 + 参考ドキュメント付き
SORACOM Support Bot のコンポーネント ドキュメント インターフェース RAG のコアシステム
AWS Cloud SORACOM Support Bot のコアのアーキテクチャ Amazon API Gateway (REST)
AWS Lambda (Authorizer) Amazon SQS AWS Lambda (Handler) AWS Lambda (soracom-bot) Azure OpenAI Send request Authorize Enqueue Trigger Query Query Add comments Amazon DynamoDB Store conversation
SORACOM Support Bot を提供するための工夫 特に以下のような工夫がありました 提供する情報の コントロール コストの コントロール 品質への期待値の
コントロール
• 間違っても他のお客様の情報や機密情報を回答へ含めてはいけない • サポートの履歴は使わず、公開ドキュメントのみ使って回答を作成 するようにしている 提供する情報のコントロール
コストのコントロール • 誰でも bot を使えるようにすると、予期せぬ濫用によるコスト増大 が危惧される • 現フェーズでは、ログインしたお客様からの問い合わせのみで使え るようにしている
品質への期待値のコントロール • 生成 AI の回答精度はまだまだ伸びしろがある • トラブルシューティングや課金で誤った回答をするのはお客様にも 迷惑がかかるので、現時点では仕様確認・手順確認に絞って提供し ている
提供してみてわかったこと • LLM へのお客様の関心は高く、多くのお客様に使っていただけた • しかし回答精度は (思ったよりも) 十分ではなかった • お客様は一問一答で質問してくれるとは限らない
• ドキュメントに載っていないことも LLM は自信満々に回答して しまう
今後やりたいこと • 仕様・手順の質問について5%程度は bot で解決できるようにする • 仕様・手順以外の質問へも回答できるようにする (トラブルシュー ティングや課金など) •
インターフェースの拡大 (コンソールやドキュメントページから使 えるように) • ドキュメント・コアの継続的な改善
まとめ • LLM / RAG がカスタマーサポートにとってブレークスルーになる ことは間違いない • 乗るしかない、このビッグウェーブに •
作るのも提供するのも大変だが、ナレッジを共有しつつ、一緒に 乗り越えていきましょう
IoT の「つなぐ」を簡単に You Create. We Connect.