ソラコムのAI Support Bot運用500日のリアルとその先【SORACOM Discovery 2025】

ソラコムでは、カスタマーサポートの品質と効率を両立するため、AI Support Bot を自社開発し、2023年冬から提供しています。本セッションでは、開発に至った背景、構築時の課題とその解決策、運用開始後の成果と学びをご紹介します。さらに、AIの進化とともに変化するソラコムが描く次のステップについても展望を語ります。

株式会社ソラコム セールスマネージャー 石田 雅人
株式会社ソラコム シニアテクニカルライター 矢崎 誠

Transcript

1. ソラコムの AI Support Bot 運用 500 日のリアルとその先 株式会社ソラコム シニアテクニカルライター 矢崎 誠 株式会社ソラコム セールスマネージャー 石田 雅人
2. 本日取り扱わないこと • LLM の仕組み。 • LLM の基盤モデルの話。 • RAG の詳細な仕組み。 • 2024/07 までの SORACOM Support Bot カイゼン の歴史。 • 2024/07 までの歴史は、昨年の Discovery 2024 の発 表を参照してください。 LLMと共に進むSORACOMサポートの挑戦と効果 | SORACOM Discovery 2024
3. 自己紹介 @yazakimakoto 矢崎 誠 (makoto) • 株式会社ソラコム / シニアテクニカルライター • テクニカルライター歴: 約25年 (現職は約4年) • 生成 AI を利用した SORACOM Support Bot のコ アコンポーネントの開発も担当 石田 雅人 (issy) • 株式会社ソラコム / セールスマネージャー
4. 本日のハッシュタグ #SORACOM 使用例 最新情報は #SORACOM で検索！ @SORACOM_PR fb.com/soracom.jp youtube.com/@SORACOM_Japan instagram.com/soracom.official
5. 生成 AI の利活用 ソラコムでは、増加傾向の問い合わせに適切に対応す るために、2023.01 からサポート文脈での生成 AI の利 活用に挑戦してきました。 出典: Microsoft. “Azure OpenAI Service の一般提供開始 大規模かつ高度な AI モデルへのアクセスを拡大し、企業に付加価値を提供”. News Center Japan. 2023-1-23. https://news.microsoft.com/ja-jp/2023/01/23/230123-general-availability-of-azure-openai-service-expands-access-to-large-advanced-ai- models-with-added-enterprise-benefits/, (参照 2024-07-03).
6. SORACOM Support Bot 2023.12.19 SORACOM サポートサイトで、 生成 AI を利用した SORACOM Support Bot と対話できるよう になりました。 2024.07.17 SORACOM ユーザーコンソー ルで、SORACOM Support Bot と対話できるようになりました。
7. 2024-07 からのカイゼン
8. OpenAI の GPT-4 シリー ズには、プログラムでの 利用に適した呼び出し方 法があります。これを JSON モードと呼びます。 [速度] JSON モードのレスポンスを速く curl https://api.openai.com/v1/chat/completions ¥ -H "Content-Type: application/json" ¥ -H "Authorization: Bearer <api-key>" ¥ -d '{ "model": "gpt-4o-mini", "response_format": { "type": "json_object" }, "messages": [ { "role": "system", "content": "次の schema に 従って JSON で返します。{¥"thoughts¥": ¥"(考えを説明 する)¥", ¥"value¥": 50}"}, { "role": "user", "content": "100 を 2 で割ると？"} ] }' {"thoughts": "100 を 2 で割ると、50 になります。こ れは 100 の半分を求めているので、計算は単純です。 ", "value": 50}
9. [速度] JSON モードのレスポンスを速く BEFORE: curl https://api.openai.com/v1/chat/completions ¥ -H "Content-Type: application/json" ¥ -H "Authorization: Bearer <api-key>" ¥ -d '{ "model": "gpt-4o-mini", "response_format": { "type": "json_object" }, "messages": [ { "role": "system", "content": "(省略) 次の schema に従って JSON で返します。{¥"thoughts¥": ¥"(考えを説 明する)¥", ¥"value¥": 50}"}, { "role": "user", "content": "100 を 2 で割ると？"} ] }' AFTER: curl https://api.openai.com/v1/chat/completions ¥ -H "Content-Type: application/json" ¥ -H "Authorization: Bearer <api-key>" ¥ -d '{ "model": "gpt-4o-mini", "response_format": { "type": "json_object" }, "messages": [ { "role": "system", "content": "(省略) 次の schema に従って JSON で返します。{¥"thoughts¥": ¥"(考えを説 明する)¥", ¥"value¥": 50}"}, { "role": "user", "content": "100 を 2 で割ると？"}, { "role": "assistant", "content": "{"} ] }' 全体で 3 秒程度速くする秘密
10. [速度] JSON モードのレスポンスを速く 3 秒程度速くなっていた期間 平均値 最小値
11. その後また 3 秒程度遅くなっているが… 3 秒程度遅くなった 平均値 最小値
12. [精度] 単語を発見する仕組みの導入 ユーザーが入力する質問で「ソラコムが期待する単語 が、期待通りに使われる」とは限らない。 例: SORACOM Napter を利用するための API は、 PortMapping:createPortMapping API。 →「Napter を API で利用するには？」という質問では ボットがうまく回答できないことがある。
13. [精度] 単語を発見する仕組みの導入 関連する語句 (例: 共起語。ある言葉と一緒に文中でよく出 てくる言葉のこと) を推測させるプロセスを導入しました。 ？ 質問 データベース プロンプト ＋ ？質問 ＋ ドキュメン ト ！ 回答 生成 AI 生成 AI
14. [精度] 単語を発見する仕組みの導入 たとえば「Napter を API で利用するには？」という質 問の場合は、新しいプロセスによって「PortMapping API」が推測できるため、適切なドキュメントを抽出で きる仕組みです。
15. [精度] 単語を発見する仕組みの導入 3 秒程度遅くなったが 正しく回答できることが増えた 平均値 最小値
16. [精度]単語を発見する仕組みの導入 3 秒程度遅くなったが 正しく回答できることが増えた 平均値 最小値 [悩み] 回答精度をカイゼンする仕組みを 追加すると、回答速度は遅くなる。 カイゼンを続けても、全体的な速度改善 が感じにくいところは悩ましい。。。
17. [精度 Challenge] プロンプトの重要さ プロンプトは精度に無関係と考えていた時期もありましたが、 いまはプロンプトが重要と考えています。考えが変わったきっ かけは「精度とは…？」という問いでした。 エンドユーザーの期待に応られている＝精度が高い • 質問文に対して技術的に正確な回答を返すだけで良いのか？ • そもそもユーザーの期待は質問文に正しく反映されているの か？
18. [精度 Challenge] プロンプトの重要さ プロンプトは精度に無関係と考えていた時期もありましたが、 いまはプロンプトが重要と考えています。考えが変わったきっ かけは「精度とは…？」という問いでした。 エンドユーザーの期待に応られている＝精度が高い • 質問文に対して技術的に正確な回答を返すだけで良いのか？ • そもそもユーザーの期待は質問文に正しく反映されているの か？ [精度] プロンプトで回答が変わり「精度が 高い！」と感じさせる効果がありそう
19. 数字を科学する Month Comment Conversation Comment / Conversation 2024-07 456 215 2.12 2024-08 550 241 2.28 2024-09 595 270 2.20 2024-10 406 209 1.94 2024-11 500 263 1.90 2024-12 597 271 2.20 2025-01 661 321 2.06 2025-02 688 339 2.03 2025-03 916 390 2.35 2025-04 835 331 2.52 2025-05 757 346 2.19 2025-06 758 329 2.30 SORACOM Support Bot (*1) の利用状況 (*1) SORACOM ユーザーコンソールでの呼び出しに限る。なお、SORACOM サポートでも SORACOM Support Bot はご利用いただけます。
20. • SORACOM Support Bot (*1) との対話数 (Conversation): 約 300 件/月 (参考) SORACOM サポートへの問い合わせ数: 約 200 件/月 • 1 対話での平均質問回数: 2～3 回 SORACOM Support Bot がユーザーからの気 軽な問い合わせ先として機能していると考え られる。 数字を科学する SORACOM Support Bot (*1) の利用状況 Month Comment Conversation Comment / Conversation 2024-07 456 215 2.12 2024-08 550 241 2.28 2024-09 595 270 2.20 2024-10 406 209 1.94 2024-11 500 263 1.90 2024-12 597 271 2.20 2025-01 661 321 2.06 2025-02 688 339 2.03 2025-03 916 390 2.35 2025-04 835 331 2.52 2025-05 757 346 2.19 2025-06 758 329 2.30 (*1) SORACOM ユーザーコンソールでの呼び出しに限る。なお、SORACOM サポートでも SORACOM Support Bot はご利用いただけます。
21. 数字を科学する SORACOM Support Botの活用促進・精度向上により、 SORACOM サポートへの問い合わせ数のさらなる削減 を狙っている。
22. 生成 AI 活用の「その次」
23. 生成 AI ボットの社内活用事例 《 社内向け 》ナレッジ検索と文面づくり 回答支援 AI ボット 社内外の集積ナレッジと問合せ 回答ノウハウを AI で統合 ✓ お客様への回答原案を AI で 自 動 で 作 成 す る 支 援 を 、 社内チャットサービスと連携 《 お客様向け 》問合せしたい事の明確化 教えて、ソラコムの Max！ エバンジェリスト “Max” の IoT と周辺技術の知見を AI 化 ✓ 「IoT の相談窓口」として、 問 い 合 わ せ 前 の 言 語 化 を オンラインで支援 生産ラインの見える化には、何を準備すれば？ 回答案 ••株式会社 ◆◆様 お世話になっております、ソラコムの[氏名]と申します。 この度は工場内の温湿度監視について、SORACOMのサービスをご検討いただき 誠にありがとうございます。 お問い合わせいただいた「SORACOM LTE-M Button Plus」は接点入力（無電 圧）に対応しており、一般的なPLC等の設備との接続が見込めそうです。 お問い合わせです！ ◆◆さん ••株式会社 工場の生産ラインの監視をしたい。LTE-M Plusというデバイスが良さそうだが、 つなげられるか。見積もりも欲しい。
24. 社内向け回答支援 AI ボット（導入前） 問合せ履歴を活用した営業お問合せ窓口業務の効率化で活用 お問合せウェブフォーム お問合せ内容 エンド ユーザー 営業 通知・確認 メールで回答 送信 社内DBの確認 社内有識者へ確認 回答を作成する工数がかかる 回答者によって回答品質に 差がある コミュニケーションツール
25. 社内向け回答支援 AI ボット（導入後） 学習 お問合せウェブフォーム お問合せ内容 検知 質問 回答 回答ドラフト 回答投稿 エンド ユーザー 営業 通知・確認 校正後にメールで回答 送信 Bot お問合せを開くと回答ドラフトが既 にあるので、回答までの工数が激減 Wisora による網羅性の高い回答ドラ フトにより回答品質が安定する 問合せ履歴を活用した営業お問合せ窓口業務の効率化で活用 過去のお問合せ対応履歴 コミュニケーションツール
26. 社内向け回答支援 AI ボット 導入成果 平均応答時間の改善 対応工数の削減 導入前 0.81 日 0.66 日 導入後 0.15日 (19.5 %) の改善 導入前の体制 3 名以上 2 名 導入後の体制 30~40 % の改善
27. AI ボット の「その後」 ソラコムのお客様にもこの価値をお届けしたい 2025年7月16日 本日発表！！ 業務支援のための AI ボットサービス
28. Wisora の特徴 長年 IoTプラットフォームのセルフサービス化に注力してきた知見を活かし、 すぐに簡単に始められるサービスを目指しました ウェブから登録 URLやファイルを 簡単学習 ボットをすぐ使える • お客様の FAQ やドキュメントをもとに RAG の仕組みを自動構築 • 最新AIモデルを利用し、高精度な回答を生成します。 日本語での質問を正しく理解して自然な受け答えができます。 お客様が学習した情報をもとに回答を作成するため、お客様の製品・サービスに沿った内容を 回答します。 日本語のドキュメントを学習させるだけで、英語をはじめ多言語での質問に自動で回答します。
29. Wisora のデモ（120秒）
30. 私が気がついた Wisora の価値 • Wisora のサービスサイトには Wisora で作成したチャットボットが 埋め込まれています • 昨日、今日の発表に向けて Dry run をしました • なんと「先行登録」について聞いても答えてくれませんでした！ • それもそのはず、現在学習しているのはWebのユーザーガイドと PDFの営業資料だけだからです • 私（営業）が「先行登録」に関してテキストで作文して追加学習さ せました • さらにプロンプトを改善してわかりやすい回答ができるようになり ました
31. 私が気がついた Wisora の価値 • Wisora のサービスサイトには Wisora で作成したチャットボットが 埋め込まれています • 昨日、今日の発表に向けて Dry run をしました • なんと「先行登録」について聞いても答えてくれませんでした！ • それもそのはず、現在学習しているのはWebのユーザーガイドと PDFの営業資料だけだからです • 私（営業）が「先行登録」に関してテキストで作文して追加学習さ せました • さらにプロンプトを改善してわかりやすい回答ができるようになり ました Non-Tech（例えば営業）の人が ボットを学習させて公開でき、 さらにプロンプトの ブラッシュアップや追加学習 といったカイゼンまでできる AI ボットの民主化
32. Wisora 先行登録 受付開始！！ https://wisora.jp Webから申込んでいますぐ登録お願いします 月額基本料金 32,780円～* *年間契約時の月額基本料金 Discovery 会場のブースコーナで展示をしています 是非、足をお運びください！！ • 正式リリースは8月上旬を予定しています • 先行登録していただければ、先行アクセス(リリースまで 無料)を順次ご案内します • 無料期間に解約した場合は費用は発生しません • ぜひ触ってみてフィードバックください！
33. まとめ ソラコムは生成 AI の活用に今後も注力していきます SORACOM Support Bot も引き続き改善していきます Support Bot で得た知見や改善内容はWisora に適宜反映していきます ソラコムの AI Bot の成長にご期待ください
34. IoTの「つなぐ」を簡単に Making Things Happen for a world that works together