Try to make a call center ver3

OnYourDataの使用で独自データも扱えるコールセンターができたと思いきや、コストメリットが足りず、再検討へ。 今度はRAGアーキテクチャ×GPT-4oを使って再チャレンジ！

Transcript

1. コールセンターを作ってみた(3) .NETラボ5⽉ 佐⽵ 祐亮
2. @fe_js_engineer satyus 佐⽵祐亮 / Yusuke Satake 株式会社エーピーコミュニケーションズ Experience • 株式会社エーピーコミュニケーションズ • 学習塾経営 • プログラミングスクール経営 • PoC部運営 Expertise ž 学習塾経営 ž プログラミングスクール経営 ž プリセールス
3. Agenda ž ご報告 ž 本⽇の概要 ž 前回までのおさらい ž 今回チャレンジしたこと ž 使⽤するアーキテクチャ ž 前回のアーキテクチャ ž 今回のアーキテクチャ ž DEMO ž 最後に
4. 🎉ご報告🎉 ž 去年の8⽉より.NETラボ勉強会にお世話になり、厚かましく毎⽉登壇枠もいた だき続けた結果、Microsoft MVP for AIを受賞することが出来ました！ ž .NETラボ関係者の皆様並びにいつも参加してくれる皆様に感謝です。 ž (次のMVPも募集中ですよ…ﾎﾞｿｯ)
5. TeamTopologies Trainingが⽇本初開催 ž 7/9 10:00〜18:00でPlatform Engineering kaigi 2024が開催 ž 7/10-7/11 Manuel Pais⽒によるTeam Topologiesトレーニングが開催 ž https://www.cnia.io/pek2024/
6. 本⽇の概要 ž Azure Communication ServiceとAzure OpenAI Serviceを使ってコールセンター を作ってみました。 今回のメインテーマとしては、RAGアーキテクチャを⽤いて実装し、コストカットに 挑もうと思います！ ž OpenAIが⾃動応答するコールセンターを作ってみよう📲 https://zenn.dev/yusu29/articles/azure_callautomation ž Azure Communication Serviceで電話番号を取得しよう https://zenn.dev/yusu29/articles/azure_callautomation
7. 前回までのおさらい ž ⼩・中・⾼校⽣対象に５教科と、プログラミングの講義を展開しています。 ž 現在⽣徒数は佐⽵塾80名、プログラミングスクール15名所属 ž 講師は3名(めっちゃ⼤変…) ž 講師側はslack、⽣徒・保護者との連絡はLINE ž ⽋席管理はTrello
8. 前回までのおさらい ž 今年の学習塾でやりたいこと ž 電話対応を撲滅したい ž 本当に必要な相談以外は電話対応を⾃動化したい →OpenAIを使って電話対応の⾃動化にチャレンジ！！
9. 学習塾のコミュニケーションフロー ž ⽋席管理アプリ(⽣徒が作った)とLINEの導⼊、そしてTrelloとslackの講師間のコミュニケーションツールを導⼊ することで、70%の問い合わせ対応を減少させることに成功 ž 残り30%のうちの15%ぐらいの本当に⼈の⼿が必要なコミュニケーションのみに集中すべく、電話対応をAzure OpenAIを⽤いて駆逐していきます！
10. 前回検証したアーキテクチャ On Your Dataを使って佐⽵塾の ルールを取り込み ⽋席連絡の際はTrelloへカードを 追加し、slackで講師へ通知
11. 学習塾導⼊に向けての会議にて出た懸念事項① パフォーマンスの観点 ž speechToText→データソースへの検索とOpenAIでの回答⽣成→TextToSpeechを実施するので、応答までに 時間が多少かかる。 ž On Your Dataを使った電話での質問→回答までの時間が平均して17秒~22秒程度。 ž 果たして、⼤阪のお姉さん(おばちゃん)が22秒も回答を待てるのか？ 経営者としての佐⽵：「待てるわけない。やめとこ。」 技術者としての佐⽵：「待てるわけない。時間短縮せねば。」
12. 学習塾導⼊に向けての会議にて出た懸念事項② コストの観点 ž コスト⾯はAzure Communication Service周りは⽉1,000円程度で、On Your Dataを導⼊する為、AI SearchはBasic以上を設定する必要があり、それは⽉14,000円程度。 なので運⽤費は15,000円/⽉。 現状把握 ž ⽉架電される電話数は20件 ž 1回あたり6分程度 ž ⽉間トータルの電話にかかる時間は2時間程度 ž 講師の時給3,000円 ž ということは、電話にかける時間は6,000円/⽉ 経営者としての佐⽵：「⾚字なんはいかんな。ほな、⾃動化せんでええな。」 技術者としての佐⽵：「⾚字なんはいかんな。どっかええ感じに削ったれ。」
13. 懸念事項をまとめると… パフォーマンスの観点 ž よくある質問をプロンプトに組み込み、いい感じに応答速度を向上出来ないか？ ž GPT-4oはなんだか処理速度が速いらしい。(MS Build情報) なんだかいけそうな気がしてきたので、とりあえずGo!! コストの観点 ž On Your Dataを導⼊する為、AI SearchはBasic以上を設定する必要があり、それが⽉14,000円程度かかる ので、そこをFreeにすればお安く済むのでは？ Freeにすると、On Your Dataは使えないので、RAGアーキテクチャを⽤いて⾃分で実装すれば良いのでは？
14. アーキテクチャ
15. 前回のアーキテクチャ On Your Dataを使って佐⽵塾の ルールを取り込み ⽋席連絡の際はTrelloへカードを 追加し、slackで講師へ通知
16. 今回のアーキテクチャ AI SearchをBasic→Freeへ変更 RAGアーキテクチャをLangChainを⽤いて 実装 Blobへ佐⽵塾のルールを取り込み、 AISearchにIndexを作成
17. ReActとは？ 1. ⼈からの質問 2. Azure OpenAIへ質問を送る 3. OpenAIだけで回答を出すのが難しい 場合、Bing Searchを⽤いて検索を ⾏い情報を得る 4. Bing Searchから得た情報も含めて OpenAIへ送り、回答の要約を作成 5. ⼈へ回答を返す ž 実際に図にしてみると以下のイメージ。 思考（推論）と⾏動 を⾏っていることがわかります。
18. ReActとは？ ž ReAct（REasoning and ACTing）は、⾔語モデル（LLM）を使⽤して 思考（推論）と⾏動を同時に⾏うための新しい枠組みです。 ž ReAct の主な⽬的は、⾃然⾔語推論と意思決定のタスクを統合することで、 より⾼度な⾔語理解と知識活⽤を可能にすることです。 出典 https://react-lm.github.io/
19. LangChainとは？ 特徴 1. ReActプロセスを簡単に構築出来る 2. LLMを他のデータソース(RDBなど)に接続出来る ž GPTなどのLLMを使ったアプリケーションを開発する際に使⽤出来る開発を効 率化するためのライブラリ
20. DEMO Azure Communication ServiceとAzure OpenAI Serviceを使ったコールセンター
21. 佐⽵塾コールセンターDEMO 1.時間割を聞くDEMO 2.⽋席対応のDEMO 3.GPT-4oとの⽐較
22. GPT-4-32k ~時間割を聞くDEMO ~
23. GPT-4o ~時間割を聞くDEMO ~
24. GPT-4-32k ~⽋席を伝えるDEMO ~
25. GPT-4o ~⽋席を伝えるDEMO ~
26. パフォーマンス向上・コストカット結果 パフォーマンスの観点 ž AI SearchのFree版でも、RAGアーキテクチャをLangChain.jsで実装することで独⾃データに対応した返答が出 来ることを確認でき、GPT-4oでは⽇本語の正確性に加え、応答速度が向上していることが確認出来た。 ž ⽋席のデモ ž GPT-4-32k→19s ž GPT-4o→9s ž 体感ではコールセンターで½の時間短縮が出来ている！ コストの観点 ž Azure AI SearchがFree版へ変更した為、14,000円→0円に変更することができた。これでコールセンターは⽉ 額2,000円程度で運⽤出来ることとなる。 経営者の観点 ž ⽉2,000円であれば、お客様満⾜度を計測する効果測定⽬的でも導⼊してみても良いのではと検討中
27. 所感 チャレンジしてみて良かった点 ž AI SearchのFree版でも、RAGアーキテクチャを⽤いることで独⾃データに対応した返答が出来ることを確認でき たこと ž ⼤阪のお姉さん(おばちゃん)とコストは技術⼒の向上を促してくれる良い観点であったこと 今後の改善点 ž speechToTextやTextToSpeechはGPT-4oになってかなり速度が向上されていた。まだ、APIを使った動作確認 に留まっているが、これから⾊々な⽤途がありそうだと個⼈的には感じている
28. 最後に いかがだったでしょうか。 ž スモールビジネスやスタートアップビジネスには、制限が多く、何か新しいことを始 めるにはスモールスタートで始めることが多いです。 ž そんな中でも、AI Searchの価格プランを⼯夫すれば、スモールにAI施策が導⼊ 出来ることがわかりました。 ž 最後に、学習塾を経営しておりますが、教育事業やスモールビジネスにもまだま だAzureが⼊り込む余地があると考えています。 何か⾯⽩い施策があれば、これからも続けていこうと思います！
29. ご清聴頂きありがとうございました。
30. 参考資料 ž Zenn https://zenn.dev/yusu29/articles/azure_callautomation ž APCブログ https://techblog.ap-com.co.jp/entry/2024/02/12/133135