コールセンターを作ってみた(1) .NETラボ2月 佐竹 祐亮

apc-y-satake satyus 佐竹祐亮 / Yusuke Satake 株式会社エーピーコミュニケーションズ Experience • 株式会社エーピーコミュニケーションズにてDXコンサルタントに従事 • 学習塾経営 • プログラミングスクール経営 Expertise  学習塾経営  プログラミングスクール経営  ソフトウェア開発  DXコンサルタント  Azureアーキテクト

Agenda  本日の概要  背景  使用するリソースの説明  Azure Communication Service  Event Grid  Web App  AI Service Multi-Service Account  OpenAI Service  DEMO  最後に

本日の概要  Azure Communication ServiceとAzure OpenAI Serviceを使ってコールセンター を作ってみました。 今回は実際に架電してOpenAIが返事してくれるところまで DEMOでお見せしたいと思います。  OpenAIが自動応答するコールセンターを作ってみよう https://zenn.dev/yusu29/articles/azure_callautomation  Azure Communication Serviceで電話番号を取得しよう https://zenn.dev/yusu29/articles/azure_callautomation

背景 ~佐竹塾 ご紹介~  小・中・高校生対象に５教科と、プログラミングの講義を展開しています。  現在生徒数は佐竹塾80名、プログラミングスクール15名所属  講師は3名(めっちゃ大変…)  講師側はslack、生徒・保護者との連絡はLINE  欠席管理はTrello

背景 ~学習塾DX化~  佐竹塾では色々なことに取り組みながら少人数で最大のパフォーマンスを出せ るよう工夫しています。  Azure Static Web Apps × Trello × slack 欠席管理のWEB化  Azure OpenAI Service × Azure Static Web Apps × Azure Repos 生徒の成績分析  Azure OpenAI Service × LINE MessagingAPI 英作文添削サービス

背景 ~佐竹塾の今後~  今年の学習塾でやりたいことは以下２点  生徒のスピーキング能力を伸ばしたい  OpenAIを持ちいれば可能…?  電話対応を撲滅したい  本当に必要な相談以外は電話対応を自動化したい →OpenAIを使って電話対応の自動化にチャレンジ！！

使用するリソースの説明

本日使用するリソースの一覧

Azure Communication Service  Azure Communication Services はクラウドベースのサービスです。 用意されている REST API およびクライアント ライブラリ SDK を 利用することで、通信を手軽にアプリケーションに組み込むことが できます Video Calling SMS Email Telephony

Event Grid  publisherで生じたイベントをhandlerへ届ける為のサービス

Web App Service  Azure App Service を使用すると、インフラストラクチャを管理す ることなく、任意のプログラミング言語で Web アプリケーション、 モバイル バックエンド、および RESTful API を構築し、ホストで きます

AI Service Multi-Service Account  Azure AI サービスは、開発者と組織が、すぐに使用できる事前構築 済みのカスタマイズ可能な API とモデルを使用して、アプリケー ションを迅速に作成出来る  会話、検索、監視、翻訳、音声、ビジョン、意思決定のための自然 言語処理が含まれます

OpenAI Service  Azure OpenAI Service では、GPT-4、GPT-4 Turbo with Vision、 GPT-3.5-Turbo、埋め込みモデル シリーズなど OpenAI の強力な言 語モデルに、REST API でのアクセスを提供  コンテンツの生成、要約、画像の解釈、セマンティック検索、自然 言語からコードへの翻訳などを提供

DEMO Azure Communication ServiceとAzure OpenAI Serviceを使ったコールセンター

コールセンターの流れ 1. ユーザーが Azure Communication Service に登録 された電話番号に架電する。 2. Azure Communication Servicce の Incoming Call をトリガーとしてサーバーサイドアプリケーションの API に Webhook を実行する。 3. Webhook 要求にサーバーサイドアプリケーションが 応答する。 4. ユーザー発話内容に基づいて Azure Cognitive Service が Speech-to-Text、Azure OpenAI Service からの応答内容に基づいて Text-to- Speech を実行する。 5. ユーザー発話内容に基づいて Azure OpenAI Service が回答内容を生成する。

DEMOの流れ 私) 架電… Hello! What is your name? OpenAI) こんにちは的な返答が来てくれるとGood!! 私) Please tell me the name of the first President of the United States. OpenAI) ジョージワシントンと返答してくれるとGood!! 私) Please provide the value of pi up to the 10th decimal place. OpenAI) 円周率を小数第10桁まで返答してくれるとGood 私) Thank you! GoodBye! OpenAI) Goodbye!

DEMO

最後に いかがだったでしょうか。  今回は英語での応対でしたが、いい感じにOpenAIが返答してくれるコールセン ターが完成しました。  次は日本語化して、まずは私が経営しているプログラミングスクールの電話対応 を自動化することを目標に頑張りたいと思います。

ご清聴頂きありがとうございました。

参考資料  Zenn https://zenn.dev/yusu29/articles/azure_callautomation  APCブログ https://techblog.ap-com.co.jp/entry/2024/02/12/133135