IP電話自動応答システム Descarty株式会社 濱田 2024年7月

自己紹介 Twitter: @spaceshooting99 GitHub: @yohamta 職業：ソフトウェアエンジニア 仕事： ● 生成AI関連の新規事業支援 ● Goエンジニア

IP電話とLLMの接続アーキテクチャ 電話への着信を内製開発しているAIエージェントシステムに接続しています。 ● Twilio 番号への受電をServerless Functionに流す ● Serverless FunctionでAIエージェントシステムのAPIを実行する ● TwilioのVoice APIにより応答を発話させる Twilio Phone Number Twilio Serverless Function AI Agent System Function 実行 会話ステッ プAPI実行 TwiML AI応答

電話と接続するAIエージェントシステムの概要 AIエージェントの設定・実行や会話履歴を管理できるシステムです。 機能: ● エージェントのAIモデル、名前、画像、プロンプト、トークン制限等の設定 ● AIとの非公開チャット、履歴記録 ● チーム権限管理・エージェント共有・招待 ● AIエージェントによるアンケート機能

Twilio電話応答用のエージェント設定(1/3) 新規エージェントを作成し、AIモデルと応答トークン数を設定します。 その他の設定（今後追加予定含む） ● AIエージェントが利用可能なツールの設 定（Web検索等） ● 電話受信時のメール、チャット通知 ● AIエージェントから呼び出せる外部API の設定

Twilio電話応答用のエージェント設定(2/3) 電話対応用のプロンプトを設定します。 ● 任意の数のプロンプトをあら かじめ設定可能（システム、 アシスタント、ユーザ）

Twilio電話応答用のエージェント設定(3/3) 外部公開設定をONにすることで、AIエージェントが IP 電話や特定のURLから利 用可能になります。

内部の仕組み TwilioのServerless Functionを経由し、AIエージェントに接続しています。 Twilio Incoming Call /transcribe AI Agent System Function 実行 会話を開始 /respond ユーザ入力の テキスト取得 (Gather コマ ンド) Gather 実行 ユーザ 入力 エージェントの 次の応答を取得 最初の応答 取得 OpenAI GPT-4o

アーキテクチャ・ネットワーク構成 インターネット Twilio 公衆電話網(PTSN) Twilio Serverless Function Twilio電話番号 Twilio Voice API CloudFlare CloudFlare Pages （管理画面) Cloud Armor (WAF) Global Load Balancer Cloud Run アプリ ケーショ ン アプリ ケーショ ン アプリ ケーショ ン 自動スケーリング Cloud SQL (PostgreSQL) LLM API (OpenAI, Claude等) Google Cloud Platform Auth0 認証情報 電話番号はTwilioのプラットフォームより取得する。 通話の内容をTwilioプラットフォーム上で動作するプ ログラムから取得し、Cloud Run上で動作するアプリ ケーションにて処理を行い、応答内容を返却する。 応答内容はAIを利用して生成する。 外部からはアクセス不可能なクラウド上の データベースおよびオブジェクトストレージ に通話内容や設定を保持する。 Cloud Storage

会話記録の閲覧 AIエージェントとの会話は利用者の組織のメンバーのみ閲覧可能です。

AIによる応答時間 現時点では応答まで数秒程度の遅延がありますが、現在急速に進んでいる技術進 歩により、いずれ大幅な短縮が期待できます。直近では以下の改善を行い、人間 とほぼ変わらない応答速度を目指します。 ● 応答文全体の生成と並列して、文単位で発話させる。 ● 一文をなるべく短くするよう事前にチューニングする。

ユースケース AIに臨機応変に返答させることが可能なため、幅広い用途に対応可能です。AI エージェントのプロンプトを設定するだけで、簡単に使いはじめることが可能で す。外部システムとの連携などの機能は要望に応じて追加可能です。 ● 受信 ○ 用件に応じた電話の転送 ○ 来店等の予約受付 ● 発信 ○ 情報収集のための自動発信 ○ 来店予約の事前確認 など

デモ AIとスムーズな会話が行える様子をご覧ください。

会社概要 会社名 Descarty株式会社 代表 濱田　洋太 設立日 2023年8月23日 資本金 300,000円 事業内容 ● AI関連ソフトウェア及びプラットフォームの企画・開発・販売・運用 ● オープンソース・ソフトウェアの開発 所在地 〒150-0043 東京都渋谷区道玄坂 1-10-8 渋谷道玄坂東急ビル 2F-C

Questions? Thank you!