SambaNovaを使った高速音声Agentの開発.pdf

Transcript

1. ネットワンシステムズ 株式会社 音声AIのElevenLabsとSambaCloudを 連携した高速音声応答システムの構築 ビジネス開発本部イノベーション推進部 荒牧 大樹
2. 1 ® Net One Systems Co., Ltd. All rights reserved. ElevenLabsについて • 2022年創業の音声生成AIの会社。日本法人は2025年。 • 主にコールセンターに代表される音声での顧客対応を生成AIで行う事に特化している • 精度の良いASR・TTSのシステムも切り出して提供 • 時価総額33億ドル・シリーズCで1.8億ドルを調達 • ニューヨークで従業員は160名 • CEO:マティ・スタニセフスキー、CTO:ピョートル・ダブコフスキー(ポーランド出身) • 価格とライセンス • 月額・年額支払い。機能と会話時間によって事前購入したクレジットの消費 • 事前超えた分は基本的に追加課金
3. 2 ® Net One Systems Co., Ltd. All rights reserved. クリエイティブプラットフォームとエージェントプラットフォーム テキスト読み 上げ ボイスデザイ ン スピーチtoテ キスト ボイスアイソ レータ ボイスチェン ジャー サウンドエ フェクト ボイスクロー ン 音楽 Creative Platform Agent Platform LLM ワークフロー ツール MCP RAG
4. 3 ® Net One Systems Co., Ltd. All rights reserved. エージェントプラットフォーム • 音声Agentを作成可能。Webページへの埋め込みや、電話等での応対を想定 • Webページの場合は、Web Socketでのストリーミングで応対 • 内部のKnowledgeや、Tool/MCPサーバ連携でコンテキストや、アクションが可能 • ワークフロー機能により、対応内容の分類によるAgent変更や、人への音声転送等にも対応 Twilio SIP Trunk Webページ LLM 音声 テキスト 変換 ElevenLabs エージェントプラットフォーム AI MCP Server Tool ワーク フロー Knowledge テキスト 音声 変換
5. 4 ® Net One Systems Co., Ltd. All rights reserved. 音声システムとSambaNova • 音声Agentでは、Promptに対して、LLMがテキスト生成を開始するまでが重要 • 音声出力は5-10 tokens/sec程度の為、生成開始後はシステムによる違いが出ない • SambaNovaを利用する事で一番の遅延のテキスト生成までの遅延を小さくできる 音声入力 音声ネットワーク 音声テキスト変換(ASR) VAD(発話終了の検知) LLM テキスト音声変換(TTS) 音声ネットワーク 音声出力 Thinking 生成 SambaNova でこの部分の 遅延を短縮
6. 5 ® Net One Systems Co., Ltd. All rights reserved. SambaNovaと連携して、独自音声で応答する音声 Agentを作成する
7. 6 ® Net One Systems Co., Ltd. All rights reserved. Voice Cloneを使って音声を作成する • クリエイティブプラットフォーム上で音声を作成する • ボイスデザイン、インスタントボイスクローン、プロ フェッショナルボイスクローンの3つのタイプ。 • 今回は簡易版のインスタントボイスクローンを利用 • 30秒程度の音声を提供すると • Agentに音声として設定可能
8. 7 ® Net One Systems Co., Ltd. All rights reserved. Custom LLMでSambaNovaを登録 • ElevenLabsでは、クレジットを利用するElevenLabsの内部LLMとCustom LLMで外部 LLMを利用可能 • 今回はCustom LLMとしてSambaNovaを登録
9. 8 ® Net One Systems Co., Ltd. All rights reserved. Knowledgeの登録・Toolの設定 • ナレッジにネットワン/SambaNova/ElevenLabsのページを登録 • ツールに外部の天気予報サイトを登録 ナレッジ登録 Webページ指定や、Document Uploadで簡易的 なRAG環境を構築できる ツール登録 WebhookツールやClientツールを登録して外部 システムとAPI連携
10. 9 ® Net One Systems Co., Ltd. All rights reserved. 音声Agentの作成 外部システム連携はAgentの設定とSystem Promptで設定するか、ワークフローとして設 定が可能 Agentの設定 ワークフロー Agentの設定画面でSystem Promptでツールの 使い方と、ツールの添付を行う 各機能別のノードを設定して、LLMが必要な ノードを選択する。人に転送したり、電話転送 も可能
11. 10 ® Net One Systems Co., Ltd. All rights reserved. Agentのテストと確認 • ブラウザでAgentのテストが可能 • 会話でこれまでの会話履歴の確認
12. 11 ® Net One Systems Co., Ltd. All rights reserved. まとめ •ElevenLabsとSambaNovaとを連携する事で高速音声Agentの 作成が可能 •ElevenLabs単体でも様々な機能追加がされている為魅力的なサービス