Livekit Agentを活用したAIボイスエージェント開発

Transcript

1. Livekit Agentを活用した AIボイスエー ジェント開発 國井清人 (@921kiyo) 株式会社OPERA TECH CTO&共同創業者
2. AIボイスエージェントは難しい！ - STT (speech-to-text), TTS (text-to-speech), LLM全てで不安定な要素あり - レイテンシーの制限がかなりある (ユーザーの質問に対してすぐ答える必要あ り) - ユーザーの期待値が高い (少しでも変に聞こえるとリアルっぽく聞こえなくなる) - 基本リアルタイムなので、ネットワーク周りの連携が複雑 (Websocket, WebRTC, SIP等のプロトコルちゃんと理解しないといけない。。。💦)
3. LiveKit Agentとは 音声系の生成AI (STT, TTS, RealtimeAPI) を活用してアプリケー ションを開発しやすくするOSSフレームワーク (LangGraphのボイス 版みたいなフレームワーク) - 各言語のSDKを提供 (Python以外にもNode.js他の言語の SDKもサポート)。 - ElevenLabs, OpenAI, GeminiなどほぼメジャーなAPIの連携 を既にやってくれて楽に連携可能 - チェイン型 (STT - LLM - TTS)とリアルタイム型 (speech-to-speech)どちらもサポート
4. Chained型 vs Realtime型 参照：Open AI APIドキュメンテーション
5. Chained型 vs Realtime型 参照：Open AI APIドキュメンテーション
6. 最後に自己紹介... 國井清人 • 株式会社OPERA TECH 取締役CTO&共同創業者 • AIを活用した大企業コンタクトセンター向けのAI受電エージェント の開発 • We’re hiring (副業でもフルタイム でもOK)！ • 前職はロンドンQuantumBlack本社で機械学習エンジニア・ MLOPs • 英エジンバラ大学卒業、インペリアルカレッジロンドン Computing Science修士卒業 • 10年以上イギリスに住んでいて最近帰国しました。 • 連絡先(ハンドル名は921kiyo）： • Github: https://github.com/921kiyo • X/Twitter: 921kiyo_jp • Email: kiyo@opera-technology.com