音声AIエージェントの世界とRetell AI入門 / Introduction to the World of Voice AI Agents and Retell AI

by r-kagaya

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© 2024 Loglass Inc. Agentic AI ● エージェント性（Agenticness） ○ 直接の監視が制限された複雑な環境において、システムが適応的に複雑な目標を達成できる度合い ■ 目標の複雑さ（goal complexity） ■ 環境の複雑さ（environmental complexity） ■ 適応性（adaptability） ■ 独立した実行(independent execution) ● Agentic AI system ○ 高度なエージェント性を示すシステム ○ 限定的な直接的な監督のもとで複雑な目標を追求できる What’s AI Voice Agent 出典：OpenAI - Practices for Governing Agentic AI Systems

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© 2024 Loglass Inc. ● 日本語ベースの英会話レッスン ● 女性の声がRetell AI ● ダッシュボード上でプロンプト書いて、エージェント追加。JS SDKで組み込み ● フロントエンドはRemix (AI音声の方が明瞭で良い声......) Retell AI組み込んでみた簡易デモデモ動画リンク（speakerdeckの説明欄にも記載）： https://x.com/ry0_kaga/status/1831657645755003369

Slide 21

Slide 21 text

© 2024 Loglass Inc. 触ってみての感想 ● 普通に日本語で会話はできる！すごい！ ● 言語設定を日本語にすると、日本語で話してくれるし、会話の中で英語を混ぜることもできる ● Node/Python/Frontend JS SDK、APIもあるので、組み込みは比較的やりやすそう ○ Retell AI上で購入した電話番号を利用して、インバウンド・アウトバンドコールが可能（未検証） ○ Create Phone Call API経由でアウトバンドコールもできるらしい ● TTSプロパイダー/Voiceモデルによって差分あるが、日本語が怪しい瞬間はある ○ 発音覚えさせるオプションはある所感

Slide 22

Slide 22 text

© 2024 Loglass Inc. TTSプロバイダーごとの差分 ● 特定のTTSプロバイダー・英語以外では使えないオプションがちらほら ● 同一プロバイダーでもVoice / モデルによってかなり差分ある ○ 同一プロバイダー・別Voiceで日本語が崩れたり、発話できたりした ○ ざっと触ってる感じ、11labsが最も音声性能・オプション対応でも優れている印象 ● 設定によっても変わるだろう、チューニングしがいがありそう所感 11labs $0.10/min 最も自然な日本語を話してくれた抑揚とかテンションの高低もたまに単語ベースで謎の言語で話してくる Deepgram $0.08/min 日本語未対応。英語で試したが、英語力の問題で違いわからず... 後述するが、公式Doc的にはレイテンシー最も優秀そう OpenAI $0.08/min 時たま壊れるが、基本日本語で会話は出来る比較的ローテンション・落ち着いた会話ができる（印象）

Slide 23

Slide 23 text

Slide 24

Slide 24 text

© 2024 Loglass Inc. ● カスタマイズをすればするほど基本的にレイテンシーは悪化する ○ 公式ドキュメントにも記載。出来るだけ処理が走りそうな設定はない方が当然レスポンスは早い ● 電話番号を読み上げる時だけゆっくり話す等の設定ができる（試してはない） ● デフォルトで便利そうなツールがちらほら ○ Add a Press Digit Tool / 番号を選択するツールがあるので、ダイヤル入力が求められる番号への荷電自動化もできそう ○ Call Transfer Toolもあるので、途中で電話をかけ直すことができる ● Prompt Engineering Guide ○ セクションに分ける、タスク分割・順序付け、明示的に行動を規定 ○ NO_RESPONSE_NEEDEDを出力すると音声を止めることが可能、荷電時に留守番電話だった場合などに使う想定らしい Tips的な何か

Slide 25

Slide 25 text

© 2024 Loglass Inc. ● 「電話は世界へのAPIであり - AIはこれを次のレベルに引き上げる」 by a16z ● TTS、STT/ASR等のAPIに加え、フルスタックにお任せできるAI Voice as a Serivce(勝手な呼称)が登場してきている ○ 音声AIエージェントを動かすハードルは下がりつつあることを実感 ● とはいえ、そのままだと日本語が怪しい瞬間もあり、日本語前提ならフルスタックPF依存の難しさはありそう ● 今でも領域特化 or ライトめなユースケース and チューニングしたら使えるか......?を探索したい気持ち ○ 社内システムから始めるとか......? まとめ

Slide 26

Slide 26 text