Share
Embed
Transcript
12 slides
-
CLOUDFLARE IS AGENTS ゲームを『一緒に』楽しむ仲間がほしい 正しい答えより、隣にいる感覚。 VOICE 話を聞く VISION 画面を見る EMOTION
感情を感じる REACT 状況に反応する GAME PARTNER GAME SCREEN 『今の状況、どう見える?』 画面と声を同じ文脈で理解する -
CLOUDFLARE IS AGENTS このAIには、 ゲームが見えている (デモ) DEMO / RECORDING 注目する
3つの反応 1 画面の状況 2 声の感情 3 返答の内容 今の状況、どう見える? 画面・感情・会話を統合して反応 -
CLOUDFLARE IS AGENTS 『一緒にいる Agent』には何が必要なのか Agentには、この 4つを維持する『居場所』が必要になる IDENTITY STATE 誰のAgentなのか
何を知っているのか ユーザーとセッションを識別 会話と現在の状況を保持 CONNECTION TIME 今、何が起きているのか 次に何をするのか 音声・画面をリアルタイム受信 待機し、必要な時に行動 -
CLOUDFLARE IS AGENTS Cloudflare Agents SDK export class LLM APIではなく、Agentの存在を支えるランタイム
GamePartner extends Agent {} Identity Real-time connections State Agent lifecycle one identity one runtime one place to return -
CLOUDFLARE IS AGENTS 異なる時間軸の情報を、ひとつの Agentへ集める WebSocket ゲーム画面 Tauri / React
GameScreen Session ゲーム状態 Voice Agent Workers / Agents / Durable Objects Workers AI / Gemini / VOICEVOX ユーザーの声 マイク音声 AGENT CONTEXT • 発話 • 感情 • 会話履歴 • ゲーム状態 応答生成 → 音声合成 -
CLOUDFLARE IS AGENTS VoiceをAgentの機能として組み込む クライアント import { useVoiceAgent } from
"@cloudflare/voice/react"; const voiceAgent = useVoiceAgent({ agent: "VoiceAgentSample", name: getVoiceAgentInstanceName(), host: API_HOST, }); await voiceAgent.startCall(); マイクデバイスから音声を取得 サーバー const VoiceAgent = withVoice(Agent); export class GamePartner extends VoiceAgent { async onTurn(transcript, context) { const state = await getGameState(); return respond(transcript, context.messages, state); } フックで感情分析と声色制御を追加 } -
CLOUDFLARE IS AGENTS Cloudflare Agents SDKの特徴 Agent = Durableな主体 一時的な関数ではなく、戻ってこられる存在
1 固有のIdentity 2 同じAgentへ繰り返し接続 3 状態を持つ実行環境 必要な記憶をAgentの近くへ リアルタイム接続 WebSocketで音声・イベントを受信 4 休止と復帰 使わない間は眠り、再び起きる -
CLOUDFLARE IS AGENTS 接続を維持したまま、 Agentは眠れる message ACTIVE HIBERNATE WAKE UP
CONTINUE WebSocket Durable state Compute stay connected remains sleeps 11 -
CLOUDFLARE IS AGENTS 今回作ったものは、まだ入口にすぎない NOW NEXT 実装したもの 次に作れるもの Voice Agent
ゲームの長期記憶 画面のリアルタイム送信 自発的な行動 Visionによる状態抽出 失敗から回復する処理 発話感情の分析 MCPによる外部ツール利用 状況に合わせた音声表現 クライアントで動くキャラクター 会話履歴の永続化 -
CLOUDFLARE IS AGENTS Cloudflareは、何へ進化しているのか WEB COMPUTE STATE AI AGENTS Webを
届ける コードを 動かす 状態を置く モデルを 動かす Agentを 生かす Network × Compute × State × AI Webプラットフォームを、 Agentの時代に合わせて再定義している -
CLOUDFLARE IS AGENTS Thanks! • name: chimame / rito •
job: Webエンジニア • field: Cloudflare, GCP, AWS, Ruby, Node.js, TypeScript, React, Next.js, Remix, Docker etc • company: Goens株式会社( https://about.goen-s.com ) • twitter: @chimame_rt • GitHub: chimame