Amazon Nova Sonic 入門

Amazon Nova Sonic 入門アイレット株式会社三浦登哉

・年齢 26歳・出身青森県弘前市出身・所属アイレット株式会社第一開発事業部・業務開発エンジニア（フロント、主にバックエンド）三浦
登哉自己紹介

System Integrator（SIer）クラウドの設計、構築からシステム開発、デザイン設計運用保守までトータルサポート弊社のサービス

本日お話すること・Nova Sonicでできること・音声アシスタントを実装してみた

Amazon Nova Sonic

2025年4月に発表されたリアルタイム音声対話を実現する次世代のSpeech-to-Speechモデル Amazon Bedrockを通じて利用可能で、人間らしい自然な音声会話が可能

ここがスゴイ

従来の音声AIシステムでは以下の要素を実現するために複数サービスでパイプラインを組む必要があった - Speech-to-Text (音声認識) - LLM (言語理解・生成) - Text-to-Speech
(音声合成) = Lex、Bedrock、Pollyなどのサービスを組み合わせる Nova Sonicで完結音声理解と生成の統合アーキテクチャ

従来の複雑なオーケストレーションは不要にロジックやエージェントの開発に集中できる

・音声認識・生成・出力を同時並行で処理・処理完了を待たず、できた部分から順次応答を返す・ユーザーの割り込み（barge-in）にも対応し、柔軟に応答を修正する双方向ストリーミングで“待ち”のない応答を実現

人間同士の会話に近い対話が可能に待たせない応答でユーザー体験が向上

音声アシスタント実装してみた

音声アシスタント

インフラ構成

・Nova Sonicとはイベント（JSON）でやり取りする・「会話を始める」「音声を送る」「音声を返す」など、すべてイベントとして送受信入力イベント https://docs.aws.amazon.com/ja_jp/nova/latest/userguide /input-events.html 出力イベント https://docs.aws.amazon.com/ja_jp/nova/latest/userguide
/output-events.html イベント

・テキスト出力イベント音声の文字起こし。チャットUIで活用。・音声出力イベント base64エンコードされた音声データ。順次再生することでリアルタイムな音声が流れる。・ツール使用要求のイベント外部APIやRAGを呼び出す必要がある場合に届く。 Nova Sonicからのイベント種別

・外部の知識や機能を利用できる・発話内容から「RAG検索」「API実行」などを自動で判断（Nova Sonicが直接実行するわけではなくあくまで判断）・ツールの実行結果をNova Sonicに渡すと自然な音声で返してくれるツール連携

会話開始時にツール定義を渡す description：ツールの説明 inputSchema： Nova Sonicがスキーマに沿ってAPIパラメータやRAGクエリを自動生成

処理フロー

音声AIはハードル高そう→ハンズオン充実してます・ハンズオン https://docs.aws.amazon.com/ja_jp/nova/latest/us erguide/speech-code-examples.html ・サンプルコード https://github.com/aws-samples/amazon-nova- samples/tree/main/speech-to-speech

結論

「音声認識や LLM などの構成をどうつなぎあわせるか」音声AIで何を実現するか音声AI開発時の議論がより本質的なところに置けるにようになる

※ 現時点(2025/11/01)では日本語非対応なので国内での実用化はまだ先になりそう

Amazon Nova Sonic 入門

Amazon Nova Sonic 入門

miura

More Decks by miura

Other Decks in Programming

Featured

Transcript