XRミーティング 20260819

XRミーティング 20260819「Even G2 で OpenAI のリアルタイム音声入力なんとかできた試行錯誤」の登壇資料です。

◆スライド内の素材は以下を使用させていただいております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. XRミーティング 20260819 1 Even G2 で OpenAI のリアルタイム音声入力 "なんとか" できた試行錯誤 ワンフットシーバス 田中正吾
2. 私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です！ 2
3. 10 分くらいで話します！ 3
4. 田中正吾（たなかせいご） 屋号ワンフットシーバス 代表 2004年よりフリーランス転向以後、FLASH 制作を中心にイ ンタラクティブコンテンツを主に行い現在に至る。最近では WEBフロントエンドをベースにしながらも、情報とインタ ーフェースが合わさるアプローチという視点で 生成 AI ・ IoT ・ XR といった技術も取り入れながら活動しています。 ウォンバットが好き。 4
5. Even G2 で OpenAI のリアルタイム音声入力が "なんとか" できたんです タイトル伝え間違えてて "なんと" じゃなくて "なんとか" でした 5
6. 大まかな流れ OpenAI の gpt-4o-mini-transcribe モデルに WebScket 通信で細切れの音声データ（チャンク）を流して 3秒おきに「ここまでで区切ってください」と送り、その都度、直前3秒分の暫定断片→確定版を受け取り、それを繋げて表示するイメージ 6
7. ひとまずライブデモしてみます 7
8. いろいろ試行錯誤したところ 成功が直前すぎて試行錯誤しすぎてまとまってないけど話していく！ 8
9. リアルタイム文字起こしの文献はこちら https://developers.openai.com/api/docs/guides/realtime-transcription 9
10. 今回は WebSocket にしました OpenAI がおすすめする WebRTC 方式は生データを丸投げできるのが強みだけど、Even Hub SDK のマイクは getUserMedia()じゃなくPCM16 チャンク配信という独自ブリッジ。標準の MediaStream がないのでパッとやるにはやりにくそうだったので WebSocket にした。 10
11. リアルタイム系＋初見なので いきなり Node-RED ブリッジはつらかった Node-RED のつなぎでハマりまくったのでシンプルに直接テストで大丈夫と見極めてからブリッジつなぎ。 分かったのは Node-RED で狭間のうまく処理がつくれてなかった。単体テストは正義。 11
12. 音声チャンクの処理ざっくり マイクの音声チャンクを継続的にWebSocketで送り続ける type: input_audio_buffer.append / audio: チャンク音声データ 3 秒ごとにタイマーが発火させここまでで区切ってと commit を送信 type: input_audio_buffer.commit commit のたびサーバー側でその音声区間だけの独立した item が作成 itemに対して断片 delta が複数回届き、随時積み上げていく。最後に確定版 completed が届き、断片が確定テキストに置き換わる 確定/暫定のテキストを item 発生順に連結して画面に表示。これを繰り返すこ とで、喋っている間も3秒ごとに表示が伸びていく！ 12
13. いろいろ試行錯誤 Invalid 'session.audio.input.format.rate': integer below minimum value. Expected a value >= 24000, but got 16000 instead. グラスマイクは SDK 制約で 16 kHz固定、OpenAI 側は 24 kHz必須。 クライアント側で線形補間して 16 kHz→ 24 kHzへアップサンプル。コード は少なめ。 turn_detection エラー turn_detection: {type:"server_vad"}を指定したら「このモデルは非対応」 エラー。文字起こし専用モデルはturn_detection: null 必須と判明。 null に変更して解消。「サーバー側は一切自動で区切らない」制約のため分 割方式への伏線になった。 13
14. 24 kHz必須の話はたぶんこれっぽい https://developers.openai.com/api/reference/resources/realtime/client-events 14
15. 今回のブリッジは小さめ Node-RED ブリッジは一度限りでトークン発行と実キー保持に使っているのみ それ以降は Even G2 と OpenAI は WebSocket 音声データを送る形。 15
16. まとめ リアルタイム文字起こしをなんとか Even G2 のマイ クからつながった。しゃべるたびに録音停止して送る 私の従来の手法よりもとてもやりやすい。 自分的に WebSocket チャンク方式が新しいつなぎ方 だったので苦戦はしたけど動いたのでよかった。 やりやすいので、自分の IoT 音声制御などにうまく加 えていきたい！ 16