Realtime API 入門

Kanagawa.swift #1 で発表した Realtime APIに関する入門スライドです。

Transcript

1. Realtime API 入門 藤門 莉生（Rio Fujimon）
2. 自己紹介 藤門 莉生（Rio Fujimon） - Sansan株式会社 - 23卒（新卒2年目） - Eight の iOSアプリを開発 - X（旧 Twitter）：@RioFujimon - iOS開発で主に興味がある領域 - UIKit, SwiftUI - Bluetooth, NFC, Audio, etc
4. Realtime API 紹介文 開発者はアプリケーションに 高速な音声合成体験 を組み込めるようになった
5. Realtime API 登場以前の手法 Whisper 音声を テキストに 書き起こす テキスト 解析モデル 目的の 応答を生成
6. Realtime API 登場以前の問題 Whisper 音声を テキストに 書き起こす テキスト 解析モデル 目的の 応答を生成 プロセス全体で感情やアクセントが失われたり、遅延が発生
7. Realtime API を利用した場合 Whisper 音声を テキストに 書き起こす テキスト 解析モデル 目的の 応答を生成 Realtime API
8. 実装を見ていく 󰳕
9. まずはRealtime API のチュートリアル 🔰
10. 公式のドキュメントは JavaScript の例しか載ってない 😭 https://platform.openai.com/docs/ guides/realtime#overview 自力で読み解いて Swift で書き直す or AIツールを利用して Swiftで書き直す
11. 💡 要点 ・URLSessionWebSocketDelegate を利用 ・urlSession(_, webSocketTask:, didOpenWithProtocol:) で以下を記述 ・URLSessionWebSocketTask.Messageを作成 ・URLSessionWebSocketTask の send()で送信 ・receiveMessage() でWebSocketを利用したデータ受信
12. 💡 要点 ・URLSessionWebSocketTask の receive() で受信 ・URLSessionWebSocketTask.Message として取得 ・.string(String) と .data(Data) で取得可能
14. 実行してみる ▶
18. 😵 様々な形式の JSONデータが返却されてよく分からん
19. 🖐 JSONの重要な部分を見てみる
20. JSONデータを１行取り出してみる 👀 - type: response.text.delta - delta: 【差分のテキスト文】
21. 別なJSONデータを１行取り出してみる 👀 - type: response.text.done - text: 【テキストの完全文】
22. 💡 要点 ・JSON から type を取得 ・type で場合分けを実施 ・response.text.delta の場合、 delta を取得して表示 ・response.text.done の text を取得して表示
24. 🗣 会話の内容を変更する
25. 💡 要点 ・type を指定することで Client からのイベントが変更可能 ・type の種類 ・conversation.item.create の場合、会話内容を追加 ・response.create の場合、レスポンスの生成 を指示
26. 会話・質問の内容を変えることに成功 🎉
27. テキストは、無事に扱えるようになった 🎉
28. 音声データはどう取得するの？ 🧐
29. 💡 要点 ・modalities に audio を指定
30. JSONデータを１行取り出してみる 👀 - type: response.audio.delta - delta: 【base64エンコードされた逐次の音声データ】
31. 別なJSONデータを１行取り出してみる 👀 - type: response.audio_transcript.delta - delta: 【トランスクリプトの差分】
32. 別なJSONデータを１行取り出してみる 👀 - type: response.audio_transcript.done - transcript: 【トランスクリプトの完全文】
33. 💡 要点 ・JSON から type を取得 ・type で場合分けを実施 ・response.audio.delta の場合、 delta を表示 ・response.audio_transcript.delta の delta を表示 ・response.audio_transcript.done の transcript を表示
34. 音声データの取得が行えるようになった 🎉
35. 本日話した内容 目的の 応答を生成 Realtime API
36. 残っている内容 目的の 応答を生成 Realtime API AVFoundation（AVAudioEngine, AVAudioSession）で扱う
37. AVFoundationの 部分をお話する予定 ご参加 お待ちしてます 🙏 connpassのリンクは こちら
38. 【参考】 Realtime API のライブラリも 開発されているみたい https://github.com/m1guelp f/swift-realtime-openai
39. - https://openai.com/index/introducing-the-realtime-api/ - https://platform.openai.com/docs/guides/realtime?text-generation-quickstart-e xample=stream - https://platform.openai.com/docs/api-reference/realtime-client-events - https://platform.openai.com/docs/api-reference/realtime-server-events - https://openai.com/brand/ - https://developer.apple.com/documentation/foundation/urlsessionwebsocketd elegate - https://developer.apple.com/documentation/foundation/urlsessionwebsocketta sk - https://github.com/m1guelpf/swift-realtime-openai 参考リンク
40. ご清聴ありがとうございました！