会話を分析するAIアシスタントの実装 （Unity × OpenAI API × AWS）

「XRでこんなのつくったよ選手権 + MeetUp」https://flamers.connpass.com/event/287120/
で発表した内容です。

Transcript

1. 会話を分析するAIアシスタント の実装 （Unity × OpenAI API × AWS） Flamers, Inc. / CTO だーら（設楽広太）
2. 自己紹介 だーら / 設楽広太 @3tdara Flamers共同創業者CTO Unity / C# / Rails / AWSなど 恋愛メタバース Memoria 最近曲を出しました、3曲目
3. 作った（りたい）もの そうですね、僕の好きな食べ物はグミになります。 グミの中 でも特にハード系のグミが好きで、 例えば忍者飯であった り、あとはシュギキックスですね。 両方とも結構硬くて、... この人が理想とする恋愛相手の条件は以下のとおりです。 1. 酸っぱいものが好きな人 この人は、ブドウジュースやザクロジュースやアセロラジュ ースなど、甘いだけでなく酸っぱみもあるジュースが好きだ と言っています。そのため、恋愛相手も同じように酸っぱい ものが好きであることが望まれます。 2. 頑張っている人 この人は、保育園の頃からグミ好きだと話していま../ 文字起こし 分析
4. メタバースで過ごすだけで、 ・自分によりマッチした人が紹介さ れる（アルゴリズム） ・自分のことが分かる（診断）
5. 最初に思いついた設計 Whisper API 文字起こし ChatGPT API 分析 ① ② ③ ④
6. 最初に思いついた設計 Whisper API 文字起こし ChatGPT API 分析 ① ② ③ ④ aws_access_key aws_secret_key ↑これらをクライアントに渡したくない！
7. サーバーのみが 認証情報を持つようにしたい
8. 公式ドキュメント
9. サーバーからクライアントに対して、 ・一時的に署名されたURLを渡す ・有効期限が切れると使用不可能になる
10. ① aws_access_key aws_secret_key 認証を考えた設計 ② ③ あとは同じ
11. ↓実装はこれだけ！（Ruby） まあ多少は認証部分などはコード書 くけど、簡単！ （gem使います） gem 'aws-sdk-s3', '~> 1'
12. 有効期限が切れたら UnityWebRequestException: HTTP/1.1 403 Forbidden <?xml version="1.0" encoding="UTF-8"?> <Error><Code>AccessDenied</Code> <Message>Request has expired</Message>... ちゃんとアクセスできません！
13. ちなみにUnityの実装
14. 録音開始 AudioClip型のインスタンス変数に格納 _recordedClip = Microphone.Start(デバイス名、時間、周波数） 録音終了 Microphone.End() wavに変換 wav変換用クラスはライブラリ利用 byte[] recordWavData = WavConverter.ToWav(_recordedClip); tmpストレージに保存 S3アップロード UnityWebRequestで普通に上げる（aws用の独自SDKなどは不要だった） tmpを削除 OnDestroyなどのタイミングでtmpに保存したオーディオデータを削除
15. メモリについて tmpファイルとして書き込むまで、メモリに記憶している 30分の録音で38MBほど サンプリング周波数が大きく影響する。 今回は11025、デフォルトは44100 書き起こしできれば良いので音質は気にしない ↓Profiler (Memory)のScene Memoryの部分
16. メタバースならではの体験づくりを