会話を分析するAIアシスタントの実装（Unity × OpenAI API × AWS）

会話を分析するAIアシスタントの実装（Unity × OpenAI API × AWS） Flamers, Inc.
/ CTO だーら（設楽広太）

自己紹介だーら / 設楽広太 @3tdara Flamers共同創業者CTO Unity / C# /
Rails / AWSなど恋愛メタバース Memoria 最近曲を出しました、3曲目

作った（りたい）ものそうですね、僕の好きな食べ物はグミになります。グミの中でも特にハード系のグミが好きで、例えば忍者飯であったり、あとはシュギキックスですね。両方とも結構硬くて、... この人が理想とする恋愛相手の条件は以下のとおりです。 1. 酸っぱいものが好きな人
この人は、ブドウジュースやザクロジュースやアセロラジュースなど、甘いだけでなく酸っぱみもあるジュースが好きだと言っています。そのため、恋愛相手も同じように酸っぱいものが好きであることが望まれます。 2. 頑張っている人この人は、保育園の頃からグミ好きだと話していま../ 文字起こし分析

メタバースで過ごすだけで、・自分によりマッチした人が紹介される（アルゴリズム）・自分のことが分かる（診断）

最初に思いついた設計 Whisper API 文字起こし ChatGPT API 分析 ① ② ③
④

最初に思いついた設計 Whisper API 文字起こし ChatGPT API 分析 ① ② ③
④ aws_access_key aws_secret_key ↑これらをクライアントに渡したくない！

サーバーのみが認証情報を持つようにしたい

公式ドキュメント

サーバーからクライアントに対して、・一時的に署名されたURLを渡す・有効期限が切れると使用不可能になる

① aws_access_key aws_secret_key 認証を考えた設計 ② ③ あとは同じ

↓実装はこれだけ！（Ruby）まあ多少は認証部分などはコード書くけど、簡単！（gem使います） gem 'aws-sdk-s3', '~> 1'

有効期限が切れたら UnityWebRequestException: HTTP/1.1 403 Forbidden <?xml version="1.0" encoding="UTF-8"?> <Error><Code>AccessDenied</Code> <Message>Request
has expired</Message>... ちゃんとアクセスできません！

ちなみにUnityの実装

録音開始 AudioClip型のインスタンス変数に格納 _recordedClip = Microphone.Start(デバイス名、時間、周波数）録音終了 Microphone.End() wavに変換 wav変換用クラスはライブラリ利用 byte[]
recordWavData = WavConverter.ToWav(_recordedClip); tmpストレージに保存 S3アップロード UnityWebRequestで普通に上げる（aws用の独自SDKなどは不要だった） tmpを削除 OnDestroyなどのタイミングでtmpに保存したオーディオデータを削除

メモリについて tmpファイルとして書き込むまで、メモリに記憶している 30分の録音で38MBほどサンプリング周波数が大きく影響する。今回は11025、デフォルトは44100 書き起こしできれば良いので音質は気にしない ↓Profiler (Memory)のScene Memoryの部分

メタバースならではの体験づくりを

会話を分析するAIアシスタントの実装（Unity × OpenAI API × AWS）

会話を分析するAIアシスタントの実装（Unity × OpenAI API × AWS）

Dara / Shidara Kota

More Decks by Dara / Shidara Kota

Other Decks in Technology

Featured

Transcript