Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
会話を分析するAIアシスタントの実装 (Unity × OpenAI API × AWS)
Search
Dara / Shidara Kota
July 05, 2023
Technology
0
82
会話を分析するAIアシスタントの実装 (Unity × OpenAI API × AWS)
「XRでこんなのつくったよ選手権 + MeetUp」
https://flamers.connpass.com/event/287120/
で発表した内容です。
Dara / Shidara Kota
July 05, 2023
Tweet
Share
More Decks by Dara / Shidara Kota
See All by Dara / Shidara Kota
CA.unity#7 Windows/Macの証明書の取得と、署名済みインストーラーを作成するビルドプロセスの紹介
dara_dara
0
400
Zip配布の卒業 インストーラーはいいぞ!
dara_dara
0
24
ビジネスサイドでもわかる ドメイン駆動設計とは?
dara_dara
0
78
素早いリリースと自身のCTO化を実現した爆速成長サイクルを振り返る
dara_dara
0
200
初心者必見!Unityを用いた、cluster worldと自作VRアプリの作り方
dara_dara
0
49
日常と照らし合わせて理解するSOLID原則
dara_dara
0
130
VRMアバターのキャリブレーションや表情設定とマルチプレイ同期
dara_dara
0
100
Other Decks in Technology
See All in Technology
Cracking the KubeCon CfP
inductor
2
270
しくじり先生、PharmaXのLLMアプリケーション開発の失敗を語る
pharma_x_tech
0
110
M&A戦略を支えるデータマネジメント (MIDAS Tech Study #16 GENDA Komiyama)
kommy339
1
150
ゼロから始めるVue.jsコミュニティ貢献 / first-vuejs-community-contribution-link-and-motivation
lmi
1
150
One engineer company with Ruby on Rails
rstankov
2
450
LangSmith入門―トレース/評価/プロンプト管理などを担うLLMアプリ開発プラットフォーム
os1ma
5
770
EM完全に理解した と思ったけど、 やっぱり何も分からなかった話 / EM Night Fukuoka #1
hirutas
0
300
[2024/04/23]tbls活用事例 〜 ビューポイントから データベースを整理してみた話 〜
tosite
0
110
require(ESM)とECMAScript仕様
uhyo
4
1k
IaCジェネレーターとBedrockで詳細設計書を生成してみた
tsukasa_ishimaru
4
940
Autonomous Database Cloud 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
15
35k
中年男性がメインフレームから クラウドへキャリアシフトしてみた
uechishingo
0
380
Featured
See All Featured
Adopting Sorbet at Scale
ufuk
69
8.6k
BBQ
matthewcrist
80
8.8k
GraphQLの誤解/rethinking-graphql
sonatard
56
9.3k
Building Effective Engineering Teams - LeadDev
addyosmani
32
1.9k
Designing on Purpose - Digital PM Summit 2013
jponch
111
6.5k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
155
14k
Making Projects Easy
brettharned
109
5.5k
Code Review Best Practice
trishagee
56
15k
Designing the Hi-DPI Web
ddemaree
276
33k
How to train your dragon (web standard)
notwaldorf
75
5.2k
No one is an island. Learnings from fostering a developers community.
thoeni
16
2.1k
What's in a price? How to price your products and services
michaelherold
238
11k
Transcript
会話を分析するAIアシスタント の実装 (Unity × OpenAI API × AWS) Flamers, Inc.
/ CTO だーら(設楽広太)
自己紹介 だーら / 設楽広太 @3tdara Flamers共同創業者CTO Unity / C# /
Rails / AWSなど 恋愛メタバース Memoria 最近曲を出しました、3曲目
作った(りたい)もの そうですね、僕の好きな食べ物はグミになります。 グミの中 でも特にハード系のグミが好きで、 例えば忍者飯であった り、あとはシュギキックスですね。 両方とも結構硬くて、... この人が理想とする恋愛相手の条件は以下のとおりです。 1. 酸っぱいものが好きな人
この人は、ブドウジュースやザクロジュースやアセロラジュ ースなど、甘いだけでなく酸っぱみもあるジュースが好きだ と言っています。そのため、恋愛相手も同じように酸っぱい ものが好きであることが望まれます。 2. 頑張っている人 この人は、保育園の頃からグミ好きだと話していま../ 文字起こし 分析
メタバースで過ごすだけで、 ・自分によりマッチした人が紹介さ れる(アルゴリズム) ・自分のことが分かる(診断)
最初に思いついた設計 Whisper API 文字起こし ChatGPT API 分析 ① ② ③
④
最初に思いついた設計 Whisper API 文字起こし ChatGPT API 分析 ① ② ③
④ aws_access_key aws_secret_key ↑これらをクライアントに渡したくない!
サーバーのみが 認証情報を持つようにしたい
公式ドキュメント
サーバーからクライアントに対して、 ・一時的に署名されたURLを渡す ・有効期限が切れると使用不可能になる
① aws_access_key aws_secret_key 認証を考えた設計 ② ③ あとは同じ
↓実装はこれだけ!(Ruby) まあ多少は認証部分などはコード書 くけど、簡単! (gem使います) gem 'aws-sdk-s3', '~> 1'
有効期限が切れたら UnityWebRequestException: HTTP/1.1 403 Forbidden <?xml version="1.0" encoding="UTF-8"?> <Error><Code>AccessDenied</Code> <Message>Request
has expired</Message>... ちゃんとアクセスできません!
ちなみにUnityの実装
録音開始 AudioClip型のインスタンス変数に格納 _recordedClip = Microphone.Start(デバイス名、時間、周波数) 録音終了 Microphone.End() wavに変換 wav変換用クラスはライブラリ利用 byte[]
recordWavData = WavConverter.ToWav(_recordedClip); tmpストレージに保存 S3アップロード UnityWebRequestで普通に上げる(aws用の独自SDKなどは不要だった) tmpを削除 OnDestroyなどのタイミングでtmpに保存したオーディオデータを削除
メモリについて tmpファイルとして書き込むまで、メモリに記憶している 30分の録音で38MBほど サンプリング周波数が大きく影響する。 今回は11025、デフォルトは44100 書き起こしできれば良いので音質は気にしない ↓Profiler (Memory)のScene Memoryの部分
メタバースならではの体験づくりを