Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AR グラスにChatGPTを入れてみた V2.0
Search
kotauchisunsun
June 24, 2024
Technology
0
94
AR グラスにChatGPTを入れてみた V2.0
【大阪】XRミーティング 2024/06/19【AR/CR/MR/SR/VR】 で発表
https://osaka-driven-dev.connpass.com/event/319959/
kotauchisunsun
June 24, 2024
Tweet
Share
More Decks by kotauchisunsun
See All by kotauchisunsun
仮想と実存。その融合する世界を創る。 ~XR業界へ就職・転職のために必要な経験・スキルとは?~
kotauchisunsun
0
37
ARグラスにChatGPTを入れてみた V2.2
kotauchisunsun
0
130
AR グラスにChatGPTを入れてみた V2.1
kotauchisunsun
1
92
ARグラスにChatGPTを入れてみた
kotauchisunsun
0
400
ソースコードを美しくたもつために ~コードレビューの認知限界を突破し、年間400リリースを達成する~
kotauchisunsun
1
11k
Apple Vision Proにみるビデオシースルー型HMDと光学式ARグラスの比較・考察
kotauchisunsun
0
2.6k
INMOAirを使い倒してみた ~ARグラスのトレードオフ仮説~
kotauchisunsun
0
6k
Other Decks in Technology
See All in Technology
Technology that powers Lambda / AWS Lambda を支える技術
_kensh
22
5k
コンポーネントテストの手法と その効果を考える
yotahada3
8
1.1k
不感対策ソリューション
jtes
0
220
人工衛星の開発体験向上のために、ソフトウェアからできること
sksat
2
390
2ヶ月かかるDBアップグレード検証を最大2週間に短縮した自作Go製CLIツール「Platinum」を紹介する / Introducing Go CLI tool "Platinum" for shortened DB upgrade validation
vtryo
2
220
可視化がやりたくてMIERUNEに転職した話 〜“思考のための道具”とコンピューターによる新たな表現〜 / MIERUNE JCT - Tokyo 2024
sorami
2
200
C# 13 / .NET 9 の新機能 (RC 1 時点)
nenonaninu
0
280
ORM と向き合う
hoto17296
1
900
サーバーレスAPIのパフォーマンステストとアプリの未来
nagix
5
3k
Create Inquiry via Bedrock / 生成 AI で問い合わせ品質は変わるのか?思いついてぱっと作ったものを供養してみる
kazzpapa3
1
100
GitHub Actions/Docker/Terraform/Renovate で最小限の Monorepo CD パイプラインを作る / Minimalistic Monorepo CD Pipeline with GitHub Actions, Docker, Terraform and Renovate
yuyatakeyama
4
290
DockerのマルチプラットフォームイメージをGitHub Actionsでビルドして公開する際に、参考にしたドキュメントと便利だったツール
iwamot
3
110
Featured
See All Featured
Why Our Code Smells
bkeepers
PRO
334
57k
Building Your Own Lightsaber
phodgson
101
6k
Become a Pro
speakerdeck
PRO
22
4.9k
BBQ
matthewcrist
83
9.2k
Into the Great Unknown - MozCon
thekraken
29
1.4k
Being A Developer After 40
akosma
84
590k
How GitHub (no longer) Works
holman
310
140k
Building a Modern Day E-commerce SEO Strategy
aleyda
36
6.8k
Fashionably flexible responsive web design (full day workshop)
malarkey
401
65k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
190
16k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
30
2.6k
Creatively Recalculating Your Daily Design Routine
revolveconf
215
12k
Transcript
AR グラスにChatGPTを入れてみた V2.0 @kotauchisunsun
自己紹介 • こたうち さんさん • @kotauchisunsun • 株式会社STYLY 2019年入社 •
サーバーサイド責任者 • プラットフォーム部 EM
None
None
None
None
ARグラスだ!!
ワイもやりたい
つくりました
ハードウェアについて
ARスマートグラスについて 製品名 INMO Air2 製造販売 INMO社 発売日 2023年4月20日 価格 $550(86,385円)
重さ 99g 区分 スタンドアローン型 稼働時間 2時間
コントローラーについて 製品名 Galaxy Watch4 発売日 2021/9/22 価格 約3万円 アプリ名 WowMouse
開発元 DoublePoint 公開日 2024/4/16 価格 無料
WowMouseについて 手のひら下 手のひら上 マウス動作 2種類のタッ プ検出 加速度センサー
WowMouseの注意点 • 対応しているスマートウォッチが、とても限定されている • 以下のリストのスマートウォッチしか動かない https://docs.doublepoint.com/docs/wowmouse/
システム構成 Whisper API マウスのシミュレーション 音声 画像 テキスト INMO Air2 GalaxyWatch
4 Wow Mouse gpt-4o Text-to-Speech テキスト 音声
INMO Air2/ChatGPTシステムの問題点 Whisper API gpt-4o Text-to-Speech 音声 テキスト テキスト 音声
Whisper API gpt-4o Text-to-Speech レイテンシ レイテンシ レイテンシ レイテンシ 機能がクラウドにあるのでレイテンシが重なり、応答速度が遅い。
レイテンシ改善の方策? Whisper API gpt-4o Text-to-Speech 音声 テキスト テキスト 音声 SpeechRecognizer
TextToSpeech ? ?
普通のスマホとは何か Google Mobile Service 認定 スマホメーカー
INMO Air2はGoogleの認可を受けていない GoogleMobileService Speech Recognizer TextToSpeech GPS Pixel7 GoogleMobileService Speech
Recognizer TextToSpeech GPS INMO Air2 音声認識やテキスト読み上げのAndroidの機能を使うことが出来ない。 →Androidの機能を用いたレイテンシ改善できない。
コ〇ン君の”アレ”は出来ない・・・・ GoogleMobileService Speech Recognizer TextToSpeech GPS INMO Air2 https://www.ytv.co.jp/conan/item/glasses/
まとめ • 良かった点 ◦ かなり手軽に使える ◦ スマートウォッチによるインターフェースが面白い ◦ gpt4-oの画像の認識精度が良く、賢い •
悪かった点 ◦ クラウドを利用しているため応答速度が悪い ◦ 普通のスマホで使えるような機能が使えない
6/22(土)にLODGE XR Talkでブース展示しています! ARグラス+ChatGPTデモ かんたん3Dスキャン STYLY小冊子配布