AR グラスにChatGPTを入れてみた V2.0

【大阪】XRミーティング 2024/06/19【AR/CR/MR/SR/VR】 で発表
https://osaka-driven-dev.connpass.com/event/319959/

Transcript

1. AR グラスにChatGPTを入れてみた V2.0 @kotauchisunsun
2. 自己紹介 • こたうち さんさん • @kotauchisunsun • 株式会社STYLY 2019年入社 • サーバーサイド責任者 • プラットフォーム部 EM
7. ARグラスだ！！
8. ワイもやりたい
9. つくりました
10. ハードウェアについて
11. ARスマートグラスについて 製品名 INMO Air2 製造販売 INMO社 発売日 2023年4月20日 価格 $550(86,385円) 重さ 99g 区分 スタンドアローン型 稼働時間 2時間
12. コントローラーについて 製品名 Galaxy Watch4 発売日 2021/9/22 価格 約3万円 アプリ名 WowMouse 開発元 DoublePoint 公開日 2024/4/16 価格 無料
13. WowMouseについて 手のひら下 手のひら上 マウス動作 2種類のタッ プ検出 加速度センサー
14. WowMouseの注意点 • 対応しているスマートウォッチが、とても限定されている • 以下のリストのスマートウォッチしか動かない https://docs.doublepoint.com/docs/wowmouse/
15. システム構成 Whisper API マウスのシミュレーション 音声 画像 テキスト INMO Air2 GalaxyWatch 4 Wow Mouse gpt-4o Text-to-Speech テキスト 音声
16. INMO Air2/ChatGPTシステムの問題点 Whisper API gpt-4o Text-to-Speech 音声 テキスト テキスト 音声 Whisper API gpt-4o Text-to-Speech レイテンシ レイテンシ レイテンシ レイテンシ 機能がクラウドにあるのでレイテンシが重なり、応答速度が遅い。
17. レイテンシ改善の方策？ Whisper API gpt-4o Text-to-Speech 音声 テキスト テキスト 音声 SpeechRecognizer TextToSpeech ? ?
18. 普通のスマホとは何か Google Mobile Service 認定 スマホメーカー
19. INMO Air2はGoogleの認可を受けていない GoogleMobileService Speech Recognizer TextToSpeech GPS Pixel7 GoogleMobileService Speech Recognizer TextToSpeech GPS INMO Air2 音声認識やテキスト読み上げのAndroidの機能を使うことが出来ない。 →Androidの機能を用いたレイテンシ改善できない。
20. コ〇ン君の”アレ”は出来ない・・・・ GoogleMobileService Speech Recognizer TextToSpeech GPS INMO Air2 https://www.ytv.co.jp/conan/item/glasses/
21. まとめ • 良かった点 ◦ かなり手軽に使える ◦ スマートウォッチによるインターフェースが面白い ◦ gpt4-oの画像の認識精度が良く、賢い • 悪かった点 ◦ クラウドを利用しているため応答速度が悪い ◦ 普通のスマホで使えるような機能が使えない
22. 6/22(土)にLODGE XR Talkでブース展示しています！ ARグラス+ChatGPTデモ かんたん3Dスキャン STYLY小冊子配布