AR グラスにChatGPTを入れてみた V2.0

AR グラスにChatGPTを入れてみた V2.0 @kotauchisunsun

自己紹介 • こたうちさんさん • @kotauchisunsun • 株式会社STYLY 2019年入社 •
サーバーサイド責任者 • プラットフォーム部 EM

ARグラスだ！！

ワイもやりたい

つくりました

ハードウェアについて

ARスマートグラスについて製品名 INMO Air2 製造販売 INMO社発売日 2023年4月20日価格 $550(86,385円)
重さ 99g 区分スタンドアローン型稼働時間 2時間

コントローラーについて製品名 Galaxy Watch4 発売日 2021/9/22 価格約3万円アプリ名 WowMouse
開発元 DoublePoint 公開日 2024/4/16 価格無料

WowMouseについて手のひら下手のひら上マウス動作 2種類のタップ検出加速度センサー

WowMouseの注意点 • 対応しているスマートウォッチが、とても限定されている • 以下のリストのスマートウォッチしか動かない https://docs.doublepoint.com/docs/wowmouse/

システム構成 Whisper API マウスのシミュレーション音声画像テキスト INMO Air2 GalaxyWatch
4 Wow Mouse gpt-4o Text-to-Speech テキスト音声

INMO Air2/ChatGPTシステムの問題点 Whisper API gpt-4o Text-to-Speech 音声テキストテキスト音声
Whisper API gpt-4o Text-to-Speech レイテンシレイテンシレイテンシレイテンシ機能がクラウドにあるのでレイテンシが重なり、応答速度が遅い。

レイテンシ改善の方策？ Whisper API gpt-4o Text-to-Speech 音声テキストテキスト音声 SpeechRecognizer
TextToSpeech ? ?

普通のスマホとは何か Google Mobile Service 認定スマホメーカー

INMO Air2はGoogleの認可を受けていない GoogleMobileService Speech Recognizer TextToSpeech GPS Pixel7 GoogleMobileService Speech
Recognizer TextToSpeech GPS INMO Air2 音声認識やテキスト読み上げのAndroidの機能を使うことが出来ない。 →Androidの機能を用いたレイテンシ改善できない。

コ〇ン君の”アレ”は出来ない・・・・ GoogleMobileService Speech Recognizer TextToSpeech GPS INMO Air2 https://www.ytv.co.jp/conan/item/glasses/

まとめ • 良かった点 ◦ かなり手軽に使える ◦ スマートウォッチによるインターフェースが面白い ◦ gpt4-oの画像の認識精度が良く、賢い •
悪かった点 ◦ クラウドを利用しているため応答速度が悪い ◦ 普通のスマホで使えるような機能が使えない

6/22(土)にLODGE XR Talkでブース展示しています！ ARグラス+ChatGPTデモかんたん3Dスキャン STYLY小冊子配布

AR グラスにChatGPTを入れてみた V2.0

AR グラスにChatGPTを入れてみた V2.0

kotauchisunsun

More Decks by kotauchisunsun

Other Decks in Technology

Featured

Transcript