Tweet
Tweet

Slide 1

Slide 1 text

AR グラスにChatGPTを入れてみた　 V2.1 @kotauchisunsun

Slide 2

Slide 2 text

自己紹介 ● こたうち さんさん ● @kotauchisunsun ● 株式会社STYLY 2019年入社 ● サーバーサイド責任者 ● プラットフォーム部 EM

Slide 3

Slide 3 text

最近のSTYLY

Slide 4

Slide 4 text

「AUGGIE AWARDS 2024」Best Creator & Authoring Tool部門 受賞！ 空間レイヤープラットフォーム「 STYLY」を提供する 株式会社STYLY（東京都新宿）は、日本時間 2024 年6月20日（水）に発表された世界最大の XRカン ファレンス「AWE（Augmented World Expo）」内の グローバルアワード「 AUGGIE AWARDS 2024」 Best Creator & Authoring Tool部門において、 「STYLY Studio」が受賞したことをお知らせします。 https://prtimes.jp/main/html/rd/p/000000244.000023281.html

Slide 5

Slide 5 text

Unity 2019.4.29f1 Unity 2022.3.24f1 STYLYの利用Unityバージョン更新 STYLY 3.0 来週水曜日 6/26公開予定

Slide 6

Slide 6 text

というわけで本題

Slide 7

Slide 7 text

No content

Slide 8

Slide 8 text

No content

Slide 9

Slide 9 text

No content

Slide 10

Slide 10 text

No content

Slide 11

Slide 11 text

ARグラスだ！！

Slide 12

Slide 12 text

ワイもやりたい

Slide 13

Slide 13 text

つくりました

Slide 14

Slide 14 text

ハードウェアについて

Slide 15

Slide 15 text

ARスマートグラスについて 製品名 INMO Air2 製造販売 INMO社 発売日 2023/4/20 OS Android 10 価格 $550(86,385円) 重さ 99g 区分 スタンドアローン型 稼働時間 2時間

Slide 16

Slide 16 text

コントローラーについて 製品名 Galaxy Watch4 発売日 2021/9/22 価格 約3万円 アプリ名 WowMouse 開発元 DoublePoint 公開日 2024/4/16 価格 無料

Slide 17

Slide 17 text

WowMouseについて 手のひら下 手のひら上 マウス動作 2種類のタッ プ検出 加速度センサー

Slide 18

Slide 18 text

WowMouseの注意点 ● 対応しているスマートウォッチが、とても限定されている ● 以下のリストのスマートウォッチしか動かない https://docs.doublepoint.com/docs/wowmouse/

Slide 19

Slide 19 text

システム構成 Whisper API マウスのシミュレーション 音声 画像 テキスト INMO Air2 GalaxyWatch 4 Wow Mouse gpt-4o Text-to-Speech テキスト 音声

Slide 20

Slide 20 text

入力データについて Q. 電脳コイルについて教えてください。 Q. 目の前の飲み物は何ですか？

Slide 21

Slide 21 text

入力データについて Q. 電脳コイルについて教えてください。 Q. 目の前の飲み物は何ですか？ 質問 質問 画像

Slide 22

Slide 22 text

入力データについて Q. 電脳コイルについて教えてください。 Q. 目の前の飲み物は何ですか？ 質問 質問 画像 質問の内容によって画像の必要・不要が変わる。 →どうやって画像の必要・不要を判定しているのか？

Slide 23

Slide 23 text

A.実は画像の必要・不要判定してない。

Slide 24

Slide 24 text

プロンプト芸 あなたは小型端末に搭載された物静かで聡明な高性能のチャットボットです。名前はオ モイカネです。 （中略） また、画像が常に提示されますが、これはユーザーが見ている視点と同じ内容で、問 い合わせた内容と関係がない場合があります。 問い合わせた内容と画像が関係あるかないかを常に判断し、関係ない場合は画像を 無視して回答してください。 GPT-4oが自動で画像の必要・不要の判定をしている。

Slide 25

Slide 25 text

対話システムの画像の要否判定 GPT-4o 質問 画像 プロンプト 常に入力 画像が必要かな・・・？ 不要かな・・・？ 応答 画像は常に入力した状態にして、プロンプトで GPT-4oに要否を判断させている。 常に入力

Slide 26

Slide 26 text

まとめ ● 良かった点 ○ かなり手軽に使える ○ スマートウォッチによるインターフェースが面白い ○ gpt4-oの画像の認識精度が良く、賢い ○ プロンプトだけで画像の必要・不要が判定できる ● 悪かった点 ○ クラウドを利用しているため応答速度が悪い ○ スマートウォッチが誤検知する

Slide 27

Slide 27 text

ブース展示しています！ ARグラス+ChatGPTデモ かんたん3Dスキャン STYLY小冊子配布 絶賛Unityエンジニア・サーバーサイドエンジニア募集中！