XRミーティング 20230117

XRミーティング 20230117「XREAL Air で HERE Discover API を使った現在地周辺情報探索アプリを作ってみた」の登壇資料です。

◆スライド内の素材は以下を使用させていただいております。ありがとうございます！

・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp
・Adobe Express https://www.adobe.com/jp/express/

Transcript

1. 20240117_XRミーティング XREAL Air で HERE Discover API を使った 現在地周辺情報探索アプリを作ってみた ワンフットシーバス 田中正吾
2. 私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です！
3. 10 分くらいで話します！ 今年もみなさんよろしくお願いします～
4. 田中正吾（たなかせいご） 屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を 中心にインタラクティブコンテンツを主に行い現 在に至る。 最近ではWEBフロントエンドをベースにしなが らも、情報とインターフェースが合わさるアプ ローチという視点でIoTやMixed Realityといった 技術も取り入れながら活動しています。
5. XREAL Air で現在地周辺情報探索アプリを 作ってみました HERE Discover API を使って現在地周辺探索をしています
6. アドベントカレンダーとしても書いてます XREAL Air で xR + 音声認識 + enebular + ChatGPT + HERE Discover API で 現在地の周辺情報探索アプリを作ったメモ https://www.1ft-seabass.jp/memo/2023/12/13/xr-voice-chatgpt-discover-app/
7. こんな仕組み XREAL Air が AR モードで動作してAndroid アプリとして位置情報を常に把握。 しゃべると位置情報つき質問が Node-RED に渡され HERE API と ChatGPT API で良い感じに回答します。 Whisper API Node-RED ＋HERE API Unity Android アプリとして位置情報を常に把握 マイク入力 WAV データ 文字 起こし 位置つき 質問 回答
8. 本当は XREAL Air の動作を見せたいけど リアルタイムには難しいので別アプローチ
9. XREAL Air でリアルタイムデモしつつ Node-RED 側の動作をお見せしつつデモします
10. 試行錯誤とかがんばったところ
11. XREAL Air と Node-RED の入り口のやり取り
12. XREAL Air から来る位置情報付きデータ Android アプリとして位置情報を常に把握している様子
13. 質問から HERE Discover API に送る前に 良い感じに ChatGPT でキーワード抽出
14. Function calling を併用して キーワードを取り出す
15. ChatGPT でわりと良い感じに取り出してくれる！ これを HERE Discover API のクエリに流してあげる
16. HERE Discover API へ伝える部分
17. HERE はクレジットカード不要で ある程度気軽に試すことができるプランがある
18. API キーを開発者ページ取得
19. API へはまず at 値で位置情報を付与
20. q のところに ChatGPT で質問から抽出した 「カフェ」などのキーワードが渡される
21. 近い 3 件来るので、こんな風にリストで用意
22. HERE で探索できたら ChatGPT で 良い感じの説明文に仕上げてもらう
23. こんな風にリストアップされた情報を活かして ChatGPT へのお願いを作って聞いてみる
24. ChatGPT がこんな風に回答して XREAL Air で質問を返してくれます
25. 東京の飯田橋駅近くでやってみた
26. XREAL Air からの見え方
27. 結構、自然な感じで試せた気がする そう思い込む気合こそ重要！
28. ➔ XREAL Air のようなスマホ連動 xR の仕組みだと Android Unity なアプローチで位置情報を気軽に加えられて楽しい ➔ 野外で使ってみても XREAL 系は使えて 3 段階調光できる XREAL Air 2 Pro だとより見えやすそう ➔ 位置情報を質問文に含むことで現場に強い情報になり HERE のような位置情報 API との親和性が高くなる ➔ キーワード抽出やイケてる説明など ChatGPT がサポート するとより位置系の検索結果が使いやすく光る ➔ 野外でも役立つ xR についても挑戦していきたい！ まとめ