AIミーティング 20230510

AIミーティング 20230510「ChatGPT + HoloLens 2 連携の試行錯誤したこと」の登壇資料です。

◆スライド内の素材は以下を使用させていただいております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. 20230510_AIミーティング 20230510
   ChatGPT + HoloLens 2 連携の
   試行錯誤したこと
   ワンフットシーバス 田中正吾
   

   View Slide

2. 私の話はスライドを後ほど共有します。
   話す内容に注力いただいて大丈夫です！
   

   View Slide

3. 10 分くらいで話します！
   

   View Slide

4. 田中正吾（たなかせいご）
   屋号：ワンフットシーバス
   2004年よりフリーランス。以後、FLASH制作を
   中心にインタラクティブコンテンツを主に行い現
   在に至る。
   最近ではWEBフロントエンドをベースにしなが
   らも、情報とインターフェースが合わさるアプ
   ローチという視点でIoTやMixed Realityといった
   技術も取り入れながら活動しています。
   

   View Slide

5. XR と IoT の間を ChatGPT が
   良き接着剤になってつながったよという話
   HoloLens2 ChatGPT API IoT (obniz)
   

   View Slide

6. HoloLens2 と ChatGPT API と Node-RED で
   お手軽音声照明コントロールをつくりました
   https://twitter.com/1ft_seabass/status/1635135055503949829
   

   View Slide

7. ひとまずデモ！
   

   View Slide

8. HoloLens 2 には音声認識機能があり
   音声を日本語テキストに変換できます
   音声認識機能
   （インターネット経由）
   音声データ
   マイク入力
   テキスト
   日本語
   テキスト
   

   View Slide

9. 音声認識したテキストを ChatGPT API に伝えて
   IoT へ指示する JSON に変換され IoT が動作します
   日本語
   音声認識
   （インターネット経由）
   IoT 指示
   JSON
   自前 Node-RED
   ChatGPT API
   HoloLens2
   IoT
   

   View Slide

10. ほかの IT の仕組みに馴染ませるために
    ChatGPT の万能さを JSON 返答するように調整
    あえてルールを決め回答しやすく案内＋ JSON データに加工して回答してもらう。人間同士の対話っぽい。
    人間の言葉を理解
    JSON データに
    加工して回答
    ルールを決めて
    回答しやすく特化
    ブラッシュアップ！
    ブラッシュアップ！
    人間の言葉を理解 人間の言葉で回答
    回答ジャンルは万能
    （得手不得手はある）
    ■ChatGPT の基本キャラクター
    ■他のシステムに馴染ませる調整（今回）
    

    View Slide

11. ChatGPT API で JSON を返してくれるナレッジ
    LED への RGB 値を JSON データで返答する ChatGPT API の仕組みを Node-RED でブラッシュアップしたメモ
    https://www.1ft-seabass.jp/memo/2023/03/17/chatgpt-http-api-like-json-response-tips-with-node-red/
    

    View Slide

12. Node-RED のフローはこんな感じ
    HoloLens2 から来たテキストを /api/chatgpt で受け取って
    質問内容を整理して ChatGPT に伝えて IoT 指示 JSON を obniz に伝えています
    

    View Slide

13. 質問内容はこんな感じ
    {{payload.message}} に HoloLens2 からきた、実際に話した内容がきて ChatGPT に質問します
    

    View Slide

14. Node-RED では chatgpt で調べると
    すでに 3 つもあります
    API ベースでつながるものです
    

    View Slide

15. 今回は node-red-contrib-simple-chatgpt を
    つかって手軽な感じでつなぎました
    設定は API のトークン入れるだけ、あとは Web 版のように質問テキストを payload で流し込みます
    

    View Slide

16. 作者のがおまるさんの記事がくわしいです
    API トークン入れるだけでサッと使えるところが素敵すぎる
    https://zenn.dev/gaomar/articles/e46cba8e489dfa
    

    View Slide

17. HoloLens 2 の話し言葉が IoT への指示に
    上手く変換されててありがたい
    

    View Slide

18. ChatGPTの「人間の言葉を理解」が橋渡し！
    いままでは話し言葉の理解が形態素解析などでかなり手間がかかったけど
    ChatGPT の「人間の言葉を理解」がつよいのでシンプルに実装できました！
    人間の言葉を理解
    JSON データに
    加工して回答
    ルールを決めて
    回答しやすく特化
    ブラッシュアップ！
    ブラッシュアップ！
    IoT 制御
    HoloLens2 音声認識
    

    View Slide

19. ChatGPT 実装のよもやま話
    

    View Slide

20. ここまでキッチリ命令すると
    ChatGPT4と3.5-turboで違いはなかった
    https://www.1ft-seabass.jp/memo/2023/05/02/openai-gpt-4-api-first-step/
    

    View Slide

21. この ON OFF 点滅のネタに
    他の命令系統を加えるの大変そう
    RGB 値の仕組みも独立しては動くが、同じ仕組み内でやるのはコツが必要そう（最初に宣言とかかな）
    

    View Slide

22. 実験で英語で同じようにお願いしても
    うまく返してくれるのはすごい
    

    View Slide

23. ChatGPT に送れる情報量に限界があるので
    キッチリ命令手法も万能ではない
    引き続き頑張っていく
    

    View Slide

24. ➔ 音声認識の揺れもうまく吸収してくれて ChatGPT が VR
    と IoT の橋渡しをしてくれる素敵
    ➔ JSON での返答をお願いすることで自然言語を解釈して他
    の仕組みに戻す手間が軽減できて面白い
    ➔ 機能限定はよさそうだけど、機能を拡張するときにどうす
    るかは引き続き考える必要がありそう
    ➔ とにもかくにも AI + XR + IoT がイイ感じにつながったの
    は、すごく勉強になったし、ワクワクした！
    まとめ
    

    View Slide