Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AIミーティング 20230510

AIミーティング 20230510

AIミーティング 20230510「ChatGPT + HoloLens 2 連携の試行錯誤したこと」の登壇資料です。

◆スライド内の素材は以下を使用させていただいております。ありがとうございます!

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

1ft-seabass
PRO

May 10, 2023
Tweet

More Decks by 1ft-seabass

Other Decks in Technology

Transcript

  1. 20230510_AIミーティング 20230510
    ChatGPT + HoloLens 2 連携の
    試行錯誤したこと
    ワンフットシーバス 田中正吾

    View Slide

  2. 私の話はスライドを後ほど共有します。
    話す内容に注力いただいて大丈夫です!

    View Slide

  3. 10 分くらいで話します!

    View Slide

  4. 田中正吾(たなかせいご)
    屋号:ワンフットシーバス
    2004年よりフリーランス。以後、FLASH制作を
    中心にインタラクティブコンテンツを主に行い現
    在に至る。
    最近ではWEBフロントエンドをベースにしなが
    らも、情報とインターフェースが合わさるアプ
    ローチという視点でIoTやMixed Realityといった
    技術も取り入れながら活動しています。

    View Slide

  5. XR と IoT の間を ChatGPT が
    良き接着剤になってつながったよという話
    HoloLens2 ChatGPT API IoT (obniz)

    View Slide

  6. HoloLens2 と ChatGPT API と Node-RED で
    お手軽音声照明コントロールをつくりました
    https://twitter.com/1ft_seabass/status/1635135055503949829

    View Slide

  7. ひとまずデモ!

    View Slide

  8. HoloLens 2 には音声認識機能があり
    音声を日本語テキストに変換できます
    音声認識機能
    (インターネット経由)
    音声データ
    マイク入力
    テキスト
    日本語
    テキスト

    View Slide

  9. 音声認識したテキストを ChatGPT API に伝えて
    IoT へ指示する JSON に変換され IoT が動作します
    日本語
    音声認識
    (インターネット経由)
    IoT 指示
    JSON
    自前 Node-RED
    ChatGPT API
    HoloLens2
    IoT

    View Slide

  10. ほかの IT の仕組みに馴染ませるために
    ChatGPT の万能さを JSON 返答するように調整
    あえてルールを決め回答しやすく案内+ JSON データに加工して回答してもらう。人間同士の対話っぽい。
    人間の言葉を理解
    JSON データに
    加工して回答
    ルールを決めて
    回答しやすく特化
    ブラッシュアップ!
    ブラッシュアップ!
    人間の言葉を理解 人間の言葉で回答
    回答ジャンルは万能
    (得手不得手はある)
    ■ChatGPT の基本キャラクター
    ■他のシステムに馴染ませる調整(今回)

    View Slide

  11. ChatGPT API で JSON を返してくれるナレッジ
    LED への RGB 値を JSON データで返答する ChatGPT API の仕組みを Node-RED でブラッシュアップしたメモ
    https://www.1ft-seabass.jp/memo/2023/03/17/chatgpt-http-api-like-json-response-tips-with-node-red/

    View Slide

  12. Node-RED のフローはこんな感じ
    HoloLens2 から来たテキストを /api/chatgpt で受け取って
    質問内容を整理して ChatGPT に伝えて IoT 指示 JSON を obniz に伝えています

    View Slide

  13. 質問内容はこんな感じ
    {{payload.message}} に HoloLens2 からきた、実際に話した内容がきて ChatGPT に質問します

    View Slide

  14. Node-RED では chatgpt で調べると
    すでに 3 つもあります
    API ベースでつながるものです

    View Slide

  15. 今回は node-red-contrib-simple-chatgpt を
    つかって手軽な感じでつなぎました
    設定は API のトークン入れるだけ、あとは Web 版のように質問テキストを payload で流し込みます

    View Slide

  16. 作者のがおまるさんの記事がくわしいです
    API トークン入れるだけでサッと使えるところが素敵すぎる
    https://zenn.dev/gaomar/articles/e46cba8e489dfa

    View Slide

  17. HoloLens 2 の話し言葉が IoT への指示に
    上手く変換されててありがたい

    View Slide

  18. ChatGPTの「人間の言葉を理解」が橋渡し!
    いままでは話し言葉の理解が形態素解析などでかなり手間がかかったけど
    ChatGPT の「人間の言葉を理解」がつよいのでシンプルに実装できました!
    人間の言葉を理解
    JSON データに
    加工して回答
    ルールを決めて
    回答しやすく特化
    ブラッシュアップ!
    ブラッシュアップ!
    IoT 制御
    HoloLens2 音声認識

    View Slide

  19. ChatGPT 実装のよもやま話

    View Slide

  20. ここまでキッチリ命令すると
    ChatGPT4と3.5-turboで違いはなかった
    https://www.1ft-seabass.jp/memo/2023/05/02/openai-gpt-4-api-first-step/

    View Slide

  21. この ON OFF 点滅のネタに
    他の命令系統を加えるの大変そう
    RGB 値の仕組みも独立しては動くが、同じ仕組み内でやるのはコツが必要そう(最初に宣言とかかな)

    View Slide

  22. 実験で英語で同じようにお願いしても
    うまく返してくれるのはすごい

    View Slide

  23. ChatGPT に送れる情報量に限界があるので
    キッチリ命令手法も万能ではない
    引き続き頑張っていく

    View Slide

  24. ➔ 音声認識の揺れもうまく吸収してくれて ChatGPT が VR
    と IoT の橋渡しをしてくれる素敵
    ➔ JSON での返答をお願いすることで自然言語を解釈して他
    の仕組みに戻す手間が軽減できて面白い
    ➔ 機能限定はよさそうだけど、機能を拡張するときにどうす
    るかは引き続き考える必要がありそう
    ➔ とにもかくにも AI + XR + IoT がイイ感じにつながったの
    は、すごく勉強になったし、ワクワクした!
    まとめ

    View Slide