enebular で ChatGPT を活用した HoloLens 2・LINE BOT・IoTあたりをうまくやる

20230602_enebular meetup 夏の陣：自由研究発表会「enebular で ChatGPT を活用した HoloLens 2・LINE BOT・IoTあたりをうまくやる」の登壇資料です。

◆スライド内の素材は以下を使用させて頂いております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. 20230602_enebular meetup 夏の陣：自由研究発表会
   enebular で ChatGPT を活用した HoloLens
   2・LINE BOT・IoTあたりをうまくやる
   ワンフットシーバス 田中正吾
   

   View Slide

2. 私の話はスライドを後ほど共有します。
   話す内容に注力いただいて大丈夫です！
   

   View Slide

3. 田中正吾（たなかせいご）
   屋号：ワンフットシーバス
   2004年よりフリーランス。以後、FLASH制作を
   中心にインタラクティブコンテンツを主に行い現
   在に至る。
   最近ではWEBフロントエンドをベースにしなが
   らも、情報とインターフェースが合わさるアプ
   ローチという視点でIoTやMixed Realityといった
   技術も取り入れながら活動しています。
   

   View Slide

4. HoloLens 2 には音声認識機能があり
   音声を日本語テキストに変換できます
   音声認識機能
   （インターネット経由）
   音声データ
   マイク入力
   テキスト
   日本語
   テキスト
   

   View Slide

5. 音声認識したテキストを ChatGPT API に伝えて
   IoT へ指示する JSON に変換され IoT が動作します
   日本語
   音声認識
   （インターネット経由）
   IoT 指示
   JSON
   自前 Node-RED
   ChatGPT API
   HoloLens2
   IoT
   

   View Slide

6. こんな仕組み
   https://twitter.com/1ft_seabass/status/1635135055503949829
   

   View Slide

7. この仕組みも最近だいぶ整ったが
   直接コアの部分は見せにくい
   URL がバレちゃったりデモ用に仕組み壊しちゃう可能性は十分あり得るのが悩ましい
   

   View Slide

8. ある程度稼働しているが一部の処理を
   イベント用に特化させるときに enebular は便利
   https://www.1ft-seabass.jp/memo/2023/05/22/tokai-university-special-lecture-202305/
   

   View Slide

9. enebular で受け付ける仕組みを作った
   Node-RED の仕組みを enebular に移植したが先日の東海大学特別講義で大活躍
   

   View Slide

10. ひとまずデモします！
    

    View Slide

11. さらに試したくなったときも便利
    この仕組みを LINE BOT でも試したくなった
    

    View Slide

12. ChatGPT + enebular でシンプルな LINE BOT も
    Discover Flow でつくりました
    

    View Slide

13. さらに今回の IoT + ChatGPT 連携の指示出し用の
    LINE BOT をつくってみました
    

    View Slide

14. それではデモしてみます！
    

    View Slide

15. よかったところ
    

    View Slide

16. ChatGPT の複数行に渡す指示を
    enebular でブラッシュアップしやすい
    ChatGPT では狙い通りに指示するには結構複数行で書き込まないといけないので
    IoT や VR の仕組みで直接試行錯誤するのは大変
    

    View Slide

17. エディタの時間制限が 4 時間延びたので
    リアルタイムデモがやりやすくなった
    以前は 1 時間だったので Heroku デプロイ常連だったけど 4 時間なら制限内で常時起動もあり
    LINE BOT のデモやハンズオンでも確実性が高まりそう！
    

    View Slide

18. ほかで一旦整った仕組みを一時的に分けて
    デモ用に特化させる仕組みもやりやすい
    重宝してます！ありがとうございます！
    

    View Slide