enebular で ChatGPT を活用した HoloLens 2・LINE BOT・IoTあたりをうまくやる

20230602_enebular meetup 夏の陣：自由研究発表会「enebular で ChatGPT を活用した HoloLens 2・LINE BOT・IoTあたりをうまくやる」の登壇資料です。

◆スライド内の素材は以下を使用させて頂いております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. 20230602_enebular meetup 夏の陣：自由研究発表会 enebular で ChatGPT を活用した HoloLens 2・LINE BOT・IoTあたりをうまくやる ワンフットシーバス 田中正吾
2. 私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です！
3. 田中正吾（たなかせいご） 屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を 中心にインタラクティブコンテンツを主に行い現 在に至る。 最近ではWEBフロントエンドをベースにしなが らも、情報とインターフェースが合わさるアプ ローチという視点でIoTやMixed Realityといった 技術も取り入れながら活動しています。
4. HoloLens 2 には音声認識機能があり 音声を日本語テキストに変換できます 音声認識機能 （インターネット経由） 音声データ マイク入力 テキスト 日本語 テキスト
5. 音声認識したテキストを ChatGPT API に伝えて IoT へ指示する JSON に変換され IoT が動作します 日本語 音声認識 （インターネット経由） IoT 指示 JSON 自前 Node-RED ChatGPT API HoloLens2 IoT
6. こんな仕組み https://twitter.com/1ft_seabass/status/1635135055503949829
7. この仕組みも最近だいぶ整ったが 直接コアの部分は見せにくい URL がバレちゃったりデモ用に仕組み壊しちゃう可能性は十分あり得るのが悩ましい
8. ある程度稼働しているが一部の処理を イベント用に特化させるときに enebular は便利 https://www.1ft-seabass.jp/memo/2023/05/22/tokai-university-special-lecture-202305/
9. enebular で受け付ける仕組みを作った Node-RED の仕組みを enebular に移植したが先日の東海大学特別講義で大活躍
10. ひとまずデモします！
11. さらに試したくなったときも便利 この仕組みを LINE BOT でも試したくなった
12. ChatGPT + enebular でシンプルな LINE BOT も Discover Flow でつくりました
13. さらに今回の IoT + ChatGPT 連携の指示出し用の LINE BOT をつくってみました
14. それではデモしてみます！
15. よかったところ
16. ChatGPT の複数行に渡す指示を enebular でブラッシュアップしやすい ChatGPT では狙い通りに指示するには結構複数行で書き込まないといけないので IoT や VR の仕組みで直接試行錯誤するのは大変
17. エディタの時間制限が 4 時間延びたので リアルタイムデモがやりやすくなった 以前は 1 時間だったので Heroku デプロイ常連だったけど 4 時間なら制限内で常時起動もあり LINE BOT のデモやハンズオンでも確実性が高まりそう！
18. ほかで一旦整った仕組みを一時的に分けて デモ用に特化させる仕組みもやりやすい 重宝してます！ありがとうございます！