ChatGPT x Node-RED x toioでダンスさせたい

2024/1/25 ビジュアルプログラミングIoTLTの登壇資料です。
https://iotlt.connpass.com/event/305419/

Transcript

1. ChatGPT x Node-RED
 x toioでダンスさせたい
 まつした＠野良ハック
 2024/1/25 ビジュアルプログラミングIoTLT

2. ・野良ハックチーム 　→ 趣味 電子工作 ・現代アート、演劇、ダンス ・おもちゃドクター ・エレクトロニコス・ファンタスティコス 自己紹介
 まつした Twitter: @yskmjp
3. 演劇を観る が好きな で、 ChatGPTが無限に演劇を 生成してくれれ 一生楽しめる で ？ （ ChatGPT x 演劇

4. 2023年 ChatGPT演劇
 ChatGPT Koeiromap DALL-E ①台本 お題を インプット ③音声合成 ・セリフ、声質、感情をイン プット ・音声ファイル、音素数をアウ トプット ②台本作成 ・お題、ルール（行数、フォー マット）をインプット ・台本（セリフ、声質、感情、照 明）をアウトプット ④舞台美術 ・お題とプロンプトをインプット ・画像ファイルをアウトプット ⑥上演（照明） ・照明を表示 Node-RED Dashboard ⑤上演（会話） ・セリフを再生 ・台本、美術を表示
5. • 作（劇作家）ー 戯曲を書く • 演出（演出家）ー 舞台上 演出をする • 出演（俳優）ー 役を演じる • 舞台監督　ー 舞台上で 進行管理 • 美術　ー 舞台上 美術、小道具 • 照明　ー 舞台上 照明 • 衣装　ー 上演で利用する衣装 • 音響　ー 舞台上 音響 • 音楽　ー 上演で利用する音楽 作成・演奏 • 企画　ー 上演作品 企画 • 制作　ー 上演に向けて 進行管理 （ 演劇 役割
 全てを 自動化したい！
6. • 作（劇作家）ー 戯曲を書く（ChatGPT） • 演出（演出家）ー 舞台上 演出をする（ChatGPT） • 出演（俳優）ー 役を演じる（音声: Koeiromap） • 舞台監督　ー 舞台上で 進行管理 • 美術　ー 舞台上 美術、小道具（DALL-E） • 照明　ー 舞台上 照明（M5 Atom Lite + NeoPixel LED） • 衣装　ー 上演で利用する衣装 • 音響　ー 舞台上 音響 • 音楽　ー 上演で利用する音楽 作成・演奏 • 企画　ー 上演作品 企画 • 制作　ー 上演に向けて 進行管理 （ 演劇 役割
 2023年 ここまで
7. • 作（劇作家）ー 戯曲を書く（ChatGPT） • 演出（演出家）ー 舞台上 演出をする（ChatGPT） • 出演（俳優）ー 役を演じる（音声: Koeiromap　動作: ???） • 舞台監督　ー 舞台上で 進行管理 • 美術　ー 舞台上 美術、小道具（DALL-E） • 照明　ー 舞台上 照明（M5 Atom Lite + NeoPixel LED） • 衣装　ー 上演で利用する衣装 • 音響　ー 舞台上 音響 • 音楽　ー 上演で利用する音楽 作成・演奏 • 企画　ー 上演作品 企画 • 制作　ー 上演に向けて 進行管理 （ 演劇 役割
 次 動きを作りたい！
8. （ ChatGPT舞踊譜
 林夏木 2022「舞踊記譜法 論点と課題」 ダンス 舞踊譜 ラバノーテーション Microsoft Applied Robotics Research Library ラバノーテーション JSONフォーマットGitHubで公開 舞踊譜 フォーマット化 論文で 多数研究あり
9. （ ChatGPT舞踊譜
 身体企画ユニット ヨハク 「スクランブル交差点」 エクセル舞踊譜 作れるかも？
10. 一般的なAIで 動き 作り方 ChatGPTで動きを作る
 ChatGPT演劇で 動き 作り方 AI 舞踊譜 人間 AI 人間 学習 データ 動画などから動きを作る 学習 データ 人間 ダンス動画 ロボット バーチャル キャラクター 舞踊譜から動きを作る
11. ChatGPTダンスシステム
 ChatGPT ①ダンス お題 をインプット ②舞踊譜作成 ・お題、ルール（行数、フォー マット）をインプット ③ダンス上演 ・モーター制御命令を元にダ ンス toio 舞踊譜 モーター 制御命令 ③舞踊譜→モーション変換 ・舞踊譜をtoio モーター制御 命令に変換
12. Node-REDフロー
 ①ダンス お題をインプット お題＋プロンプトをChatGPTへ ②舞踊譜作成 ChatGPTがお題を元に舞踊譜作成 ③舞踊譜→モーション変換 舞踊譜を元に以下 処理 ・1行(1モーション)ごとに切り出し ・1秒毎に1モーションを連携 ・toio モーター制御命令に変換 ④ダンス上演 toio モーター制御命令をGeneric BLE outノード経由で連携
13. Node-REDダッシュボード

14. プロンプトと舞踊譜

16. 何か 動きを作るデバイスとしてtoioが使いやすい ①ビジュアルプログラミング環境あり 　チュートリアルで何ができるか分かる ②ドキュメントが充実 　やりたいことが調べやすい ③開発用プレイマットが便利そう 　XY座標で位置指定がダンスや演劇に使える やってみてわかったこと

17. 岡田智代「記憶 壁」 今後やりたいこと
 公開されている実際 ダンススコアを元にtoioに踊らせる 神村恵「無駄な時間 記録」 公開された同じスコアを元に様々なダンサーがダンスを踊るプロジェクト たくみちゃん「たくみちゃん 動く城」
18. ありがとうございました！