Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ChatGPT x Node-RED x toioでダンスさせたい
Search
yskmjp
January 25, 2024
Technology
0
130
ChatGPT x Node-RED x toioでダンスさせたい
2024/1/25 ビジュアルプログラミングIoTLTの登壇資料です。
https://iotlt.connpass.com/event/305419/
yskmjp
January 25, 2024
Tweet
Share
More Decks by yskmjp
See All by yskmjp
enebular x ChatGPT演劇 アップデート
yskmjp
0
77
ChatGPT演劇システム
yskmjp
0
21
Node-RED x ChatGPT x Koeiromapで演劇を上演する
yskmjp
0
240
呼び込み君クラウド化計画 enebular x obniz 編
yskmjp
0
350
光る野良ねこバッジ作ってみた2
yskmjp
0
390
光る野良ねこバッジ作ってみた
yskmjp
0
490
TouchDesigner+M5StickC をつなげてみた
yskmjp
1
890
オムロン非接触温度センサ & enebularで 超簡易サーモグラフィ
yskmjp
1
1.1k
enebularでクリスマスツリーを光らせてみた
yskmjp
1
960
Other Decks in Technology
See All in Technology
私が trocco を推す理由
__allllllllez__
2
290
R3のコードから見る実践LINQ実装最適化・コンカレントプログラミング実例
neuecc
3
1.4k
MapLibreとAmazon Location Service
dayjournal
1
170
よく聞くけど使ったことないソフトウェアNo.1 KafkaとSnowflake
foursue
4
380
GrafanaMeetup_AmazonManagedGrafanaのアクセス制御機能とマルチテナント環境下でのアクセス制御について
daitak
0
350
開発生産性大幅アップ!Postman VS Code拡張機能
nagix
3
550
今年のRubyKaigiはProfiler Year🤘
osyoyu
0
250
自己改善からチームを動かす! 「セルフエンジニアリングマネージャー」のすゝめ
shoota
6
920
本当のAWS基礎
toru_kubota
1
560
ChatworkのSRE部って実は 半分くらいPlatform Engineering部かもしれない
saramune
0
160
LLM開発・活用の舞台裏@2024.04.25
yushin_n
3
1.1k
アクセシビリティを考慮したUI/CSSフレームワーク・ライブラリ選定
yajihum
2
1.1k
Featured
See All Featured
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
275
13k
The MySQL Ecosystem @ GitHub 2015
samlambert
244
12k
What's new in Ruby 2.0
geeforr
337
31k
What's in a price? How to price your products and services
michaelherold
238
11k
Designing with Data
zakiwarfel
96
4.8k
The Invisible Customer
myddelton
114
12k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
14
1.5k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
22
1.6k
Visualization
eitanlees
137
14k
The Illustrated Children's Guide to Kubernetes
chrisshort
32
46k
Rails Girls Zürich Keynote
gr2m
91
13k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
26
2.3k
Transcript
ChatGPT x Node-RED x toioでダンスさせたい まつした@野良ハック 2024/1/25 ビジュアルプログラミングIoTLT
・野良ハックチーム → 趣味 電子工作 ・現代アート、演劇、ダンス ・おもちゃドクター ・エレクトロニコス・ファンタスティコス 自己紹介 まつした Twitter:
@yskmjp
演劇を観る が好きな で、 ChatGPTが無限に演劇を 生成してくれれ 一生楽しめる で ? ( ChatGPT
x 演劇
2023年 ChatGPT演劇 ChatGPT Koeiromap DALL-E ①台本 お題を インプット ③音声合成 ・セリフ、声質、感情をイン
プット ・音声ファイル、音素数をアウ トプット ②台本作成 ・お題、ルール(行数、フォー マット)をインプット ・台本(セリフ、声質、感情、照 明)をアウトプット ④舞台美術 ・お題とプロンプトをインプット ・画像ファイルをアウトプット ⑥上演(照明) ・照明を表示 Node-RED Dashboard ⑤上演(会話) ・セリフを再生 ・台本、美術を表示
• 作(劇作家)ー 戯曲を書く • 演出(演出家)ー 舞台上 演出をする • 出演(俳優)ー 役を演じる
• 舞台監督 ー 舞台上で 進行管理 • 美術 ー 舞台上 美術、小道具 • 照明 ー 舞台上 照明 • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上 音響 • 音楽 ー 上演で利用する音楽 作成・演奏 • 企画 ー 上演作品 企画 • 制作 ー 上演に向けて 進行管理 ( 演劇 役割 全てを 自動化したい!
• 作(劇作家)ー 戯曲を書く(ChatGPT) • 演出(演出家)ー 舞台上 演出をする(ChatGPT) • 出演(俳優)ー 役を演じる(音声:
Koeiromap) • 舞台監督 ー 舞台上で 進行管理 • 美術 ー 舞台上 美術、小道具(DALL-E) • 照明 ー 舞台上 照明(M5 Atom Lite + NeoPixel LED) • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上 音響 • 音楽 ー 上演で利用する音楽 作成・演奏 • 企画 ー 上演作品 企画 • 制作 ー 上演に向けて 進行管理 ( 演劇 役割 2023年 ここまで
• 作(劇作家)ー 戯曲を書く(ChatGPT) • 演出(演出家)ー 舞台上 演出をする(ChatGPT) • 出演(俳優)ー 役を演じる(音声:
Koeiromap 動作: ???) • 舞台監督 ー 舞台上で 進行管理 • 美術 ー 舞台上 美術、小道具(DALL-E) • 照明 ー 舞台上 照明(M5 Atom Lite + NeoPixel LED) • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上 音響 • 音楽 ー 上演で利用する音楽 作成・演奏 • 企画 ー 上演作品 企画 • 制作 ー 上演に向けて 進行管理 ( 演劇 役割 次 動きを作りたい!
( ChatGPT舞踊譜 林夏木 2022「舞踊記譜法 論点と課題」 ダンス 舞踊譜 ラバノーテーション Microsoft Applied
Robotics Research Library ラバノーテーション JSONフォーマットGitHubで公開 舞踊譜 フォーマット化 論文で 多数研究あり
( ChatGPT舞踊譜 身体企画ユニット ヨハク 「スクランブル交差点」 エクセル舞踊譜 作れるかも?
一般的なAIで 動き 作り方 ChatGPTで動きを作る ChatGPT演劇で 動き 作り方 AI 舞踊譜 人間
AI 人間 学習 データ 動画などから動きを作る 学習 データ 人間 ダンス動画 ロボット バーチャル キャラクター 舞踊譜から動きを作る
ChatGPTダンスシステム ChatGPT ①ダンス お題 をインプット ②舞踊譜作成 ・お題、ルール(行数、フォー マット)をインプット ③ダンス上演 ・モーター制御命令を元にダ
ンス toio 舞踊譜 モーター 制御命令 ③舞踊譜→モーション変換 ・舞踊譜をtoio モーター制御 命令に変換
Node-REDフロー ①ダンス お題をインプット お題+プロンプトをChatGPTへ ②舞踊譜作成 ChatGPTがお題を元に舞踊譜作成 ③舞踊譜→モーション変換 舞踊譜を元に以下 処理 ・1行(1モーション)ごとに切り出し
・1秒毎に1モーションを連携 ・toio モーター制御命令に変換 ④ダンス上演 toio モーター制御命令をGeneric BLE outノード経由で連携
Node-REDダッシュボード
プロンプトと舞踊譜
None
何か 動きを作るデバイスとしてtoioが使いやすい ①ビジュアルプログラミング環境あり チュートリアルで何ができるか分かる ②ドキュメントが充実 やりたいことが調べやすい ③開発用プレイマットが便利そう XY座標で位置指定がダンスや演劇に使える やってみてわかったこと
岡田智代「記憶 壁」 今後やりたいこと 公開されている実際 ダンススコアを元にtoioに踊らせる 神村恵「無駄な時間 記録」 公開された同じスコアを元に様々なダンサーがダンスを踊るプロジェクト たくみちゃん「たくみちゃん 動く城」
ありがとうございました!