Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ChatGPT x Node-RED x toioでダンスさせたい
Search
yskmjp
January 25, 2024
Technology
0
160
ChatGPT x Node-RED x toioでダンスさせたい
2024/1/25 ビジュアルプログラミングIoTLTの登壇資料です。
https://iotlt.connpass.com/event/305419/
yskmjp
January 25, 2024
Tweet
Share
More Decks by yskmjp
See All by yskmjp
enebular x ChatGPT演劇 アップデート
yskmjp
0
90
ChatGPT演劇システム
yskmjp
0
33
Node-RED x ChatGPT x Koeiromapで演劇を上演する
yskmjp
0
280
呼び込み君クラウド化計画 enebular x obniz 編
yskmjp
0
400
光る野良ねこバッジ作ってみた2
yskmjp
0
410
光る野良ねこバッジ作ってみた
yskmjp
0
500
TouchDesigner+M5StickC をつなげてみた
yskmjp
1
950
オムロン非接触温度センサ & enebularで 超簡易サーモグラフィ
yskmjp
1
1.1k
enebularでクリスマスツリーを光らせてみた
yskmjp
1
1k
Other Decks in Technology
See All in Technology
可視化プラットフォームGrafanaの基本と活用方法の全て
hamadakoji
0
230
AWSで”最小権限の原則”を実現するための考え方 /20240722-ssmjp-aws-least-privilege
opelab
10
4.3k
dxd2024-生成AIに振り回された3か月間の成功と失敗/dxd2024-link-and-motivation
lmi
2
260
Github Actions 로 Android 팀의 효율성 극대화
hadonghyun
0
160
サービス開発を前に進めるために 新米リードエンジニアが 取り組んだこと / Steps Taken by a Novice Lead Engineer to Advance Service Development
nologyance
0
180
[I/O Extended Android 2024] What`s new in Android 2024
kyeongwan
0
220
データ分析基盤を作ってみよう~設計編~
nrinetcom
PRO
1
110
フルリモートワークはエンジニアの夢を叶えたか? #cm_odyssey
mamohacy
2
600
テスト・設計研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
170
[NIKKEI Tech Talk] KDDI/KAG Scrum & Community for Engineering Training
curanosuke
2
220
AutomatedLabを使って内部ペンテストを勉強しよう! -やられ社内ネットワークの自動構築-
n_etupirka
1
610
セキュリティ研修 Day1【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
150
Featured
See All Featured
Debugging Ruby Performance
tmm1
71
11k
Large-scale JavaScript Application Architecture
addyosmani
506
110k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Unsuck your backbone
ammeep
666
57k
GraphQLとの向き合い方2022年版
quramy
36
13k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
662
120k
5 minutes of I Can Smell Your CMS
philhawksworth
200
19k
Bash Introduction
62gerente
607
210k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
16
1.6k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
23
1.9k
What’s in a name? Adding method to the madness
productmarketing
PRO
21
2.9k
GitHub's CSS Performance
jonrohan
1026
450k
Transcript
ChatGPT x Node-RED x toioでダンスさせたい まつした@野良ハック 2024/1/25 ビジュアルプログラミングIoTLT
・野良ハックチーム → 趣味 電子工作 ・現代アート、演劇、ダンス ・おもちゃドクター ・エレクトロニコス・ファンタスティコス 自己紹介 まつした Twitter:
@yskmjp
演劇を観る が好きな で、 ChatGPTが無限に演劇を 生成してくれれ 一生楽しめる で ? ( ChatGPT
x 演劇
2023年 ChatGPT演劇 ChatGPT Koeiromap DALL-E ①台本 お題を インプット ③音声合成 ・セリフ、声質、感情をイン
プット ・音声ファイル、音素数をアウ トプット ②台本作成 ・お題、ルール(行数、フォー マット)をインプット ・台本(セリフ、声質、感情、照 明)をアウトプット ④舞台美術 ・お題とプロンプトをインプット ・画像ファイルをアウトプット ⑥上演(照明) ・照明を表示 Node-RED Dashboard ⑤上演(会話) ・セリフを再生 ・台本、美術を表示
• 作(劇作家)ー 戯曲を書く • 演出(演出家)ー 舞台上 演出をする • 出演(俳優)ー 役を演じる
• 舞台監督 ー 舞台上で 進行管理 • 美術 ー 舞台上 美術、小道具 • 照明 ー 舞台上 照明 • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上 音響 • 音楽 ー 上演で利用する音楽 作成・演奏 • 企画 ー 上演作品 企画 • 制作 ー 上演に向けて 進行管理 ( 演劇 役割 全てを 自動化したい!
• 作(劇作家)ー 戯曲を書く(ChatGPT) • 演出(演出家)ー 舞台上 演出をする(ChatGPT) • 出演(俳優)ー 役を演じる(音声:
Koeiromap) • 舞台監督 ー 舞台上で 進行管理 • 美術 ー 舞台上 美術、小道具(DALL-E) • 照明 ー 舞台上 照明(M5 Atom Lite + NeoPixel LED) • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上 音響 • 音楽 ー 上演で利用する音楽 作成・演奏 • 企画 ー 上演作品 企画 • 制作 ー 上演に向けて 進行管理 ( 演劇 役割 2023年 ここまで
• 作(劇作家)ー 戯曲を書く(ChatGPT) • 演出(演出家)ー 舞台上 演出をする(ChatGPT) • 出演(俳優)ー 役を演じる(音声:
Koeiromap 動作: ???) • 舞台監督 ー 舞台上で 進行管理 • 美術 ー 舞台上 美術、小道具(DALL-E) • 照明 ー 舞台上 照明(M5 Atom Lite + NeoPixel LED) • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上 音響 • 音楽 ー 上演で利用する音楽 作成・演奏 • 企画 ー 上演作品 企画 • 制作 ー 上演に向けて 進行管理 ( 演劇 役割 次 動きを作りたい!
( ChatGPT舞踊譜 林夏木 2022「舞踊記譜法 論点と課題」 ダンス 舞踊譜 ラバノーテーション Microsoft Applied
Robotics Research Library ラバノーテーション JSONフォーマットGitHubで公開 舞踊譜 フォーマット化 論文で 多数研究あり
( ChatGPT舞踊譜 身体企画ユニット ヨハク 「スクランブル交差点」 エクセル舞踊譜 作れるかも?
一般的なAIで 動き 作り方 ChatGPTで動きを作る ChatGPT演劇で 動き 作り方 AI 舞踊譜 人間
AI 人間 学習 データ 動画などから動きを作る 学習 データ 人間 ダンス動画 ロボット バーチャル キャラクター 舞踊譜から動きを作る
ChatGPTダンスシステム ChatGPT ①ダンス お題 をインプット ②舞踊譜作成 ・お題、ルール(行数、フォー マット)をインプット ③ダンス上演 ・モーター制御命令を元にダ
ンス toio 舞踊譜 モーター 制御命令 ③舞踊譜→モーション変換 ・舞踊譜をtoio モーター制御 命令に変換
Node-REDフロー ①ダンス お題をインプット お題+プロンプトをChatGPTへ ②舞踊譜作成 ChatGPTがお題を元に舞踊譜作成 ③舞踊譜→モーション変換 舞踊譜を元に以下 処理 ・1行(1モーション)ごとに切り出し
・1秒毎に1モーションを連携 ・toio モーター制御命令に変換 ④ダンス上演 toio モーター制御命令をGeneric BLE outノード経由で連携
Node-REDダッシュボード
プロンプトと舞踊譜
None
何か 動きを作るデバイスとしてtoioが使いやすい ①ビジュアルプログラミング環境あり チュートリアルで何ができるか分かる ②ドキュメントが充実 やりたいことが調べやすい ③開発用プレイマットが便利そう XY座標で位置指定がダンスや演劇に使える やってみてわかったこと
岡田智代「記憶 壁」 今後やりたいこと 公開されている実際 ダンススコアを元にtoioに踊らせる 神村恵「無駄な時間 記録」 公開された同じスコアを元に様々なダンサーがダンスを踊るプロジェクト たくみちゃん「たくみちゃん 動く城」
ありがとうございました!