Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Node-RED x ChatGPT x Koeiromapで演劇を上演する
Search
yskmjp
May 11, 2023
0
310
Node-RED x ChatGPT x Koeiromapで演劇を上演する
2023/05/11 Node-RED Parkの登壇資料です。
https://enebular.connpass.com/event/278184/
yskmjp
May 11, 2023
Tweet
Share
More Decks by yskmjp
See All by yskmjp
ChatGPT x Node-RED x toioでダンスさせたい
yskmjp
0
180
enebular x ChatGPT演劇 アップデート
yskmjp
0
120
ChatGPT演劇システム
yskmjp
0
37
呼び込み君クラウド化計画 enebular x obniz 編
yskmjp
0
470
光る野良ねこバッジ作ってみた2
yskmjp
0
420
光る野良ねこバッジ作ってみた
yskmjp
0
520
TouchDesigner+M5StickC をつなげてみた
yskmjp
1
1k
オムロン非接触温度センサ & enebularで 超簡易サーモグラフィ
yskmjp
1
1.2k
enebularでクリスマスツリーを光らせてみた
yskmjp
1
1.1k
Featured
See All Featured
How to Ace a Technical Interview
jacobian
276
23k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
111
49k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
191
16k
Keith and Marios Guide to Fast Websites
keithpitt
410
22k
How To Stay Up To Date on Web Technology
chriscoyier
789
250k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
45
2.2k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
2
290
Rails Girls Zürich Keynote
gr2m
94
13k
Imperfection Machines: The Place of Print at Facebook
scottboms
266
13k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
8
1.2k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
32
2.7k
Transcript
Node-RED x ChatGPT x Koeiromap で演劇を上演する まつした@野良ハック 2023/5/11 Node-RED
Park
・野良ハックチーム → 趣味の電子工作 ・エレクトロニコス・ファンタスティコス → 古い家電を楽器として再生 自己紹介 まつした Twitter: @yskmjp
演劇を観るのが好きなので、 ChatGPTが無限に演劇を 生成してくれれば 一生楽しめるのでは? ( ChatGPT x 演劇
• 作(劇作家)ー 戯曲を書く • 演出(演出家)ー 舞台上の演出をする • 出演(俳優)ー 役を演じる •
舞台監督 ー 舞台上での進行管理 • 美術 ー 舞台上の美術、小道具 • 照明 ー 舞台上の照明 • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上の音響 • 音楽 ー 上演で利用する音楽の作成・演奏 • 企画 ー 上演作品の企画 • 制作 ー 上演に向けての進行管理 ( 演劇の役割一覧 全てを自動化 したい!
• 作(劇作家)ー 戯曲を書く(ChatGPT) • 演出(演出家)ー 舞台上の演出をする(ChatGPT) • 出演(俳優)ー 役を演じる(Koeiromap) •
舞台監督 ー 舞台上での進行管理 • 美術 ー 舞台上の美術、小道具 • 照明 ー 舞台上の照明(M5 Atom Lite + NeoPixel LED) • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上の音響 • 音楽 ー 上演で利用する音楽の作成・演奏 • 企画 ー 上演作品の企画 • 制作 ー 上演に向けての進行管理 ( 演劇の役割一覧 今回はここまでシ ステム化!
システム構成 ChatGPT Koeiromap ①台本のテーマ をインプット ②台本作成依頼 台本のテーマ 台本のルール - 登場人物の人数
- セリフの行数 - 出力フォーマット ③上演台本 - セリフ - 声質 - 感情指示 - 照明指示 ④音声合成 - セリフ - 声質 - 感情指示 ⑤音声 - 音声ファイル - 音素数 ⑥上演 - セリフ音読 Node-RED Dashboard ⑦上演 - 照明表示
上演のデモ!
None
Node-RED/enebular 音声合成 KoeiromapのAPIにセリフを渡してwav ファイル取得 セリフの間の調整、音声再生 音素数に応じたセリフの間を調整 台本作成 速度優先でsimple-chatgptを利用 GPT-4を使うならcustom-chatgpt 照明情報
照明情報をMQTT連携
Node-RED Dashboard テーマを入力 ルール設定 台本、音声出力 照明 ダッシュボードに情報を表示
劇作家としてのChatGPT テーマを入力 ルール設定 出力フォーマット 戯曲を作成
戯曲作成の課題① 話の意味が不明… ハナコ:今日は何を作ってるの? ケンジ:猫型ロボットを作ってる ハナコ:猫型ロボットって何? ケンジ:イチゴを運ぶのが得意だ ハナコ:えっ、イチゴを運ぶの? ケンジ:うん、猫の手が器用だから ハナコ:でも猫はイチゴ嫌い? ケンジ:そうだけど、ロボットだよ
ハナコ:じゃあイチゴ狩りに行こ? ケンジ:いいね!でも実はこの猫、いちご よりも魚を運ぶのが得意なんだ!
戯曲作成の課題② 出力フォーマットが安定しない 出力フォーマットに無い 【オチ】の行を勝手に追加 …
演出家としてのChatGPT セリフに対して、声質、感情、照明を指定 役名 → ハナコ 声質 → 1.9(プラスは女性声) 感情 → 驚き セリフ → 猫型ロボットって何? 照明 → #FFB6C1(ピンク)
俳優としてのChatGPT セリフ、声質、感情をもとに Koeiromapで音声合 成 声質 → 1.9(プラスは女性声) 感情 → 驚き セリフ → 猫型ロボットって何?
Koeiromap
入力パラメー タ 説明 利用方法 text 合成したい文章を日本語で入力 台本のセリフを入力 speaker_y Koeiromap空間上の値。有効範囲は `[-3.0,
3.0]` Y軸のプラス側が女性、マイナス側が男性声 登場人物の男女イメージを数値化 style 音声の感情スタイル。スタイルは全部で 6通り`"talk", "happy", "sad", "angry", "fear", "surprised"` セリフの感情を入力 出力パラメー タ 説明 利用方法 audio base64エンコードされたwav形式の音声データ 役者の代わりにセリフを上演 phonemes 入力テキストの音素列 次のセリフに移る際の間の参考に利用 Koeiromapのパラメータ
照明としてのChatGPT 今回はNoePixelのLEDを照明として、指定された色 を表示 → 照明をやらせるには色々と課題が …
照明の課題① 照明や美術を指定するには、セリフに対して シーン①:公園 シーン②:家の中 のようなグルーピングをして、そこに照明や美術の 指示が必要
照明の課題② ChatGPT 照明指示 (MQTT) DMX MQTT経由のUIFlowでNeoPixelのLEDを制御 (本当はNode-RED MCUでLED制御したかった…) 将来的にはDMX経由で照明機器を制御したい NeoPixel
• 作(劇作家)ー 戯曲を書く → 「面白い」戯曲作成 • 演出(演出家)ー 舞台上の演出をする → 細やかな演出指導 • 出演(俳優)ー 役を演じる → ロボット活用、動作の自動生成 •
舞台監督 ー 舞台上での進行管理 → 舞台上の全体を自動制御 • 美術 ー 舞台上の美術、小道具 → 背景画像の自動生成 • 照明 ー 舞台上の照明 → 照明の自動制御 • 衣装 ー 上演で利用する衣装 → 衣装のデザイン生成 • 音響 ー 舞台上の音響 → 効果音自動生成 • 音楽 ー 上演で利用する音楽の作成・演奏 → 劇伴自動生成 • 企画 ー 上演作品の企画 → 物語のテーマ企画 • 制作 ー 上演に向けての進行管理→ タスク管理 ( 今後やりたいこと すべての役割をAIに置き換えて完全自動上演を目指したい!
EOF