Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Node-RED x ChatGPT x Koeiromapで演劇を上演する
Search
yskmjp
May 11, 2023
0
290
Node-RED x ChatGPT x Koeiromapで演劇を上演する
2023/05/11 Node-RED Parkの登壇資料です。
https://enebular.connpass.com/event/278184/
yskmjp
May 11, 2023
Tweet
Share
More Decks by yskmjp
See All by yskmjp
ChatGPT x Node-RED x toioでダンスさせたい
yskmjp
0
170
enebular x ChatGPT演劇 アップデート
yskmjp
0
100
ChatGPT演劇システム
yskmjp
0
37
呼び込み君クラウド化計画 enebular x obniz 編
yskmjp
0
430
光る野良ねこバッジ作ってみた2
yskmjp
0
410
光る野良ねこバッジ作ってみた
yskmjp
0
510
TouchDesigner+M5StickC をつなげてみた
yskmjp
1
1k
オムロン非接触温度センサ & enebularで 超簡易サーモグラフィ
yskmjp
1
1.2k
enebularでクリスマスツリーを光らせてみた
yskmjp
1
1.1k
Featured
See All Featured
How to Think Like a Performance Engineer
csswizardry
16
1k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
355
29k
No one is an island. Learnings from fostering a developers community.
thoeni
19
2.9k
Facilitating Awesome Meetings
lara
49
6k
Building Adaptive Systems
keathley
37
2.1k
What the flash - Photography Introduction
edds
67
11k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.8k
Building Your Own Lightsaber
phodgson
102
6k
Web Components: a chance to create the future
zenorocha
310
42k
Fireside Chat
paigeccino
32
2.9k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
2
220
Transcript
Node-RED x ChatGPT x Koeiromap で演劇を上演する まつした@野良ハック 2023/5/11 Node-RED
Park
・野良ハックチーム → 趣味の電子工作 ・エレクトロニコス・ファンタスティコス → 古い家電を楽器として再生 自己紹介 まつした Twitter: @yskmjp
演劇を観るのが好きなので、 ChatGPTが無限に演劇を 生成してくれれば 一生楽しめるのでは? ( ChatGPT x 演劇
• 作(劇作家)ー 戯曲を書く • 演出(演出家)ー 舞台上の演出をする • 出演(俳優)ー 役を演じる •
舞台監督 ー 舞台上での進行管理 • 美術 ー 舞台上の美術、小道具 • 照明 ー 舞台上の照明 • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上の音響 • 音楽 ー 上演で利用する音楽の作成・演奏 • 企画 ー 上演作品の企画 • 制作 ー 上演に向けての進行管理 ( 演劇の役割一覧 全てを自動化 したい!
• 作(劇作家)ー 戯曲を書く(ChatGPT) • 演出(演出家)ー 舞台上の演出をする(ChatGPT) • 出演(俳優)ー 役を演じる(Koeiromap) •
舞台監督 ー 舞台上での進行管理 • 美術 ー 舞台上の美術、小道具 • 照明 ー 舞台上の照明(M5 Atom Lite + NeoPixel LED) • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上の音響 • 音楽 ー 上演で利用する音楽の作成・演奏 • 企画 ー 上演作品の企画 • 制作 ー 上演に向けての進行管理 ( 演劇の役割一覧 今回はここまでシ ステム化!
システム構成 ChatGPT Koeiromap ①台本のテーマ をインプット ②台本作成依頼 台本のテーマ 台本のルール - 登場人物の人数
- セリフの行数 - 出力フォーマット ③上演台本 - セリフ - 声質 - 感情指示 - 照明指示 ④音声合成 - セリフ - 声質 - 感情指示 ⑤音声 - 音声ファイル - 音素数 ⑥上演 - セリフ音読 Node-RED Dashboard ⑦上演 - 照明表示
上演のデモ!
None
Node-RED/enebular 音声合成 KoeiromapのAPIにセリフを渡してwav ファイル取得 セリフの間の調整、音声再生 音素数に応じたセリフの間を調整 台本作成 速度優先でsimple-chatgptを利用 GPT-4を使うならcustom-chatgpt 照明情報
照明情報をMQTT連携
Node-RED Dashboard テーマを入力 ルール設定 台本、音声出力 照明 ダッシュボードに情報を表示
劇作家としてのChatGPT テーマを入力 ルール設定 出力フォーマット 戯曲を作成
戯曲作成の課題① 話の意味が不明… ハナコ:今日は何を作ってるの? ケンジ:猫型ロボットを作ってる ハナコ:猫型ロボットって何? ケンジ:イチゴを運ぶのが得意だ ハナコ:えっ、イチゴを運ぶの? ケンジ:うん、猫の手が器用だから ハナコ:でも猫はイチゴ嫌い? ケンジ:そうだけど、ロボットだよ
ハナコ:じゃあイチゴ狩りに行こ? ケンジ:いいね!でも実はこの猫、いちご よりも魚を運ぶのが得意なんだ!
戯曲作成の課題② 出力フォーマットが安定しない 出力フォーマットに無い 【オチ】の行を勝手に追加 …
演出家としてのChatGPT セリフに対して、声質、感情、照明を指定 役名 → ハナコ 声質 → 1.9(プラスは女性声) 感情 → 驚き セリフ → 猫型ロボットって何? 照明 → #FFB6C1(ピンク)
俳優としてのChatGPT セリフ、声質、感情をもとに Koeiromapで音声合 成 声質 → 1.9(プラスは女性声) 感情 → 驚き セリフ → 猫型ロボットって何?
Koeiromap
入力パラメー タ 説明 利用方法 text 合成したい文章を日本語で入力 台本のセリフを入力 speaker_y Koeiromap空間上の値。有効範囲は `[-3.0,
3.0]` Y軸のプラス側が女性、マイナス側が男性声 登場人物の男女イメージを数値化 style 音声の感情スタイル。スタイルは全部で 6通り`"talk", "happy", "sad", "angry", "fear", "surprised"` セリフの感情を入力 出力パラメー タ 説明 利用方法 audio base64エンコードされたwav形式の音声データ 役者の代わりにセリフを上演 phonemes 入力テキストの音素列 次のセリフに移る際の間の参考に利用 Koeiromapのパラメータ
照明としてのChatGPT 今回はNoePixelのLEDを照明として、指定された色 を表示 → 照明をやらせるには色々と課題が …
照明の課題① 照明や美術を指定するには、セリフに対して シーン①:公園 シーン②:家の中 のようなグルーピングをして、そこに照明や美術の 指示が必要
照明の課題② ChatGPT 照明指示 (MQTT) DMX MQTT経由のUIFlowでNeoPixelのLEDを制御 (本当はNode-RED MCUでLED制御したかった…) 将来的にはDMX経由で照明機器を制御したい NeoPixel
• 作(劇作家)ー 戯曲を書く → 「面白い」戯曲作成 • 演出(演出家)ー 舞台上の演出をする → 細やかな演出指導 • 出演(俳優)ー 役を演じる → ロボット活用、動作の自動生成 •
舞台監督 ー 舞台上での進行管理 → 舞台上の全体を自動制御 • 美術 ー 舞台上の美術、小道具 → 背景画像の自動生成 • 照明 ー 舞台上の照明 → 照明の自動制御 • 衣装 ー 上演で利用する衣装 → 衣装のデザイン生成 • 音響 ー 舞台上の音響 → 効果音自動生成 • 音楽 ー 上演で利用する音楽の作成・演奏 → 劇伴自動生成 • 企画 ー 上演作品の企画 → 物語のテーマ企画 • 制作 ー 上演に向けての進行管理→ タスク管理 ( 今後やりたいこと すべての役割をAIに置き換えて完全自動上演を目指したい!
EOF