Slide 1

Slide 1 text


 Node-RED x
 ChatGPT x Koeiromap
 で演劇を上演する
 まつした@野良ハック
 2023/5/11 Node-RED Park


Slide 2

Slide 2 text

・野良ハックチーム  → 趣味の電子工作 ・エレクトロニコス・ファンタスティコス  → 古い家電を楽器として再生 自己紹介
 まつした Twitter: @yskmjp

Slide 3

Slide 3 text

演劇を観るのが好きなので、 ChatGPTが無限に演劇を 生成してくれれば 一生楽しめるのでは? ( ChatGPT x 演劇


Slide 4

Slide 4 text

● 作(劇作家)ー 戯曲を書く ● 演出(演出家)ー 舞台上の演出をする ● 出演(俳優)ー 役を演じる ● 舞台監督 ー 舞台上での進行管理 ● 美術 ー 舞台上の美術、小道具 ● 照明 ー 舞台上の照明 ● 衣装 ー 上演で利用する衣装 ● 音響 ー 舞台上の音響 ● 音楽 ー 上演で利用する音楽の作成・演奏 ● 企画 ー 上演作品の企画 ● 制作 ー 上演に向けての進行管理 ( 演劇の役割一覧
 全てを自動化 したい!

Slide 5

Slide 5 text

● 作(劇作家)ー 戯曲を書く(ChatGPT) ● 演出(演出家)ー 舞台上の演出をする(ChatGPT) ● 出演(俳優)ー 役を演じる(Koeiromap) ● 舞台監督 ー 舞台上での進行管理 ● 美術 ー 舞台上の美術、小道具 ● 照明 ー 舞台上の照明(M5 Atom Lite + NeoPixel LED) ● 衣装 ー 上演で利用する衣装 ● 音響 ー 舞台上の音響 ● 音楽 ー 上演で利用する音楽の作成・演奏 ● 企画 ー 上演作品の企画 ● 制作 ー 上演に向けての進行管理 ( 演劇の役割一覧
 今回はここまでシ ステム化!

Slide 6

Slide 6 text

システム構成
 ChatGPT Koeiromap ①台本のテーマ をインプット ②台本作成依頼 台本のテーマ 台本のルール - 登場人物の人数 - セリフの行数 - 出力フォーマット ③上演台本 - セリフ - 声質 - 感情指示 - 照明指示 ④音声合成 - セリフ - 声質 - 感情指示 ⑤音声 - 音声ファイル - 音素数 ⑥上演 - セリフ音読 Node-RED Dashboard ⑦上演 - 照明表示

Slide 7

Slide 7 text

上演のデモ!

Slide 8

Slide 8 text

No content

Slide 9

Slide 9 text

Node-RED/enebular
 音声合成 KoeiromapのAPIにセリフを渡してwav ファイル取得 セリフの間の調整、音声再生 音素数に応じたセリフの間を調整 台本作成 速度優先でsimple-chatgptを利用 GPT-4を使うならcustom-chatgpt 照明情報 照明情報をMQTT連携

Slide 10

Slide 10 text

Node-RED Dashboard
 テーマを入力 ルール設定 台本、音声出力 照明 ダッシュボードに情報を表示

Slide 11

Slide 11 text

劇作家としてのChatGPT
 テーマを入力 ルール設定 出力フォーマット 戯曲を作成

Slide 12

Slide 12 text

戯曲作成の課題①
 話の意味が不明… ハナコ:今日は何を作ってるの? ケンジ:猫型ロボットを作ってる ハナコ:猫型ロボットって何? ケンジ:イチゴを運ぶのが得意だ ハナコ:えっ、イチゴを運ぶの? ケンジ:うん、猫の手が器用だから ハナコ:でも猫はイチゴ嫌い? ケンジ:そうだけど、ロボットだよ ハナコ:じゃあイチゴ狩りに行こ? ケンジ:いいね!でも実はこの猫、いちご よりも魚を運ぶのが得意なんだ!

Slide 13

Slide 13 text

戯曲作成の課題②
 出力フォーマットが安定しない 出力フォーマットに無い 【オチ】の行を勝手に追加 …

Slide 14

Slide 14 text

演出家としてのChatGPT
 セリフに対して、声質、感情、照明を指定 役名  → ハナコ 声質  → 1.9(プラスは女性声) 感情  → 驚き セリフ → 猫型ロボットって何? 照明  → #FFB6C1(ピンク)

Slide 15

Slide 15 text

俳優としてのChatGPT
 セリフ、声質、感情をもとに Koeiromapで音声合 成 声質  → 1.9(プラスは女性声) 感情  → 驚き セリフ → 猫型ロボットって何?

Slide 16

Slide 16 text

Koeiromap


Slide 17

Slide 17 text

入力パラメー タ 説明 利用方法 text 合成したい文章を日本語で入力 台本のセリフを入力 speaker_y Koeiromap空間上の値。有効範囲は `[-3.0, 3.0]` Y軸のプラス側が女性、マイナス側が男性声 登場人物の男女イメージを数値化 style 音声の感情スタイル。スタイルは全部で 6通り`"talk", "happy", "sad", "angry", "fear", "surprised"` セリフの感情を入力 出力パラメー タ 説明 利用方法 audio base64エンコードされたwav形式の音声データ 役者の代わりにセリフを上演 phonemes 入力テキストの音素列 次のセリフに移る際の間の参考に利用 Koeiromapのパラメータ


Slide 18

Slide 18 text

照明としてのChatGPT
 今回はNoePixelのLEDを照明として、指定された色 を表示 → 照明をやらせるには色々と課題が …

Slide 19

Slide 19 text

照明の課題①
 照明や美術を指定するには、セリフに対して シーン①:公園 シーン②:家の中 のようなグルーピングをして、そこに照明や美術の 指示が必要

Slide 20

Slide 20 text

照明の課題②
 ChatGPT 照明指示 (MQTT) DMX MQTT経由のUIFlowでNeoPixelのLEDを制御 (本当はNode-RED MCUでLED制御したかった…) 将来的にはDMX経由で照明機器を制御したい NeoPixel

Slide 21

Slide 21 text

● 作(劇作家)ー 戯曲を書く      → 「面白い」戯曲作成 ● 演出(演出家)ー 舞台上の演出をする  → 細やかな演出指導 ● 出演(俳優)ー 役を演じる   → ロボット活用、動作の自動生成 ● 舞台監督 ー 舞台上での進行管理  → 舞台上の全体を自動制御 ● 美術 ー 舞台上の美術、小道具 → 背景画像の自動生成 ● 照明 ー 舞台上の照明     → 照明の自動制御 ● 衣装 ー 上演で利用する衣装  → 衣装のデザイン生成 ● 音響 ー 舞台上の音響     → 効果音自動生成 ● 音楽 ー 上演で利用する音楽の作成・演奏 → 劇伴自動生成 ● 企画 ー 上演作品の企画    → 物語のテーマ企画 ● 制作 ー 上演に向けての進行管理→ タスク管理 ( 今後やりたいこと
 すべての役割をAIに置き換えて完全自動上演を目指したい!

Slide 22

Slide 22 text

EOF