Node-RED x ChatGPT x Koeiromapで演劇を上演する

2023/05/11 Node-RED Parkの登壇資料です。
https://enebular.connpass.com/event/278184/

1. 
 Node-RED x
 ChatGPT x Koeiromap
 で演劇を上演する
 まつした＠野良ハック
 2023/5/11 Node-RED Park

2. ・野良ハックチーム 　→ 趣味の電子工作 ・エレクトロニコス・ファンタスティコス 　→ 古い家電を楽器として再生 自己紹介
 まつした Twitter: @yskmjp
3. 演劇を観るのが好きなので、 ChatGPTが無限に演劇を 生成してくれれば 一生楽しめるのでは？ （ ChatGPT x 演劇

4. • 作（劇作家）ー 戯曲を書く • 演出（演出家）ー 舞台上の演出をする • 出演（俳優）ー 役を演じる • 舞台監督　ー 舞台上での進行管理 • 美術　ー 舞台上の美術、小道具 • 照明　ー 舞台上の照明 • 衣装　ー 上演で利用する衣装 • 音響　ー 舞台上の音響 • 音楽　ー 上演で利用する音楽の作成・演奏 • 企画　ー 上演作品の企画 • 制作　ー 上演に向けての進行管理 （ 演劇の役割一覧
 全てを自動化 したい！
5. • 作（劇作家）ー 戯曲を書く（ChatGPT） • 演出（演出家）ー 舞台上の演出をする（ChatGPT） • 出演（俳優）ー 役を演じる（Koeiromap） • 舞台監督　ー 舞台上での進行管理 • 美術　ー 舞台上の美術、小道具 • 照明　ー 舞台上の照明（M5 Atom Lite + NeoPixel LED） • 衣装　ー 上演で利用する衣装 • 音響　ー 舞台上の音響 • 音楽　ー 上演で利用する音楽の作成・演奏 • 企画　ー 上演作品の企画 • 制作　ー 上演に向けての進行管理 （ 演劇の役割一覧
 今回はここまでシ ステム化！
6. システム構成
 ChatGPT Koeiromap ①台本のテーマ をインプット ②台本作成依頼 台本のテーマ 台本のルール - 登場人物の人数 - セリフの行数 - 出力フォーマット ③上演台本 - セリフ - 声質 - 感情指示 - 照明指示 ④音声合成 - セリフ - 声質 - 感情指示 ⑤音声 - 音声ファイル - 音素数 ⑥上演 - セリフ音読 Node-RED Dashboard ⑦上演 - 照明表示
7. 上演のデモ！
9. Node-RED/enebular
 音声合成 KoeiromapのAPIにセリフを渡してwav ファイル取得 セリフの間の調整、音声再生 音素数に応じたセリフの間を調整 台本作成 速度優先でsimple-chatgptを利用 GPT-4を使うならcustom-chatgpt 照明情報 照明情報をMQTT連携
10. Node-RED Dashboard
 テーマを入力 ルール設定 台本、音声出力 照明 ダッシュボードに情報を表示
11. 劇作家としてのChatGPT
 テーマを入力 ルール設定 出力フォーマット 戯曲を作成
12. 戯曲作成の課題①
 話の意味が不明… ハナコ：今日は何を作ってるの？ ケンジ：猫型ロボットを作ってる ハナコ：猫型ロボットって何？ ケンジ：イチゴを運ぶのが得意だ ハナコ：えっ、イチゴを運ぶの？ ケンジ：うん、猫の手が器用だから ハナコ：でも猫はイチゴ嫌い？ ケンジ：そうだけど、ロボットだよ ハナコ：じゃあイチゴ狩りに行こ？ ケンジ：いいね！でも実はこの猫、いちご よりも魚を運ぶのが得意なんだ！
13. 戯曲作成の課題②
 出力フォーマットが安定しない 出力フォーマットに無い 【オチ】の行を勝手に追加 …
14. 演出家としてのChatGPT
 セリフに対して、声質、感情、照明を指定 役名　　→　ハナコ 声質　　→　1.9（プラスは女性声） 感情　　→　驚き セリフ　→　猫型ロボットって何？ 照明　　→　#FFB6C1（ピンク）
15. 俳優としてのChatGPT
 セリフ、声質、感情をもとに Koeiromapで音声合 成 声質　　→　1.9（プラスは女性声） 感情　　→　驚き セリフ　→　猫型ロボットって何？
16. Koeiromap

17. 入力パラメー タ 説明 利用方法 text 合成したい文章を日本語で入力 台本のセリフを入力 speaker_y Koeiromap空間上の値。有効範囲は `[-3.0, 3.0]` Y軸のプラス側が女性、マイナス側が男性声 登場人物の男女イメージを数値化 style 音声の感情スタイル。スタイルは全部で 6通り`"talk", "happy", "sad", "angry", "fear", "surprised"` セリフの感情を入力 出力パラメー タ 説明 利用方法 audio base64エンコードされたwav形式の音声データ 役者の代わりにセリフを上演 phonemes 入力テキストの音素列 次のセリフに移る際の間の参考に利用 Koeiromapのパラメータ

18. 照明としてのChatGPT
 今回はNoePixelのLEDを照明として、指定された色 を表示 →　照明をやらせるには色々と課題が …
19. 照明の課題①
 照明や美術を指定するには、セリフに対して シーン①：公園 シーン②：家の中 のようなグルーピングをして、そこに照明や美術の 指示が必要
20. 照明の課題②
 ChatGPT 照明指示 (MQTT) DMX MQTT経由のUIFlowでNeoPixelのLEDを制御 （本当はNode-RED MCUでLED制御したかった…） 将来的にはDMX経由で照明機器を制御したい NeoPixel
21. • 作（劇作家）ー 戯曲を書く　　　　　　→　「面白い」戯曲作成 • 演出（演出家）ー 舞台上の演出をする　　→　細やかな演出指導 • 出演（俳優）ー 役を演じる　　　→　ロボット活用、動作の自動生成 • 舞台監督　ー 舞台上での進行管理　　→　舞台上の全体を自動制御 • 美術　ー 舞台上の美術、小道具　→　背景画像の自動生成 • 照明　ー 舞台上の照明　　　　　→　照明の自動制御 • 衣装　ー 上演で利用する衣装　　→　衣装のデザイン生成 • 音響　ー 舞台上の音響　　　　　→　効果音自動生成 • 音楽　ー 上演で利用する音楽の作成・演奏　→　劇伴自動生成 • 企画　ー 上演作品の企画　　　　→　物語のテーマ企画 • 制作　ー 上演に向けての進行管理→　タスク管理 （ 今後やりたいこと
 すべての役割をAIに置き換えて完全自動上演を目指したい！
22. EOF