Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Node-RED x ChatGPT x Koeiromapで演劇を上演する

yskmjp
May 11, 2023
290

Node-RED x ChatGPT x Koeiromapで演劇を上演する

2023/05/11 Node-RED Parkの登壇資料です。
https://enebular.connpass.com/event/278184/

yskmjp

May 11, 2023
Tweet

Transcript

  1. • 作(劇作家)ー 戯曲を書く • 演出(演出家)ー 舞台上の演出をする • 出演(俳優)ー 役を演じる •

    舞台監督 ー 舞台上での進行管理 • 美術 ー 舞台上の美術、小道具 • 照明 ー 舞台上の照明 • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上の音響 • 音楽 ー 上演で利用する音楽の作成・演奏 • 企画 ー 上演作品の企画 • 制作 ー 上演に向けての進行管理 ( 演劇の役割一覧
 全てを自動化 したい!
  2. • 作(劇作家)ー 戯曲を書く(ChatGPT) • 演出(演出家)ー 舞台上の演出をする(ChatGPT) • 出演(俳優)ー 役を演じる(Koeiromap) •

    舞台監督 ー 舞台上での進行管理 • 美術 ー 舞台上の美術、小道具 • 照明 ー 舞台上の照明(M5 Atom Lite + NeoPixel LED) • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上の音響 • 音楽 ー 上演で利用する音楽の作成・演奏 • 企画 ー 上演作品の企画 • 制作 ー 上演に向けての進行管理 ( 演劇の役割一覧
 今回はここまでシ ステム化!
  3. システム構成
 ChatGPT Koeiromap ①台本のテーマ をインプット ②台本作成依頼 台本のテーマ 台本のルール - 登場人物の人数

    - セリフの行数 - 出力フォーマット ③上演台本 - セリフ - 声質 - 感情指示 - 照明指示 ④音声合成 - セリフ - 声質 - 感情指示 ⑤音声 - 音声ファイル - 音素数 ⑥上演 - セリフ音読 Node-RED Dashboard ⑦上演 - 照明表示
  4. 入力パラメー タ 説明 利用方法 text 合成したい文章を日本語で入力 台本のセリフを入力 speaker_y Koeiromap空間上の値。有効範囲は `[-3.0,

    3.0]` Y軸のプラス側が女性、マイナス側が男性声 登場人物の男女イメージを数値化 style 音声の感情スタイル。スタイルは全部で 6通り`"talk", "happy", "sad", "angry", "fear", "surprised"` セリフの感情を入力 出力パラメー タ 説明 利用方法 audio base64エンコードされたwav形式の音声データ 役者の代わりにセリフを上演 phonemes 入力テキストの音素列 次のセリフに移る際の間の参考に利用 Koeiromapのパラメータ

  5. • 作(劇作家)ー 戯曲を書く      → 「面白い」戯曲作成 • 演出(演出家)ー 舞台上の演出をする  → 細やかな演出指導 • 出演(俳優)ー 役を演じる   → ロボット活用、動作の自動生成 •

    舞台監督 ー 舞台上での進行管理  → 舞台上の全体を自動制御 • 美術 ー 舞台上の美術、小道具 → 背景画像の自動生成 • 照明 ー 舞台上の照明     → 照明の自動制御 • 衣装 ー 上演で利用する衣装  → 衣装のデザイン生成 • 音響 ー 舞台上の音響     → 効果音自動生成 • 音楽 ー 上演で利用する音楽の作成・演奏 → 劇伴自動生成 • 企画 ー 上演作品の企画    → 物語のテーマ企画 • 制作 ー 上演に向けての進行管理→ タスク管理 ( 今後やりたいこと
 すべての役割をAIに置き換えて完全自動上演を目指したい!
  6. EOF