Upgrade to Pro — share decks privately, control downloads, hide ads and more …

enebular x ChatGPT演劇 アップデート

yskmjp
December 12, 2023
100

enebular x ChatGPT演劇 アップデート

2023/12/12 enebular meetupの登壇資料です。
https://enebular.connpass.com/event/303475/

yskmjp

December 12, 2023
Tweet

Transcript

  1. • 作(劇作家)ー 戯曲を書く • 演出(演出家)ー 舞台上の演出をする • 出演(俳優)ー 役を演じる •

    舞台監督 ー 舞台上での進行管理 • 美術 ー 舞台上の美術、小道具 • 照明 ー 舞台上の照明 • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上の音響 • 音楽 ー 上演で利用する音楽の作成・演奏 • 企画 ー 上演作品の企画 • 制作 ー 上演に向けての進行管理 ( 演劇の役割
 全てを 自動化したい!
  2. • 作(劇作家)ー 戯曲を書く(ChatGPT) • 演出(演出家)ー 舞台上の演出をする(ChatGPT) • 出演(俳優)ー 役を演じる(Koeiromap) •

    舞台監督 ー 舞台上での進行管理 • 美術 ー 舞台上の美術、小道具(DALL-E) • 照明 ー 舞台上の照明(M5 Atom Lite + NeoPixel LED) • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上の音響 • 音楽 ー 上演で利用する音楽の作成・演奏 • 企画 ー 上演作品の企画 • 制作 ー 上演に向けての進行管理 ( 演劇の役割
 今はここまで
  3. システム構成
 ChatGPT Koeiromap DALL-E ①台本のお題を インプット ③音声合成 ・セリフ、声質、感情をイン プット ・音声ファイル、音素数をアウ

    トプット ②台本作成 ・お題、ルール(行数、フォー マット)をインプット ・台本(セリフ、声質、感情、照 明)をアウトプット ④舞台美術 ・お題とプロンプトをインプット ・画像ファイルをアウトプット ⑥上演(照明) ・照明を表示 Node-RED Dashboard ⑤上演(会話) ・セリフを再生 ・台本、美術を表示
  4. 入力パラメー タ 説明 利用方法 text 合成したい文章を日本語で入力 台本のセリフを入力 speaker_y Koeiromap空間上の値。有効範囲は `[-3.0,

    3.0]` Y軸のプラス側が女性、マイナス側が男性声 登場人物の男女イメージを数値化 style 音声の感情スタイル。スタイルは全部で 7通り"talk", "happy", "sad", ( "angry", "fear", "surprised",”whisper” ※有料版の み) セリフの感情を指定 出力パラメー タ 説明 利用方法 audio base64エンコードされたwav形式の音声データ 役者の代わりにセリフを上演 phonemes 入力テキストの音素列 次のセリフに移る際の間の参考に利用 Koeiromapのパラメータ
 感情指定できるTTSを選ぶとChatGPTに演 出させる(感情指定させる)ことが可能
  5. ChatGPT演劇の2023年
 02/19 note記事を書く 「ChatGPTで演劇の上演台本を作るメモ」 ChatGPTで台本作成の実験 WebUIを利用 04/12-14 ChatGPTオンラインハッカソン オーディエンス賞 台本を音声合成で上演

    enebularでプロトタイプ作成 05/11 NodeRed Park LT 内部の仕組みをLT 10/14-15 11/05 Maker Fare Tokyo NT東京 物理的な舞台とキャラで上演 お題をボタン選択式に 12/01 ヒーローズリーグ2023 enebular賞 ハロウィンバージョンで応募 12/12 enebular meetup 最新状況の報告
  6. 今後やりたいこと
 • 作(劇作家)ー 戯曲を書く • 演出(演出家)ー 舞台上の演出をする • 出演(俳優)ー 役を演じる

    • 舞台監督 ー 舞台上での進行管理 • 美術 ー 舞台上の美術、小道具 • 照明 ー 舞台上の照明 • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上の音響 • 音楽 ー 上演で利用する音楽の作成・演奏 • 企画 ー 上演作品の企画 • 制作 ー 上演に向けての進行管理 物理的な舞台を作ったので、 動きをChatGPTに演出してほしい
  7. 一般的なAIとの 会話の方法 ChatGPTで会話を作る
 AI 人間 会話 ChatGPT演劇 の方法 AI 台本

    音声合成 会話っぽいもの 音声合成 学習 データ 学習 データ 人間
  8. ( ChatGPT舞踊譜
 林夏木 2022「舞踊記譜法の論点と課題」 ダンスの舞踊譜 ラバノーテーション Microsoft Applied Robotics Research

    Library ラバノーテーションの JSONフォーマットGitHubで公開 舞踊譜のフォーマット化は 論文では多数研究あり
  9. ( 今後やりたいこと
 すべての役割をAIに置き換えて完全自動上演を目指したい! • 作(劇作家)ー 戯曲を書く • 演出(演出家)ー 舞台上の演出をする •

    出演(俳優)ー 役を演じる • 舞台監督 ー 舞台上での進行管理 • 美術 ー 舞台上の美術、小道具 • 照明 ー 舞台上の照明 • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上の音響 • 音楽 ー 上演で利用する音楽の作成・演奏 • 企画 ー 上演作品の企画 • 制作 ー 上演に向けての進行管理