enebular x ChatGPT演劇 アップデート

2023/12/12 enebular meetupの登壇資料です。
https://enebular.connpass.com/event/303475/

Transcript

1. 
 enebular x ChatGPT演劇
 アップデート
 まつした＠野良ハック
 2023/12/12 enebular meetup

2. ・野良ハックチーム 　→ 趣味の電子工作 ・エレクトロニコス・ファンタスティコス 　→ 古い家電を楽器として再生 自己紹介
 まつした Twitter: @yskmjp
3. ヒーローズリーグ２０２３
 enebular賞 ありがとうございます！
4. 演劇を観るのが好きなので、 ChatGPTが無限に演劇を 生成してくれれば 一生楽しめるのでは？ （ ChatGPT x 演劇

5. 上演のデモ！
7. • 作（劇作家）ー 戯曲を書く • 演出（演出家）ー 舞台上の演出をする • 出演（俳優）ー 役を演じる • 舞台監督　ー 舞台上での進行管理 • 美術　ー 舞台上の美術、小道具 • 照明　ー 舞台上の照明 • 衣装　ー 上演で利用する衣装 • 音響　ー 舞台上の音響 • 音楽　ー 上演で利用する音楽の作成・演奏 • 企画　ー 上演作品の企画 • 制作　ー 上演に向けての進行管理 （ 演劇の役割
 全てを 自動化したい！
8. • 作（劇作家）ー 戯曲を書く（ChatGPT） • 演出（演出家）ー 舞台上の演出をする（ChatGPT） • 出演（俳優）ー 役を演じる（Koeiromap） • 舞台監督　ー 舞台上での進行管理 • 美術　ー 舞台上の美術、小道具（DALL-E） • 照明　ー 舞台上の照明（M5 Atom Lite + NeoPixel LED） • 衣装　ー 上演で利用する衣装 • 音響　ー 舞台上の音響 • 音楽　ー 上演で利用する音楽の作成・演奏 • 企画　ー 上演作品の企画 • 制作　ー 上演に向けての進行管理 （ 演劇の役割
 今はここまで
9. システム構成
 ChatGPT Koeiromap DALL-E ①台本のお題を インプット ③音声合成 ・セリフ、声質、感情をイン プット ・音声ファイル、音素数をアウ トプット ②台本作成 ・お題、ルール（行数、フォー マット）をインプット ・台本（セリフ、声質、感情、照 明）をアウトプット ④舞台美術 ・お題とプロンプトをインプット ・画像ファイルをアウトプット ⑥上演（照明） ・照明を表示 Node-RED Dashboard ⑤上演（会話） ・セリフを再生 ・台本、美術を表示
10. Node-RED/enebular
 ①台本作成 お題＋プロンプトをChatGPTへ ②音声合成 台本をJSON変換、Koeriromap APIへ ③セリフをしゃべる base64を復号、音素数で間を調整 ⑤照明の色を制御 台本で指定された色をMQTTに連携 ④舞台美術を生成 お題からDALL-Eで舞台美術を生成 enebularで全体を制御
11. 台本作成のプロンプト
 プロンプトで以下を指定 ・お題 ・登場人物 ・会話の行数 ・セリフの最大文字数 ・声質のパラメータ種類 ・感情のパラメータ種類 ・照明のパラメータ種類 ・台本フォーマット
12. 入力パラメー タ 説明 利用方法 text 合成したい文章を日本語で入力 台本のセリフを入力 speaker_y Koeiromap空間上の値。有効範囲は `[-3.0, 3.0]` Y軸のプラス側が女性、マイナス側が男性声 登場人物の男女イメージを数値化 style 音声の感情スタイル。スタイルは全部で 7通り"talk", "happy", "sad", ( "angry", "fear", "surprised",”whisper” ※有料版の み) セリフの感情を指定 出力パラメー タ 説明 利用方法 audio base64エンコードされたwav形式の音声データ 役者の代わりにセリフを上演 phonemes 入力テキストの音素列 次のセリフに移る際の間の参考に利用 Koeiromapのパラメータ
 感情指定できるTTSを選ぶとChatGPTに演 出させる（感情指定させる）ことが可能
13. ChatGPT演劇の2023年
 02/19 note記事を書く 「ChatGPTで演劇の上演台本を作るメモ」 ChatGPTで台本作成の実験 WebUIを利用 04/12-14 ChatGPTオンラインハッカソン オーディエンス賞 台本を音声合成で上演 enebularでプロトタイプ作成 05/11 NodeRed Park　LT 内部の仕組みをLT 10/14-15 11/05 Maker Fare Tokyo NT東京 物理的な舞台とキャラで上演 お題をボタン選択式に 12/01 ヒーローズリーグ2023 enebular賞 ハロウィンバージョンで応募 12/12 enebular meetup 最新状況の報告
14. 今後やりたいこと
 • 作（劇作家）ー 戯曲を書く • 演出（演出家）ー 舞台上の演出をする • 出演（俳優）ー 役を演じる • 舞台監督　ー 舞台上での進行管理 • 美術　ー 舞台上の美術、小道具 • 照明　ー 舞台上の照明 • 衣装　ー 上演で利用する衣装 • 音響　ー 舞台上の音響 • 音楽　ー 上演で利用する音楽の作成・演奏 • 企画　ー 上演作品の企画 • 制作　ー 上演に向けての進行管理 物理的な舞台を作ったので、 動きをChatGPTに演出してほしい
15. 一般的なAIとの 会話の方法 ChatGPTで会話を作る
 AI 人間 会話 ChatGPT演劇 の方法 AI 台本 音声合成 会話っぽいもの 音声合成 学習 データ 学習 データ 人間
16. 一般的なAIでの 動きの作り方 ChatGPTで動きを作る
 ChatGPT演劇での 動きの作り方 AI 舞踊譜 モーション 生成 動きっぽいもの モーション 生成 AI 人間 学習 データ 動き 学習 データ 人間 指示
17. （ ChatGPT舞踊譜
 林夏木 2022「舞踊記譜法の論点と課題」 ダンスの舞踊譜 ラバノーテーション Microsoft Applied Robotics Research Library ラバノーテーションの JSONフォーマットGitHubで公開 舞踊譜のフォーマット化は 論文では多数研究あり
18. （ ChatGPT舞踊譜
 身体企画ユニット ヨハク 「スクランブル交差点」 エクセル舞踊譜 作れるかも？
19. （ 今後やりたいこと
 すべての役割をAIに置き換えて完全自動上演を目指したい！ • 作（劇作家）ー 戯曲を書く • 演出（演出家）ー 舞台上の演出をする • 出演（俳優）ー 役を演じる • 舞台監督　ー 舞台上での進行管理 • 美術　ー 舞台上の美術、小道具 • 照明　ー 舞台上の照明 • 衣装　ー 上演で利用する衣装 • 音響　ー 舞台上の音響 • 音楽　ー 上演で利用する音楽の作成・演奏 • 企画　ー 上演作品の企画 • 制作　ー 上演に向けての進行管理
20. ありがとうございました！