ChatGPT演劇システム

2023/04/22 ChatGPTハッカソンで発表した際の資料です。
https://mashupawards.connpass.com/event/278212/

Transcript

1. 
 Node-RED x ChatGPT
 で演劇を上演する
 まつした＠ロボットサンドボックス
 2023/4/22 ChatGPTハッカソン

2. 演劇を観るのが好きなので、 ChatGPTが無限に演劇を 生成してくれれば 一生楽しめるのでは？ （ ChatGPT x 演劇

3. • 作（劇作家）ー 戯曲を書く • 演出（演出家）ー 舞台上の演出をする • 出演（俳優）ー 役を演じる • 舞台監督　ー 舞台上での進行管理 • 美術　ー 舞台上の美術、小道具 • 照明　ー 舞台上の照明 • 衣装　ー 上演で利用する衣装 • 音響　ー 舞台上の音響 • 音楽　ー 上演で利用する音楽の作成・演奏 • 企画　ー 上演作品の企画 • 制作　ー 上演に向けての進行管理 （ 演劇の役割一覧
 全てを自動化 したい！
4. • 作（劇作家）ー 戯曲を書く • 演出（演出家）ー 舞台上の演出をする • 出演（俳優）ー 役を演じる • 舞台監督　ー 舞台上での進行管理 • 美術　ー 舞台上の美術、小道具 • 照明　ー 舞台上の照明 • 衣装　ー 上演で利用する衣装 • 音響　ー 舞台上の音響 • 音楽　ー 上演で利用する音楽の作成・演奏 • 企画　ー 上演作品の企画 • 制作　ー 上演に向けての進行管理 （ 演劇の役割一覧
 今回はここまでシ ステム化！
5. システム構成
 ChatGPT Koeiromap ①台本のテーマ をインプット ②台本作成依頼 台本のテーマ 台本のルール - 登場人物の人数 - セリフの行数 - 出力フォーマット ③上演台本 - セリフ - 声質 - 感情指示 - 照明指示 ④音声合成 - セリフ - 声質 - 感情指示 ⑤音声 - 音声ファイル - 音素数 ⑥上演 - セリフ音読 - 照明表示 Node-RED Dashboard
6. 上演のデモ！
8. Node-RED/enebular
 台本作成 GPT-4が使える custom-chatgptを利用 音声合成 KoeiromapのAPIにセリフを 渡してwavファイル取得 テーマを入力 ルール設定 台本、音声出力 照明 セリフの間 音素数に応じたセリフの間を 調整
9. 劇作家としてのChatGPT
 テーマを入力 ルール設定 出力フォーマット 戯曲を作成
10. 戯曲作成の課題①
 話の意味が不明… ハナコ：今日は何を作ってるの？ ケンジ：猫型ロボットを作ってる ハナコ：猫型ロボットって何？ ケンジ：イチゴを運ぶのが得意だ ハナコ：えっ、イチゴを運ぶの？ ケンジ：うん、猫の手が器用だから ハナコ：でも猫はイチゴ嫌い？ ケンジ：そうだけど、ロボットだよ ハナコ：じゃあイチゴ狩りに行こ？ ケンジ：いいね！でも実はこの猫、いちご よりも魚を運ぶのが得意なんだ！
11. 戯曲作成の課題②
 出力フォーマットが安定しない 出力フォーマットに無い 【オチ】の行を勝手に追加 …
12. 演出家としてのChatGPT
 セリフに対して、声質、感情、照明を指定 役名　　→　ハナコ 声質　　→　1.9（プラスは女性声） 感情　　→　驚き セリフ　→　猫型ロボットって何？ 照明　　→　#FFB6C1（ピンク）
13. 俳優としてのChatGPT
 セリフ、声質、感情をもとに Koeiromapで音声合 成 声質　　→　1.9（プラスは女性声） 感情　　→　驚き セリフ　→　猫型ロボットって何？
14. Koeriomap

15. 入力パラメー タ 説明 利用方法 text 合成したい文章を日本語で入力 台本のセリフを入力 speaker_y Koeiromap空間上の値。有効範囲は `[-3.0, 3.0]` Y軸のプラス側が女性、マイナス側が男性声 登場人物の男女イメージを数値化 style 音声の感情スタイル。スタイルは全部で 6通り`"talk", "happy", "sad", "angry", "fear", "surprised"` セリフの感情を入力 出力パラメー タ 説明 利用方法 audio base64エンコードされたwav形式の音声データ 役者の代わりにセリフを上演 phonemes 入力テキストの音素列 次のセリフに移る際の間の参考に利用 Koeiromapのパラメータ

16. 照明としてのChatGPT
 今回はNode-REDのダッシュボード上に 指定された色を照明として表示 →　照明をやらせるには色々と課題が …
17. 照明の課題①
 照明や美術を指定するには、セリフに対して シーン①：公園 シーン②：家の中 のようなグルーピングをして、そこに照明や美術の 指示が必要
18. 照明の課題②
 ChatGPT 照明指示 付き台本 色指定 DMX 本当は実際の照明機器に接続したい 本当は実際の照明機器に接続したい DMXプロトコルでChatGPTに指定させれば技術的には可能なはず （今回は間に合わず …）
19. • 作（劇作家）ー 戯曲を書く　　　　　　→　面白いと思える戯曲作成 • 演出（演出家）ー 舞台上の演出をする　　→　 • 出演（俳優）ー 役を演じる　　　→　ロボット活用、動作の自動生成 • 舞台監督　ー 舞台上での進行管理　　→　舞台上の全体を自動制御 • 美術　ー 舞台上の美術、小道具　→　背景画像の自動生成 • 照明　ー 舞台上の照明　　　　　→　照明の自動制御 • 衣装　ー 上演で利用する衣装　　→　衣装のデザイン生成 • 音響　ー 舞台上の音響　　　　　→　効果音自動生成 • 音楽　ー 上演で利用する音楽の作成・演奏　→　劇伴自動生成 • 企画　ー 上演作品の企画　　　　→　物語のテーマ企画 • 制作　ー 上演に向けての進行管理→　タスク管理 （ 今後やりたいこと
 すべての役割をAIに置き換えて完全自動上演を目指したい！
20. ここでデモするかも？ 宣伝（２回目）

21. EOF
22. 6月 Pepper一般発売 11月 働く私 5月 ロボホン発売 2008
 2009
 2010
 2011
 2012
 2013
 2014
 
 2015
 
 2016
 
 
 2017
 
 
 
 2018
 10月 三人姉妹 ロボット演劇関連 年表
 8月 森の奥 9月 さようなら 10月 変身 青年団 平田オリザ/石黒浩 ロボット/アンドロイド演劇 1月 PLUTO 6月 Pepper発表 11月 フタツメノペッパー 1月 Ph / 7.4 7月 ロボット文化祭 Pepper x 演劇 1月 PLUTO 4月 バイバイレンジャー 10月 大橋可也『プロトコルオ ブヒューマニティ』 セシル・B・エヴァンス 『Sprung A Leak』 その他Pepper パフォーマンス 7月 ロボライブ＠リアニ 3月 ロボライブ＠らぶぱ ロボット演劇の歴史はまだまだ過渡期