Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ChatGPT演劇システム
Search
yskmjp
May 11, 2023
0
37
ChatGPT演劇システム
2023/04/22 ChatGPTハッカソンで発表した際の資料です。
https://mashupawards.connpass.com/event/278212/
yskmjp
May 11, 2023
Tweet
Share
More Decks by yskmjp
See All by yskmjp
ChatGPT x Node-RED x toioでダンスさせたい
yskmjp
0
170
enebular x ChatGPT演劇 アップデート
yskmjp
0
100
Node-RED x ChatGPT x Koeiromapで演劇を上演する
yskmjp
0
290
呼び込み君クラウド化計画 enebular x obniz 編
yskmjp
0
430
光る野良ねこバッジ作ってみた2
yskmjp
0
410
光る野良ねこバッジ作ってみた
yskmjp
0
510
TouchDesigner+M5StickC をつなげてみた
yskmjp
1
1k
オムロン非接触温度センサ & enebularで 超簡易サーモグラフィ
yskmjp
1
1.2k
enebularでクリスマスツリーを光らせてみた
yskmjp
1
1.1k
Featured
See All Featured
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
26
4k
What's in a price? How to price your products and services
michaelherold
243
11k
VelocityConf: Rendering Performance Case Studies
addyosmani
324
23k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
23
1.7k
Music & Morning Musume
bryan
46
6.1k
A Tale of Four Properties
chriscoyier
155
22k
Designing on Purpose - Digital PM Summit 2013
jponch
114
6.9k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
26
2k
We Have a Design System, Now What?
morganepeng
49
7.1k
Into the Great Unknown - MozCon
thekraken
30
1.4k
Product Roadmaps are Hard
iamctodd
PRO
48
10k
Transcript
Node-RED x ChatGPT で演劇を上演する まつした@ロボットサンドボックス 2023/4/22 ChatGPTハッカソン
演劇を観るのが好きなので、 ChatGPTが無限に演劇を 生成してくれれば 一生楽しめるのでは? ( ChatGPT x 演劇
• 作(劇作家)ー 戯曲を書く • 演出(演出家)ー 舞台上の演出をする • 出演(俳優)ー 役を演じる •
舞台監督 ー 舞台上での進行管理 • 美術 ー 舞台上の美術、小道具 • 照明 ー 舞台上の照明 • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上の音響 • 音楽 ー 上演で利用する音楽の作成・演奏 • 企画 ー 上演作品の企画 • 制作 ー 上演に向けての進行管理 ( 演劇の役割一覧 全てを自動化 したい!
• 作(劇作家)ー 戯曲を書く • 演出(演出家)ー 舞台上の演出をする • 出演(俳優)ー 役を演じる •
舞台監督 ー 舞台上での進行管理 • 美術 ー 舞台上の美術、小道具 • 照明 ー 舞台上の照明 • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上の音響 • 音楽 ー 上演で利用する音楽の作成・演奏 • 企画 ー 上演作品の企画 • 制作 ー 上演に向けての進行管理 ( 演劇の役割一覧 今回はここまでシ ステム化!
システム構成 ChatGPT Koeiromap ①台本のテーマ をインプット ②台本作成依頼 台本のテーマ 台本のルール - 登場人物の人数
- セリフの行数 - 出力フォーマット ③上演台本 - セリフ - 声質 - 感情指示 - 照明指示 ④音声合成 - セリフ - 声質 - 感情指示 ⑤音声 - 音声ファイル - 音素数 ⑥上演 - セリフ音読 - 照明表示 Node-RED Dashboard
上演のデモ!
None
Node-RED/enebular 台本作成 GPT-4が使える custom-chatgptを利用 音声合成 KoeiromapのAPIにセリフを 渡してwavファイル取得 テーマを入力 ルール設定 台本、音声出力
照明 セリフの間 音素数に応じたセリフの間を 調整
劇作家としてのChatGPT テーマを入力 ルール設定 出力フォーマット 戯曲を作成
戯曲作成の課題① 話の意味が不明… ハナコ:今日は何を作ってるの? ケンジ:猫型ロボットを作ってる ハナコ:猫型ロボットって何? ケンジ:イチゴを運ぶのが得意だ ハナコ:えっ、イチゴを運ぶの? ケンジ:うん、猫の手が器用だから ハナコ:でも猫はイチゴ嫌い? ケンジ:そうだけど、ロボットだよ
ハナコ:じゃあイチゴ狩りに行こ? ケンジ:いいね!でも実はこの猫、いちご よりも魚を運ぶのが得意なんだ!
戯曲作成の課題② 出力フォーマットが安定しない 出力フォーマットに無い 【オチ】の行を勝手に追加 …
演出家としてのChatGPT セリフに対して、声質、感情、照明を指定 役名 → ハナコ 声質 → 1.9(プラスは女性声) 感情 → 驚き セリフ → 猫型ロボットって何? 照明 → #FFB6C1(ピンク)
俳優としてのChatGPT セリフ、声質、感情をもとに Koeiromapで音声合 成 声質 → 1.9(プラスは女性声) 感情 → 驚き セリフ → 猫型ロボットって何?
Koeriomap
入力パラメー タ 説明 利用方法 text 合成したい文章を日本語で入力 台本のセリフを入力 speaker_y Koeiromap空間上の値。有効範囲は `[-3.0,
3.0]` Y軸のプラス側が女性、マイナス側が男性声 登場人物の男女イメージを数値化 style 音声の感情スタイル。スタイルは全部で 6通り`"talk", "happy", "sad", "angry", "fear", "surprised"` セリフの感情を入力 出力パラメー タ 説明 利用方法 audio base64エンコードされたwav形式の音声データ 役者の代わりにセリフを上演 phonemes 入力テキストの音素列 次のセリフに移る際の間の参考に利用 Koeiromapのパラメータ
照明としてのChatGPT 今回はNode-REDのダッシュボード上に 指定された色を照明として表示 → 照明をやらせるには色々と課題が …
照明の課題① 照明や美術を指定するには、セリフに対して シーン①:公園 シーン②:家の中 のようなグルーピングをして、そこに照明や美術の 指示が必要
照明の課題② ChatGPT 照明指示 付き台本 色指定 DMX 本当は実際の照明機器に接続したい 本当は実際の照明機器に接続したい DMXプロトコルでChatGPTに指定させれば技術的には可能なはず (今回は間に合わず
…)
• 作(劇作家)ー 戯曲を書く → 面白いと思える戯曲作成 • 演出(演出家)ー 舞台上の演出をする → • 出演(俳優)ー 役を演じる → ロボット活用、動作の自動生成 •
舞台監督 ー 舞台上での進行管理 → 舞台上の全体を自動制御 • 美術 ー 舞台上の美術、小道具 → 背景画像の自動生成 • 照明 ー 舞台上の照明 → 照明の自動制御 • 衣装 ー 上演で利用する衣装 → 衣装のデザイン生成 • 音響 ー 舞台上の音響 → 効果音自動生成 • 音楽 ー 上演で利用する音楽の作成・演奏 → 劇伴自動生成 • 企画 ー 上演作品の企画 → 物語のテーマ企画 • 制作 ー 上演に向けての進行管理→ タスク管理 ( 今後やりたいこと すべての役割をAIに置き換えて完全自動上演を目指したい!
ここでデモするかも? 宣伝(2回目)
EOF
6月 Pepper一般発売 11月 働く私 5月 ロボホン発売 2008 2009 2010 2011
2012 2013 2014 2015 2016 2017 2018 10月 三人姉妹 ロボット演劇関連 年表 8月 森の奥 9月 さようなら 10月 変身 青年団 平田オリザ/石黒浩 ロボット/アンドロイド演劇 1月 PLUTO 6月 Pepper発表 11月 フタツメノペッパー 1月 Ph / 7.4 7月 ロボット文化祭 Pepper x 演劇 1月 PLUTO 4月 バイバイレンジャー 10月 大橋可也『プロトコルオ ブヒューマニティ』 セシル・B・エヴァンス 『Sprung A Leak』 その他Pepper パフォーマンス 7月 ロボライブ@リアニ 3月 ロボライブ@らぶぱ ロボット演劇の歴史はまだまだ過渡期