Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
enebular x ChatGPT演劇 アップデート
Search
yskmjp
December 12, 2023
0
100
enebular x ChatGPT演劇 アップデート
2023/12/12 enebular meetupの登壇資料です。
https://enebular.connpass.com/event/303475/
yskmjp
December 12, 2023
Tweet
Share
More Decks by yskmjp
See All by yskmjp
ChatGPT x Node-RED x toioでダンスさせたい
yskmjp
0
170
ChatGPT演劇システム
yskmjp
0
37
Node-RED x ChatGPT x Koeiromapで演劇を上演する
yskmjp
0
290
呼び込み君クラウド化計画 enebular x obniz 編
yskmjp
0
430
光る野良ねこバッジ作ってみた2
yskmjp
0
410
光る野良ねこバッジ作ってみた
yskmjp
0
510
TouchDesigner+M5StickC をつなげてみた
yskmjp
1
1k
オムロン非接触温度センサ & enebularで 超簡易サーモグラフィ
yskmjp
1
1.2k
enebularでクリスマスツリーを光らせてみた
yskmjp
1
1.1k
Featured
See All Featured
What the flash - Photography Introduction
edds
67
11k
No one is an island. Learnings from fostering a developers community.
thoeni
19
2.9k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
32k
Automating Front-end Workflow
addyosmani
1365
200k
A Philosophy of Restraint
colly
202
16k
The Invisible Customer
myddelton
119
13k
The Straight Up "How To Draw Better" Workshop
denniskardys
231
130k
How GitHub (no longer) Works
holman
311
140k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
43
6.5k
Unsuck your backbone
ammeep
667
57k
Product Roadmaps are Hard
iamctodd
PRO
48
10k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
364
22k
Transcript
enebular x ChatGPT演劇 アップデート まつした@野良ハック 2023/12/12 enebular meetup
・野良ハックチーム → 趣味の電子工作 ・エレクトロニコス・ファンタスティコス → 古い家電を楽器として再生 自己紹介 まつした Twitter: @yskmjp
ヒーローズリーグ2023 enebular賞 ありがとうございます!
演劇を観るのが好きなので、 ChatGPTが無限に演劇を 生成してくれれば 一生楽しめるのでは? ( ChatGPT x 演劇
上演のデモ!
None
• 作(劇作家)ー 戯曲を書く • 演出(演出家)ー 舞台上の演出をする • 出演(俳優)ー 役を演じる •
舞台監督 ー 舞台上での進行管理 • 美術 ー 舞台上の美術、小道具 • 照明 ー 舞台上の照明 • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上の音響 • 音楽 ー 上演で利用する音楽の作成・演奏 • 企画 ー 上演作品の企画 • 制作 ー 上演に向けての進行管理 ( 演劇の役割 全てを 自動化したい!
• 作(劇作家)ー 戯曲を書く(ChatGPT) • 演出(演出家)ー 舞台上の演出をする(ChatGPT) • 出演(俳優)ー 役を演じる(Koeiromap) •
舞台監督 ー 舞台上での進行管理 • 美術 ー 舞台上の美術、小道具(DALL-E) • 照明 ー 舞台上の照明(M5 Atom Lite + NeoPixel LED) • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上の音響 • 音楽 ー 上演で利用する音楽の作成・演奏 • 企画 ー 上演作品の企画 • 制作 ー 上演に向けての進行管理 ( 演劇の役割 今はここまで
システム構成 ChatGPT Koeiromap DALL-E ①台本のお題を インプット ③音声合成 ・セリフ、声質、感情をイン プット ・音声ファイル、音素数をアウ
トプット ②台本作成 ・お題、ルール(行数、フォー マット)をインプット ・台本(セリフ、声質、感情、照 明)をアウトプット ④舞台美術 ・お題とプロンプトをインプット ・画像ファイルをアウトプット ⑥上演(照明) ・照明を表示 Node-RED Dashboard ⑤上演(会話) ・セリフを再生 ・台本、美術を表示
Node-RED/enebular ①台本作成 お題+プロンプトをChatGPTへ ②音声合成 台本をJSON変換、Koeriromap APIへ ③セリフをしゃべる base64を復号、音素数で間を調整 ⑤照明の色を制御 台本で指定された色をMQTTに連携
④舞台美術を生成 お題からDALL-Eで舞台美術を生成 enebularで全体を制御
台本作成のプロンプト プロンプトで以下を指定 ・お題 ・登場人物 ・会話の行数 ・セリフの最大文字数 ・声質のパラメータ種類 ・感情のパラメータ種類 ・照明のパラメータ種類 ・台本フォーマット
入力パラメー タ 説明 利用方法 text 合成したい文章を日本語で入力 台本のセリフを入力 speaker_y Koeiromap空間上の値。有効範囲は `[-3.0,
3.0]` Y軸のプラス側が女性、マイナス側が男性声 登場人物の男女イメージを数値化 style 音声の感情スタイル。スタイルは全部で 7通り"talk", "happy", "sad", ( "angry", "fear", "surprised",”whisper” ※有料版の み) セリフの感情を指定 出力パラメー タ 説明 利用方法 audio base64エンコードされたwav形式の音声データ 役者の代わりにセリフを上演 phonemes 入力テキストの音素列 次のセリフに移る際の間の参考に利用 Koeiromapのパラメータ 感情指定できるTTSを選ぶとChatGPTに演 出させる(感情指定させる)ことが可能
ChatGPT演劇の2023年 02/19 note記事を書く 「ChatGPTで演劇の上演台本を作るメモ」 ChatGPTで台本作成の実験 WebUIを利用 04/12-14 ChatGPTオンラインハッカソン オーディエンス賞 台本を音声合成で上演
enebularでプロトタイプ作成 05/11 NodeRed Park LT 内部の仕組みをLT 10/14-15 11/05 Maker Fare Tokyo NT東京 物理的な舞台とキャラで上演 お題をボタン選択式に 12/01 ヒーローズリーグ2023 enebular賞 ハロウィンバージョンで応募 12/12 enebular meetup 最新状況の報告
今後やりたいこと • 作(劇作家)ー 戯曲を書く • 演出(演出家)ー 舞台上の演出をする • 出演(俳優)ー 役を演じる
• 舞台監督 ー 舞台上での進行管理 • 美術 ー 舞台上の美術、小道具 • 照明 ー 舞台上の照明 • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上の音響 • 音楽 ー 上演で利用する音楽の作成・演奏 • 企画 ー 上演作品の企画 • 制作 ー 上演に向けての進行管理 物理的な舞台を作ったので、 動きをChatGPTに演出してほしい
一般的なAIとの 会話の方法 ChatGPTで会話を作る AI 人間 会話 ChatGPT演劇 の方法 AI 台本
音声合成 会話っぽいもの 音声合成 学習 データ 学習 データ 人間
一般的なAIでの 動きの作り方 ChatGPTで動きを作る ChatGPT演劇での 動きの作り方 AI 舞踊譜 モーション 生成 動きっぽいもの
モーション 生成 AI 人間 学習 データ 動き 学習 データ 人間 指示
( ChatGPT舞踊譜 林夏木 2022「舞踊記譜法の論点と課題」 ダンスの舞踊譜 ラバノーテーション Microsoft Applied Robotics Research
Library ラバノーテーションの JSONフォーマットGitHubで公開 舞踊譜のフォーマット化は 論文では多数研究あり
( ChatGPT舞踊譜 身体企画ユニット ヨハク 「スクランブル交差点」 エクセル舞踊譜 作れるかも?
( 今後やりたいこと すべての役割をAIに置き換えて完全自動上演を目指したい! • 作(劇作家)ー 戯曲を書く • 演出(演出家)ー 舞台上の演出をする •
出演(俳優)ー 役を演じる • 舞台監督 ー 舞台上での進行管理 • 美術 ー 舞台上の美術、小道具 • 照明 ー 舞台上の照明 • 衣装 ー 上演で利用する衣装 • 音響 ー 舞台上の音響 • 音楽 ー 上演で利用する音楽の作成・演奏 • 企画 ー 上演作品の企画 • 制作 ー 上演に向けての進行管理
ありがとうございました!