20240217_CIVITAIの話をしようと思ったらOpenAI Soraが出てきたのでそちらの情報共有.pdf

https://omoshiroai.connpass.com/event/308655/

Transcript

1. CIVITAIの話をしようと思っ たらOpenAI Soraが出てきた のでそちらの情報共有 2024/2/17 @doradora09
2. Copyright © 2024 NOB DATA All Rights Reserved. ⾃⼰紹介 ⼤城信晃(twitter @doradora09) NOB DATA株式会社 代表取締役社⻑ / データサイエンティスト協会九州⽀部 ⽀部⻑ / iU 情報経営イノベーション専⾨職⼤学 客員教員 ・住まい 沖縄 -> 東京 -> 福岡 ・職歴 ヤフー-> DATUM STUDIO -> LINE Fukuoka -> NOB DATA(株) 創業 ・運営コミュニティ ・Tokyo.R(2010-2016) ・fukuoka.R、PyData.Fukuoka、 オモシロAIごった煮勉強会、ChatGPT部、 他２つ 第２、第４⼟曜はChatGPT部 第３⼟曜はオモシロAIごった煮会
3. 当初の想定、の変更 • (今更ながら)CIVITAIで画像⽣成＆LoRAが使え ることがわかったのでその共有を予定していた ものの・・ • 昨⽇(2024/2/16)にOpenAI社がSoraという動画 ⽣成のデモを出してきたのでそちらをご案内 • (CIVITAIは時間あれば https://civitai.com/ )
4. OpenAI Sora • OpenAI社の動画⽣成技術(⼀ 般には⾮公開) • 60秒の動画も圧倒的に破綻が 少なく⽣成 (レベルが違いすぎる・・) • ここから先は公式などみなが ら • https://openai.com/sora 引⽤元 : (こちらの⽐較がわかりやすいです、動画閲覧推奨) https://twitter.com/hayato1986/status/1758329294 349296118
5. 何はともあれ、動画のサンプルを⾒るのが ⼀番早いです • プロンプトこれだけらしい・・ • > Prompt: Beautiful, snowy Tokyo city is bustling. The camera moves through the bustling city street, following several people enjoying the beautiful snowy weather and shopping at nearby stalls. Gorgeous sakura petals are flying through the wind along with snowflakes. • 個⼈的には隅⽥川っぽい雰囲気を 感じている(が、看板の謎⽂字と か⾒ると確かに⽣成AI)
6. 余談：個⼈的には隅⽥川を連想 • 先ほどのプロンプトでは「美 しい雪の東京の街」とあった ので、地名までは特定せず • Webの住⼈(特に外国⼈)の 「Tokyo観」とも⾔えるか も？ • 画像データはもとより、動画 とかストリートビューとかを 学習している？？？ ( その辺はまだ不明 )
7. 失敗の⽣成例を⾒ても、普通にすごい・・ https://openai.com/sora
8. 技術的な部分(レポートは別途ある模様) • ChatGPTのT部分 のトランスフォー マーを画像・動画 にも応⽤できたと かいう説明(そんな こと、できるの か・・) • 「世界シミュレー ター」とも。それ だけでここまで再 現できるものなの か、⾮常に不思議。 https://openai.com/sora
9. 個⼈的にはLLMに続いて、 10年の変化が１年で起き てる感じ ・松尾先⽣は悪くないと思う https://twitter.com/CEOfromBCG/status /1758303663192510640
10. オモシロAIとしては • 将来的には動画ベースのゲームとか作れそう (シナリオに合わせた動画⽣成) • Unityとか「空間」を作れる系の技術と連携できるようになっ たら、マップ・ワールドの⾃動⽣成もいけるかも？ • VRとかそっち系の仮想空間(メタバース・・？？？)への応⽤ • 他、何かありますか？(ぜひ議論をば)
11. 時間あれば：CVITAI • LoRA(Low- Rank Adaptation, 特定の画像で チューニング する⼿法)、使 えるんですね。 めっちゃ便利 https://civitai.com/ オリジナル (プロンプト：beautiful woman, Animals) ジブリ⾵LoRAを適⽤した例 (Studio Ghibli Style LoRA) (個⼈的にはジブリというか、 ちょっとディズニーっぽい印象)
12. 時間あれば：CVITAI • 適⽤したい LoRAを選ぶだ け • (CIVITAIはたま にエロ系が混 ざっているので 注意・・)
13. Enjoy..!!