生成AIなんでもLT会1

個人の意見です。
非商用かつ研究目的です。

Transcript

1. iOSでStable Diffusion @miketako3 ⽣成AIなんでもLT会運営 ⽣成AIなんでもLT会
2. 2 今⽇の内容 l ⾃⼰紹介 l なぜiOS？ l iOSでStable Diffusion l 成果物の紹介 l まとめと展望 コンテンツ
3. 3 @miketako3 l バックエンド中⼼のエンジニア l スケーラブルで保守性を⾼くするのが好き l ギリギリ20代 l SREをやったり l Zennに投稿してみたり l AI Tuber作ってみたり ⾃⼰紹介
4. 4 ⽣成AIサービスを作るとき - GPU費⽤ なぜiOS？ クラウド 費⽤ (⽉/T4) (spot) AWS $115 Azure $151 GCP $151 オンプレ ⾃分の運⽤⼯数と電気代 https://fullstackdeeplearning.com/cloud-gpus/
5. 5 ⽣成AIサービスを作るとき - 持続可能性 l 趣味だとしても⾚字は避けたい l 「あそこにベンツが停まってますね。」 l 開発が⽌まってしまう l AI Tuberはまさにそんな感じだった l いつ停⽌するかわからないサービスは使いたくない なぜiOS？
6. 6 ローカル⽣成 l ユーザーのGPUを使いたい l でもGPUは普及率が低い l iPhoneで出来ないか なぜiOS？ https://www.dell.com/ja-jp/blog/dell-gaming-survey-20230711/
7. 7 ml-stable-diffusion l Apple Silicon⽤の公式ライブラリ l diffusersをCore ML⽤に変換 l 変換したものをApple Silicon上で実⾏ l 推論だけなら⼀通りはできる l iOS17から6bit圧縮のJIT解凍に対応 l サンプル実装もあり iOSでStable Diffusion
8. 8 既存アプリ l ローカル⽣成機能を実装した既存アプリ l どれも多機能 l しかし私のiPhone13mini (4GB RAM) では動かなかった l 12 Proもしくは14以降のiPhoneでしか動かない iOSでStable Diffusion
9. 9 Vividus l 最低限の機能 l ⽣成 l モデル切替 l 4GB RAMで動作 l 実機で確認済み l モデル配布しない l グレーは避ける 成果物の紹介
10. 10 動作確認済みモデル l coreml-stable-diffusion-2-1-base l 公式変換済みモデル l 6bit化の効果でかなり安定 l ⽣成部分については実測で公式ベンチと 同程度の速度 (2.53 steps/s) l coreml-anything-v4.0 l anything v4.5 l coreml-communityというorgが公開 l とても重いが成功率は⾼い (10分以上かかることも) 成果物の紹介
11. 11 まとめ l 最近のiPhoneでStable Diffusionは動く l 公式ライブラリもある l 実機で動作確認済み l 4GB RAM = iPhone12以降 l 維持費を限りなく0にできる l 個⼈のニッチなサービスにいかがですか？ まとめと今後の展望
12. 12 展望 l 単純な⽣成以外への応⽤ l 例えばレイヤー分けや下塗りがiPadアプリだけでできるかも l talking-head-anime-3-demoをiPhoneだけで動かしたりもできるかも l 安定性を確保しつつ機能拡充 l そもそもiPhoneのメモリは拡⼤傾向 l 今後できることは増える l 数年後には学習以外の⼤抵はiPhoneでできるかもしれない l Vision Pro l iOSで作っておけば勝⼿に使えるようになる まとめと今後の展望
13. 13 話したいことはたくさん l iOSで⽣成AIなかなか安定しない l AI Tuberコスト⾼い l Talking Head Animeのコードを読んで改造した話 l ScalableでDockernizeでマイクロサービスなAI Tuber l 妻の声で権利フリーAI Tuberボイス l 妻との10年分の会話履歴でLLMファインチューニング 終わりに
14. @mattyamonaca @miketako3 注：個⼈開催です