SaaS最前線！ソフトウェアエンジニアのための画像生成AIアプリケーション統合ガイド

2023/09/26 TECHPLAY登壇資料
https://fastlabel.ai/news/20230921-techplay

Transcript

1. © 2023 FastLabel Inc. All Rights Reserved. © 2023 FastLabel Inc. All Rights Reserved. SaaS最前線︕ソフトウェアエンジニアの ための画像⽣成AIアプリケーション統合 ガイド FastLabel株式会社 ⾵⾒ 亮
2. © 2023 FastLabel Inc. All Rights Reserved. Agenda 2 n ⾃⼰紹介 n 会社紹介 n 今回のお話し n 画像⽣成AI機能α版リリース n ①直⾯した課題と解決策 n ②画像⽣成AI組み込みTips n まとめ
3. © 2023 FastLabel Inc. All Rights Reserved. ⾃⼰紹介 3 ⾵⾒ 亮（かざみ りょう） 慶應義塾⼤学卒業後、IT未経験ながら新卒で⼊社した会社の研修で⾏った プログラミング課題が楽しくエンジニアの道へ。最近の趣味はダイエット。 エンジニアリングマネージャーとしてMLOps関連機能の開発を主導。 ユーザーのテクニカルサポート部⾨（Customer Success Engineering）の責任者も務める。 経歴 株式会社ワークスアプリケーションズ（2015~2021） ウェブアプリケーションエンジニアとして⼤規模なERPシステムの会計・⽣産管理の開発を経験。 システム要件定義・設計をはじめ、フロントエンド、バックエンド、インフラ等幅広く実装に携わる。 FastLabel株式会社（2021~） 創業期にAI未経験からジョイン。混沌とした初期ステージを乗り切った。 新規機能設計・実装に加え、顧客の既存モデルの精度改善案件など多くのAIプロジェクトを完遂。 Twitter (@FLKazami)
4. © 2023 FastLabel Inc. All Rights Reserved. 会社紹介 4 FastLabel株式会社 Data-centricなAI開発の全プロセスをカバーしたSaaS型のプラットフォーム「FastLabel」の提供 やデータ収集・アノテーション代⾏、コンサルティングサービスを展開
5. © 2023 FastLabel Inc. All Rights Reserved. 会社紹介 5 FastLabel株式会社 Data-centricなAI開発の全プロセスをカバーしたSaaS型のプラットフォーム「FastLabel」の提供 やデータ収集・アノテーション代⾏、コンサルティングサービスを展開
6. © 2023 FastLabel Inc. All Rights Reserved. 今回のお話し 6 画像⽣成AIを活⽤したサービスのα版を6⽉にリリース ①直⾯した課題と解決策 ②画像⽣成AIについて得られたTips h"ps://fastlabel.ai/news/20230621-genera9ve-ai
7. © 2023 FastLabel Inc. All Rights Reserved. 画像⽣成AI機能α版リリース 7 画像⽣成AIを利⽤した機能の紹介 • 実データの収集が難しいデータ集めを⽣成AIを活⽤して実施 • 画像⽣成AIをファインチューニングして利⽤することも可能 h"ps://fastlabel.ai/data-genera4on
8. © 2023 FastLabel Inc. All Rights Reserved. ①直⾯した課題と解決策 8 機能リリースの背景 • AI開発をリードしていく企業としての対応の必要性 StableDiffusion、ChatGPTの台頭に伴い、⽣成AI活⽤の展望について内外から問い合わせあり • Data-centricなサービスを展開する上で、課題を解決できる⼀つの⼿段と認識 もともとユーザーからデータ収集代⾏やコンサルティング案件の中で、収集が難しいデータをどうやって集め るかという相談は多かった • 開発者的にはとりあえずやりたい笑 最新の技術はどんどん取り⼊れたほうが開発部⾨のモチベーション的にもいいよね︕
9. © 2023 FastLabel Inc. All Rights Reserved. ①直⾯した課題と解決策 9 機能リリースにあたっての課題 • 技術的にもまだ不安定 派⽣技術がすぐに登場したり、世の中的にも試⾏錯誤の段階 • 価値を提供できるサービスになるかの予測が難しい まだ実績が少なく、会社として⾒通しが⽴てにくい • 規約や倫理⾯での不安 ⽣成AIをどこまで利⽤していいのか、作成した画像はどうなるのかなど • 社内的にもあまり知⾒がない 開発者が個⼈的に触っている程度で何ができるのかあまり勘所がない
10. © 2023 FastLabel Inc. All Rights Reserved. ①直⾯した課題と解決策 10 機能リリースにあたっての解決策 • 技術的にもまだ不安定 → 早く⼩さく出す キリがないのでシナリオを決めうち。壊す前提で既存のAPIやAWSのJumpStartを活⽤して作り込みす ぎない • 価値を提供できるサービスになるかの予測が難しい → ユーザーと⼀緒に進める α版をリリースしつつ、興味を持ってくれたユーザーに無償トライアルで提供 • 規約や倫理⾯での不安 → 協⼒企業・団体と⼀緒に進める ⽇本画像⽣成AIコンソーシアム（JIGAC）の設⽴（プレスリリース） 収集時の規約なども整備中 • 社内的にもあまり知⾒がない → MLエンジニアにも参画してもらう 有効に活⽤できるケースの肌感覚を掴むべくAILabと協⼒
11. © 2023 FastLabel Inc. All Rights Reserved. ②画像⽣成AIについて得られたTips 11 初期は公開されているAPIやモデルを利⽤してみるのが吉 • Stability AIやStable Diffusionの公開APIなどはサクッと試せる • AWSのFoundation ModelをSageMaker JumpStart上で動かしてfinetuningも可 h"ps://pla6orm.stability.ai/docs/api-reference h"ps://aws.amazon.com/jp/sagemaker/jumpstart/
12. © 2023 FastLabel Inc. All Rights Reserved. ②画像⽣成AIについて得られたTips 12 ⼀つの対象をパターン変えて⽣成する⽅が得意 • ⼀つのモデルで例えば様々な性別や年齢層の⼈の顔を混ぜて学習させるとうまくいかない • Promptは元々持っている概念を上書きするよりは被らない識別肢で学習させたほうがよい
13. © 2023 FastLabel Inc. All Rights Reserved. ②画像⽣成AIについて得られたTips 13 欲しいパターンが決まっていればInPaintingも有効 • 画像のある範囲を指定して、そこのみを⽣成AIで上書きする⼿法も有効 • 姿勢推定の情報を渡して同じポーズで画像を⽣成するControlnetも活⽤できそう
14. © 2023 FastLabel Inc. All Rights Reserved. まとめ 14 今後やっていきたいこと • ユーザーが欲しいデータを簡単に⽣成できるようにする ユーザーにとってはやってみないとわからないことが多い難しい機能となっている • アノテーションデータも⼀緒に⽣成できるようにする 画像だけでなく、対象物のアノテーションデータも⽣成できることを期待 • 定量的なモデルの評価指標 どうしても⼈の⽬による判断が必要なので、定量的に評価できるようにする • LLMへの対応 LLMの領域もカバーできるようにしていく
15. © 2023 FastLabel Inc. All Rights Reserved. まとめ 15 ⽣成AIについての所感 • 課題は多いがうまく活⽤できれば⼤きな価値を提供できそう • 怯まずに戦略を⽴ててチャレンジしていくことが⼤切
16. © 2023 FastLabel Inc. All Rights Reserved. Appendix 16
17. © 2023 FastLabel Inc. All Rights Reserved. 17 パネルディスカッション • これまでの経験やスキルが活かせた場⾯ • プロンプトエンジニアリングの⾝に着け⽅ • ⽇頃の情報収集、何をしている︖ • ⽣成AI活⽤×今後の展望は︖
18. © 2023 FastLabel Inc. All Rights Reserved. 18 パネルディスカッション • これまでの経験やスキルが活かせた場⾯ • プロンプトエンジニアリングの⾝に着け⽅ • ⽇頃の情報収集、何をしている︖ • ⽣成AI活⽤×今後の展望は︖
19. © 2023 FastLabel Inc. All Rights Reserved. 19 パネルディスカッション • これまでの経験やスキルが活かせた場⾯ • プロンプトエンジニアリングの⾝に着け⽅ • ⽇頃の情報収集、何をしている︖ • ⽣成AI活⽤×今後の展望は︖
20. © 2023 FastLabel Inc. All Rights Reserved. 20 パネルディスカッション • これまでの経験やスキルが活かせた場⾯ • プロンプトエンジニアリングの⾝に着け⽅ • ⽇頃の情報収集、何をしている︖ • ⽣成AI活⽤×今後の展望は︖
21. © 2023 FastLabel Inc. All Rights Reserved. 21 パネルディスカッション • これまでの経験やスキルが活かせた場⾯ • プロンプトエンジニアリングの⾝に着け⽅ • ⽇頃の情報収集、何をしている︖ • ⽣成AI活⽤×今後の展望は︖
22. © 2023 FastLabel Inc. All Rights Reserved. 22
23. © 2023 FastLabel Inc. All Rights Reserved. 23
24. © 2023 FastLabel Inc. All Rights Reserved. 24
25. © 2023 FastLabel Inc. All Rights Reserved. 25
26. © 2023 FastLabel Inc. All Rights Reserved. End of File 26