Generative AIと検索を組み合わせた新たな体験の模索

https://mlops.connpass.com/event/265378/

Transcript

1. Generative AIと検索を 組み合わせた新たな体験の模索 2022/12/14 しぶい
2. 自己紹介 shibui yusuke • もともと文学部の大学院卒。 • いろいろ → Launchable（いまここ） • MLOpsとかいろいろエンジニア • もともとクラウド基盤の開発、運用 • ここ6年くらいMLOpsとバックエンドとインフラとたまに データ分析とAndroidで仕事 • Github: @shibuiwilliam • FB: yusuke.shibui • 最近の趣味：副業と自宅勤務改善 cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2
3. 疑問 • AIで絵を描けるようになったけど、世の中の人はそんなにクリエイティブな作業をしてるだろうか？ • たぶん一般的なスマホの利用時間は「生成＜＜＜＜＜検索」というくらい、 検索（ほしいものを見つける）作業のほうが長い（根拠はない）。 • ほしいものを探してるけど、見つからなかったり存在しなかったりするから、 クリエイティビティが必要なのでは？ • ということで作って試してみる。
4. • テキストや属性を入力してコンテンツを検索する 検索 検索システム 茶色のバッグ • Elasticsearch • Solr • Opensearch • …
5. 類似画像検索 • 画像を入力にして画像を検索する ANN • SCaNN • NGT • Faiss • …
6. Generative AI • テキストを入力にしてコンテンツを生成する Generative AI 茶色のバッグ • Stable Diffusion • DALLE • Midjourney • …
7. もちろんこういうこともできる Stable Diffusion 茶色のバッグ ANN
8. 実際に作ってみた
9. アーキテクチャ 類似画像検索Tensorflow Serving MobileNet v3 + SCaNN 画像生成API キュー兼 インデックスキャッシュ Storage StableDiffusion 画像生成ジョブ
10. 従来の検索 バッグ シック カジュアル ファンシー 男性もの 女性もの 茶色 子ども用 エンブレム ハンドバッグ ビジネス 肩掛け 財布 大型 飾り 赤 黒 検索システム ＆ キャッシュ スポーツ トランク • テキスト • 属性 • 閲覧履歴 • ・・・ 茶色い女性もののファンシーなバッグ
11. Generative AIと検索 バッグ シック カジュアル ファンシー 男性もの 女性もの 茶色 子ども用 エンブレム ハンドバッグ ビジネス 肩掛け 財布 大型 飾り 赤 黒 スポーツ トランク 茶色い女性もののファンシーなバッグ ユーザがデザインを生成しながら検索していく
12. Generative AIと検索 バッグ シック カジュアル ファンシー 男性もの 女性もの 茶色 子ども用 エンブレム ハンドバッグ ビジネス 肩掛け 財布 大型 飾り 赤 黒 スポーツ トランク 茶色い女性もののファンシーで 赤いアクセサリー付きの バッグ つまり、存在しないものはテキストとデザインを直接フィードバックできる このあたりにあるはずだけ ど存在しない
13. AI E-commerce 女性もののバッグがほしい 茶色でカジュアルなもの これでいかがでしょうか？ 真ん中のにもうちょいアクセント 赤いアクセサリーとか これでいかがでしょうか？ 右ので検索 AI E-commerce 検索結果です
14. 閲覧履歴からデザインできないか？ 女性もの バッグ 茶色 おしゃれ シック 赤い追加 もしかして・・・ 閲覧履歴から重要な単語を集めて・・・
15. まとめ • ユーザ視点：ほしいものをデザインしながら探す体験 • EC視点：デザインとテキストのフィードバックを得ながら検索とプロダクトデザインのループ • Generative AIとANNはちゃんとチューニングしたらもっと精度高くなるはず • ECやファッションに限らず、旅行、地図、コンテンツ（本とか）、Web広告・・・と応用範囲は広い • データは必要なので、検索と生成のデータが用意できる既存Webビジネスと相性が良さそう • UIは考えもの
16. • 2022年11月14日発売！ • https://www.amazon.co.jp/dp/4798173401/ • https://github.com/shibuiwilliam/building-ml-system • 発売中！ • https://www.amazon.co.jp/dp/4798169447/