Slide 1

Slide 1 text

Generative AIと検索を 組み合わせた新たな体験の模索 2022/12/14 しぶい

Slide 2

Slide 2 text

自己紹介 shibui yusuke ● もともと文学部の大学院卒。 ● いろいろ → Launchable(いまここ) ● MLOpsとかいろいろエンジニア ● もともとクラウド基盤の開発、運用 ● ここ6年くらいMLOpsとバックエンドとインフラとたまに データ分析とAndroidで仕事 ● Github: @shibuiwilliam ● FB: yusuke.shibui ● 最近の趣味:副業と自宅勤務改善 cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2

Slide 3

Slide 3 text

疑問 ● AIで絵を描けるようになったけど、世の中の人はそんなにクリエイティブな作業をしてるだろうか? ● たぶん一般的なスマホの利用時間は「生成<<<<<検索」というくらい、 検索(ほしいものを見つける)作業のほうが長い(根拠はない)。 ● ほしいものを探してるけど、見つからなかったり存在しなかったりするから、 クリエイティビティが必要なのでは? ● ということで作って試してみる。

Slide 4

Slide 4 text

● テキストや属性を入力してコンテンツを検索する 検索 検索システム 茶色のバッグ ● Elasticsearch ● Solr ● Opensearch ● …

Slide 5

Slide 5 text

類似画像検索 ● 画像を入力にして画像を検索する ANN ● SCaNN ● NGT ● Faiss ● …

Slide 6

Slide 6 text

Generative AI ● テキストを入力にしてコンテンツを生成する Generative AI 茶色のバッグ ● Stable Diffusion ● DALLE ● Midjourney ● …

Slide 7

Slide 7 text

もちろんこういうこともできる Stable Diffusion 茶色のバッグ ANN

Slide 8

Slide 8 text

実際に作ってみた

Slide 9

Slide 9 text

アーキテクチャ 類似画像検索Tensorflow Serving MobileNet v3 + SCaNN 画像生成API キュー兼 インデックスキャッシュ Storage StableDiffusion 画像生成ジョブ

Slide 10

Slide 10 text

従来の検索 バッグ シック カジュアル ファンシー 男性もの 女性もの 茶色 子ども用 エンブレム ハンドバッグ ビジネス 肩掛け 財布 大型 飾り 赤 黒 検索システム & キャッシュ スポーツ トランク ● テキスト ● 属性 ● 閲覧履歴 ● ・・・ 茶色い女性もののファンシーなバッグ

Slide 11

Slide 11 text

Generative AIと検索 バッグ シック カジュアル ファンシー 男性もの 女性もの 茶色 子ども用 エンブレム ハンドバッグ ビジネス 肩掛け 財布 大型 飾り 赤 黒 スポーツ トランク 茶色い女性もののファンシーなバッグ ユーザがデザインを生成しながら検索していく

Slide 12

Slide 12 text

Generative AIと検索 バッグ シック カジュアル ファンシー 男性もの 女性もの 茶色 子ども用 エンブレム ハンドバッグ ビジネス 肩掛け 財布 大型 飾り 赤 黒 スポーツ トランク 茶色い女性もののファンシーで 赤いアクセサリー付きの バッグ つまり、存在しないものはテキストとデザインを直接フィードバックできる このあたりにあるはずだけ ど存在しない

Slide 13

Slide 13 text

AI E-commerce 女性もののバッグがほしい 茶色でカジュアルなもの これでいかがでしょうか? 真ん中のにもうちょいアクセント 赤いアクセサリーとか これでいかがでしょうか? 右ので検索 AI E-commerce 検索結果です

Slide 14

Slide 14 text

閲覧履歴からデザインできないか? 女性もの バッグ 茶色 おしゃれ シック 赤い追加 もしかして・・・ 閲覧履歴から重要な単語を集めて・・・

Slide 15

Slide 15 text

まとめ ● ユーザ視点:ほしいものをデザインしながら探す体験 ● EC視点:デザインとテキストのフィードバックを得ながら検索とプロダクトデザインのループ ● Generative AIとANNはちゃんとチューニングしたらもっと精度高くなるはず ● ECやファッションに限らず、旅行、地図、コンテンツ(本とか)、Web広告・・・と応用範囲は広い ● データは必要なので、検索と生成のデータが用意できる既存Webビジネスと相性が良さそう ● UIは考えもの

Slide 16

Slide 16 text

● 2022年11月14日発売! ● https://www.amazon.co.jp/dp/4798173401/ ● https://github.com/shibuiwilliam/building-ml-system ● 発売中! ● https://www.amazon.co.jp/dp/4798169447/