Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Generative AIと検索を組み合わせた新たな体験の模索

shibuiwilliam
December 14, 2022

Generative AIと検索を組み合わせた新たな体験の模索

shibuiwilliam

December 14, 2022
Tweet

More Decks by shibuiwilliam

Other Decks in Technology

Transcript

  1. Generative AIと検索を
    組み合わせた新たな体験の模索
    2022/12/14 しぶい

    View full-size slide

  2. 自己紹介
    shibui yusuke
    ● もともと文学部の大学院卒。
    ● いろいろ → Launchable(いまここ)
    ● MLOpsとかいろいろエンジニア
    ● もともとクラウド基盤の開発、運用
    ● ここ6年くらいMLOpsとバックエンドとインフラとたまに
    データ分析とAndroidで仕事
    ● Github: @shibuiwilliam
    ● FB: yusuke.shibui
    ● 最近の趣味:副業と自宅勤務改善
    cat : 0.55
    dog: 0.45
    human : 0.70
    gorilla : 0.30
    物体検知
    2

    View full-size slide

  3. 疑問
    ● AIで絵を描けるようになったけど、世の中の人はそんなにクリエイティブな作業をしてるだろうか?
    ● たぶん一般的なスマホの利用時間は「生成<<<<<検索」というくらい、
    検索(ほしいものを見つける)作業のほうが長い(根拠はない)。
    ● ほしいものを探してるけど、見つからなかったり存在しなかったりするから、
    クリエイティビティが必要なのでは?
    ● ということで作って試してみる。

    View full-size slide

  4. ● テキストや属性を入力してコンテンツを検索する
    検索
    検索システム
    茶色のバッグ
    ● Elasticsearch
    ● Solr
    ● Opensearch
    ● …

    View full-size slide

  5. 類似画像検索
    ● 画像を入力にして画像を検索する
    ANN
    ● SCaNN
    ● NGT
    ● Faiss
    ● …

    View full-size slide

  6. Generative AI
    ● テキストを入力にしてコンテンツを生成する
    Generative AI
    茶色のバッグ
    ● Stable Diffusion
    ● DALLE
    ● Midjourney
    ● …

    View full-size slide

  7. もちろんこういうこともできる
    Stable Diffusion
    茶色のバッグ
    ANN

    View full-size slide

  8. 実際に作ってみた

    View full-size slide

  9. アーキテクチャ
    類似画像検索Tensorflow Serving
    MobileNet v3 + SCaNN
    画像生成API キュー兼
    インデックスキャッシュ
    Storage
    StableDiffusion
    画像生成ジョブ

    View full-size slide

  10. 従来の検索
    バッグ
    シック
    カジュアル
    ファンシー
    男性もの
    女性もの
    茶色
    子ども用
    エンブレム
    ハンドバッグ
    ビジネス
    肩掛け
    財布
    大型
    飾り


    検索システム

    キャッシュ
    スポーツ
    トランク
    ● テキスト
    ● 属性
    ● 閲覧履歴
    ● ・・・
    茶色い女性もののファンシーなバッグ

    View full-size slide

  11. Generative AIと検索
    バッグ
    シック
    カジュアル
    ファンシー
    男性もの
    女性もの
    茶色
    子ども用
    エンブレム
    ハンドバッグ
    ビジネス
    肩掛け
    財布
    大型
    飾り


    スポーツ
    トランク
    茶色い女性もののファンシーなバッグ
    ユーザがデザインを生成しながら検索していく

    View full-size slide

  12. Generative AIと検索
    バッグ
    シック
    カジュアル
    ファンシー
    男性もの
    女性もの
    茶色
    子ども用
    エンブレム
    ハンドバッグ
    ビジネス
    肩掛け
    財布
    大型
    飾り


    スポーツ
    トランク
    茶色い女性もののファンシーで 赤いアクセサリー付きの バッグ
    つまり、存在しないものはテキストとデザインを直接フィードバックできる
    このあたりにあるはずだけ
    ど存在しない

    View full-size slide

  13. AI E-commerce
    女性もののバッグがほしい
    茶色でカジュアルなもの
    これでいかがでしょうか?
    真ん中のにもうちょいアクセント
    赤いアクセサリーとか
    これでいかがでしょうか?
    右ので検索
    AI E-commerce
    検索結果です

    View full-size slide

  14. 閲覧履歴からデザインできないか?
    女性もの
    バッグ
    茶色
    おしゃれ
    シック 赤い追加
    もしかして・・・
    閲覧履歴から重要な単語を集めて・・・

    View full-size slide

  15. まとめ
    ● ユーザ視点:ほしいものをデザインしながら探す体験
    ● EC視点:デザインとテキストのフィードバックを得ながら検索とプロダクトデザインのループ
    ● Generative AIとANNはちゃんとチューニングしたらもっと精度高くなるはず
    ● ECやファッションに限らず、旅行、地図、コンテンツ(本とか)、Web広告・・・と応用範囲は広い
    ● データは必要なので、検索と生成のデータが用意できる既存Webビジネスと相性が良さそう
    ● UIは考えもの

    View full-size slide

  16. ● 2022年11月14日発売!
    ● https://www.amazon.co.jp/dp/4798173401/
    ● https://github.com/shibuiwilliam/building-ml-system
    ● 発売中!
    ● https://www.amazon.co.jp/dp/4798169447/

    View full-size slide