$30 off During Our Annual Pro Sale. View Details »

Enterprise Generative AI on CloudNative

Enterprise Generative AI on CloudNative

CloudNative days fukuoka 2023の基調講演資料です。

RytaroTsuji

August 03, 2023
Tweet

More Decks by RytaroTsuji

Other Decks in Technology

Transcript

  1. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Enterprise Generative AI on
    CloudNative
    Retail AI X inc.
    Head of tech Ryutaro Tsuji

    View Slide

  2. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Profile
    ■ 辻 隆太郎(44)@long10lang
    ■ Retail AI X Inc. Head of Tech
    ■ 20年以上のエンジニアキャリアの中で、メインフレームで COBOLを
    書いていた時期から、 SIerで基幹系システムの受託開発や組み込み
    系開発、toC向けにWEB・アプリ開発など様々な案件に従事。前職で
    は、某レシピメディアアプリの機械学習エンジニアとして、データ基盤
    の構築および、データサイエンス、 MLOpsなどを手掛けた。

    View Slide

  3. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    TRIAL x Retail AI
    流通 ITソリューション

    View Slide

  4. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    1.What is Generative AI for?
    2.Our history of failure and TRIALs
    3.Future-Proof
    Index
    4

    View Slide

  5. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    1.What is Generative AI for?
    2.Our history of failure and TRIALs
    3.Future-Proof
    Index
    5

    View Slide

  6. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    What is Generative AI for?
    Producer or Consumer?
    提供する側か利用する側か?

    View Slide

  7. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    What is Generative AI for?
    短期記憶
    (short-term memory)
    中期記憶
    (mid-term memory)
    長期記憶
    (long-term memory)
    embedded vector
    database
    LLM fine-tuning
    LLM training
    Foundation Model API
    長期記憶か短期記憶か?
    long-term or short-term?

    View Slide

  8. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    What is Generative AI for?
    Aさん
    ChatGPT
    対話 embedded vector
    database
    Bさん
    Aさんの
    短期記憶
    対話
    Aさんと最近話した内容だ
    わ!
    ChatGPT
    Grounding
    正確な記憶?
    accurate memory?

    View Slide

  9. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    What is Generative AI for?
    大規模言語モデル
    (LLM)
    prompt & completion
    data
    容量と期間制限あり
    jsonl形式
    中期記憶
    Fine
    Tuned
    Model
    Fine-Tuning
    Aさんらしい発言ね!
    Aさん
    Bさん
    対話
    対話
    メンタルモデルのような「らしさ」
    Like a mental model.

    View Slide

  10. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    What is Generative AI for?
    Fine
    Tuned
    Model
    テキストデータ
    プロンプト
    学習結果として生成されるフィードバック
    GPT3.5
    GPT-x
    Bloom/NeoGPT
    LLaMA2
    Fine
    Tuning
    Fine
    Tuning
    Fine
    Tuning
    embedded vector
    database
    Aさん
    Bさん
    Cさん
    結果
    人間からのフィードバック学習による強化学習
    RLHF(Reinforcement Learning from Human Feedback)
    RLHF

    View Slide

  11. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    What is Generative AI for?
    stanfordの論文より転載
    ゼロショット(Zero-Shot)
    またはフューショット(Few-Shot)学習
    引用論文“Scaling Laws for Neural Language Models”(Jared
    Kaplan, et al. @ OpenAI, arXiv, 2020.)
    スケーリング則
    “量”が増えれば”質”が変わる
    More is Different. - P.W. Anderson -

    View Slide

  12. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    What is Generative AI for?
    対象論文から抜粋
    Foundation Model(基盤モデル) GPT-3の生成に用いられた基盤モデルの概要
    対象論文から抜粋
    演奏してみて、後で教えてあげる
    I’ll play it, and tell you what it is later. - Miles Davis Quintet -

    View Slide

  13. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    1.What is Generative AI for?
    2.Our history of failure and TRIALs
    3.Future-Proof
    Index
    13

    View Slide

  14. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Our history of failure and TRIALs
    成長のスピードに処理が追いつけない
    Accuracy and Performance Challenges

    View Slide

  15. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Our history of failure and TRIALs
    内製DB「e3SMART」の開発
    Replaced by in-house developed database "e3SMART".

    View Slide

  16. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Our history of failure and TRIALs
    ”独自”過ぎるあまり”標準”に適応できず
    Too proprietary and not standardly available.
    JDBC
    不可
    SQL
    不可
    API接続
    不可
    クラウド化
    困難
    開発者
    確保
    開発者
    確保困難
    ハードウェア
    費用
    ハードウェア
    費用UP
    保存コスト
    Down
    パフォーマン
    スUP

    View Slide

  17. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Our history of failure and TRIALs
    使わない大量の動画
    Unable to use a large amount of video.
    店舗にカメラを大量に設置
    ハイスペックServer
    CPU160core
    GPU4台
    動画の使いどころが見い
    だせず、店舗の片隅に眠
    る。

    View Slide

  18. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    1.What is Generative AI for?
    2.Our history of failure and TRIALs
    3.Future-Proof
    Index
    18

    View Slide

  19. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Future-Proof
    コストバランスを調整する
    Adjust cost balance.
    いま必要 いずれ必要
    他社サービス活用
    ex.) OpenAI
    API
    function call
    code interpriter
    基盤モデル
    構築
    独自価値

    View Slide

  20. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Future-Proof
    新たな精度の考え方に順応する
    Adapting to more difficult accuracy assessments
    Catastrophic Forgetting contamination detect
    TDA, KLdivergence, etc…
    ドメイン増分, クラス増分, etc…
    RLHF
    KLdivergence, HITL, etc…

    View Slide

  21. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Future-Proof
    可観測性がますます重要
    Engineering is observability itself.
    experimentation
    Catastrophic Forgetting

    contamination detect
    RLHF


    production
    Model Validation(ドメイン増分, クラス増分)
    Vector Validation(TDA, KLdivergence)
    observability
    cilium service mesh(eBPF)

    View Slide

  22. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Future-Proof
    Chisel(掘鑿)
    Assets(資産)
    UserAssets
    (顧客理解)
    ItemAssets
    (商品理解)
    StoreAssets
    (店舗理解)
    Distillation(蒸留)
    GenerativeAI
    (生成AI)
    Math
    Optimization
    (数理最適化)
    ML(機械学習)
    TDA
    (トポロジカル解析)
    Data(資源)
    User
    FeatureStore
    Item
    FeatureStore
    Store
    FeatureStore
    camera
    shopper streaming
    shelf observability
    sensor
    Lider, beacon
    PACER, IEM
    j-mora
    jan
    feature(特徴)
    popular(人気)
    matelial(素材)
    journey(変遷)
    InStore
    cart log, shopping
    id-pos
    outStore
    event log, opt-in data
    payment(su-pay, ec)
    App Value(価値)
    CX
    (顧客体験)
    Job Crafting
    (従業員体験)
    SFA
    (営業支援)
    Engagement

    View Slide

  23. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Future-Proof
    全体の流れを一気通貫でできる
    The whole process can be done in one go.
    テキスト
    カメラ
    画像・動画
    音声
    構造データ
    センサー
    e3SMART
    で超高速
    Train
    FIne-tuning
    A社 B社 C社
    チャット
    感情分析
    情報検索
    画像分析
    物体検知
    空間認識
    自社
    ハンディ
    端末
    商品マスタ
    棚割り
    カート
    オペレーションドリブン
    ポイント1 ポイント2

    View Slide

  24. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Thank you for your attention.

    View Slide