Enterprise Generative AI on CloudNative

CloudNative days fukuoka 2023の基調講演資料です。

Transcript

1. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
   Enterprise Generative AI on
   CloudNative
   Retail AI X inc.
   Head of tech Ryutaro Tsuji
   

   View Slide

2. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
   Profile
   ■ 辻 隆太郎（44）@long10lang
   ■ Retail AI X Inc. Head of Tech
   ■ 20年以上のエンジニアキャリアの中で、メインフレームで COBOLを
   書いていた時期から、 SIerで基幹系システムの受託開発や組み込み
   系開発、toC向けにWEB・アプリ開発など様々な案件に従事。前職で
   は、某レシピメディアアプリの機械学習エンジニアとして、データ基盤
   の構築および、データサイエンス、 MLOpsなどを手掛けた。
   

   View Slide

3. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
   TRIAL x Retail AI
   流通 ITソリューション
   

   View Slide

4. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
   １．What is Generative AI for?
   ２．Our history of failure and TRIALs
   ３．Future-Proof
   Index
   4
   

   View Slide

5. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
   １．What is Generative AI for?
   ２．Our history of failure and TRIALs
   ３．Future-Proof
   Index
   5
   

   View Slide

6. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
   What is Generative AI for?
   Producer or Consumer?
   提供する側か利用する側か？
   

   View Slide

7. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
   What is Generative AI for?
   短期記憶
   (short-term memory)
   中期記憶
   (mid-term memory)
   長期記憶
   (long-term memory)
   embedded vector
   database
   LLM fine-tuning
   LLM training
   Foundation Model API
   長期記憶か短期記憶か？
   long-term or short-term?
   

   View Slide

8. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
   What is Generative AI for?
   Aさん
   ChatGPT
   対話 embedded vector
   database
   Bさん
   Aさんの
   短期記憶
   対話
   Aさんと最近話した内容だ
   わ！
   ChatGPT
   Grounding
   正確な記憶？
   accurate memory?
   

   View Slide

9. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
   What is Generative AI for?
   大規模言語モデル
   （LLM）
   prompt & completion
   data
   容量と期間制限あり
   jsonl形式
   中期記憶
   Fine
   Tuned
   Model
   Fine-Tuning
   Aさんらしい発言ね！
   Aさん
   Bさん
   対話
   対話
   メンタルモデルのような「らしさ」
   Like a mental model.
   

   View Slide

10. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    What is Generative AI for?
    Fine
    Tuned
    Model
    テキストデータ
    プロンプト
    学習結果として生成されるフィードバック
    GPT3.5
    GPT-x
    Bloom/NeoGPT
    LLaMA2
    Fine
    Tuning
    Fine
    Tuning
    Fine
    Tuning
    embedded vector
    database
    Aさん
    Bさん
    Cさん
    結果
    人間からのフィードバック学習による強化学習
    RLHF（Reinforcement Learning from Human Feedback）
    RLHF
    

    View Slide

11. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    What is Generative AI for?
    stanfordの論文より転載
    ゼロショット（Zero-Shot）
    またはフューショット（Few-Shot）学習
    引用論文“Scaling Laws for Neural Language Models”（Jared
    Kaplan, et al. @ OpenAI, arXiv, 2020.）
    スケーリング則
    “量”が増えれば”質”が変わる
    More is Different. - P.W. Anderson -
    

    View Slide

12. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    What is Generative AI for?
    対象論文から抜粋
    Foundation Model（基盤モデル） GPT-3の生成に用いられた基盤モデルの概要
    対象論文から抜粋
    演奏してみて、後で教えてあげる
    I’ll play it, and tell you what it is later. - Miles Davis Quintet -
    

    View Slide

13. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    １．What is Generative AI for?
    ２．Our history of failure and TRIALs
    ３．Future-Proof
    Index
    13
    

    View Slide

14. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Our history of failure and TRIALs
    成長のスピードに処理が追いつけない
    Accuracy and Performance Challenges
    

    View Slide

15. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Our history of failure and TRIALs
    内製DB「e3SMART」の開発
    Replaced by in-house developed database "e3SMART".
    

    View Slide

16. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Our history of failure and TRIALs
    ”独自”過ぎるあまり”標準”に適応できず
    Too proprietary and not standardly available.
    JDBC
    不可
    SQL
    不可
    API接続
    不可
    クラウド化
    困難
    開発者
    確保
    開発者
    確保困難
    ハードウェア
    費用
    ハードウェア
    費用UP
    保存コスト
    Down
    パフォーマン
    スUP
    

    View Slide

17. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Our history of failure and TRIALs
    使わない大量の動画
    Unable to use a large amount of video.
    店舗にカメラを大量に設置
    ハイスペックServer
    CPU160core
    GPU4台
    動画の使いどころが見い
    だせず、店舗の片隅に眠
    る。
    

    View Slide

18. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    １．What is Generative AI for?
    ２．Our history of failure and TRIALs
    ３．Future-Proof
    Index
    18
    

    View Slide

19. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Future-Proof
    コストバランスを調整する
    Adjust cost balance.
    いま必要 いずれ必要
    他社サービス活用
    ex.) OpenAI
    API
    function call
    code interpriter
    基盤モデル
    構築
    独自価値
    

    View Slide

20. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Future-Proof
    新たな精度の考え方に順応する
    Adapting to more difficult accuracy assessments
    Catastrophic Forgetting contamination detect
    TDA, KLdivergence, etc…
    ドメイン増分, クラス増分, etc…
    RLHF
    KLdivergence, HITL, etc…
    

    View Slide

21. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Future-Proof
    可観測性がますます重要
    Engineering is observability itself.
    experimentation
    Catastrophic Forgetting

    contamination detect
    RLHF
    

    

    production
    Model Validation(ドメイン増分, クラス増分)
    Vector Validation(TDA, KLdivergence)
    observability
    cilium service mesh(eBPF)
    

    View Slide

22. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Future-Proof
    Chisel（掘鑿）
    Assets（資産）
    UserAssets
    （顧客理解）
    ItemAssets
    （商品理解）
    StoreAssets
    （店舗理解）
    Distillation（蒸留）
    GenerativeAI
    （生成AI）
    Math
    Optimization
    （数理最適化）
    ML（機械学習）
    TDA
    （トポロジカル解析）
    Data（資源）
    User
    FeatureStore
    Item
    FeatureStore
    Store
    FeatureStore
    camera
    shopper streaming
    shelf observability
    sensor
    Lider, beacon
    PACER, IEM
    j-mora
    jan
    feature（特徴）
    popular（人気）
    matelial（素材）
    journey（変遷）
    InStore
    cart log, shopping
    id-pos
    outStore
    event log, opt-in data
    payment(su-pay, ec)
    App Value（価値）
    CX
    (顧客体験)
    Job Crafting
    (従業員体験)
    SFA
    (営業支援)
    Engagement
    

    View Slide

23. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Future-Proof
    全体の流れを一気通貫でできる
    The whole process can be done in one go.
    テキスト
    カメラ
    画像・動画
    音声
    構造データ
    センサー
    e3SMART
    で超高速
    Train
    FIne-tuning
    A社 B社 C社
    チャット
    感情分析
    情報検索
    画像分析
    物体検知
    空間認識
    自社
    ハンディ
    端末
    商品マスタ
    棚割り
    カート
    オペレーションドリブン
    ポイント１ ポイント２
    

    View Slide

24. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential
    Thank you for your attention.
    

    View Slide