Enterprise Generative AI on CloudNative

CloudNative days fukuoka 2023の基調講演資料です。

Transcript

1. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential Enterprise Generative AI on CloudNative Retail AI X inc. Head of tech Ryutaro Tsuji
2. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential Profile ▪ 辻 隆太郎（44）@long10lang ▪ Retail AI X Inc. Head of Tech ▪ 20年以上のエンジニアキャリアの中で、メインフレームで COBOLを 書いていた時期から、 SIerで基幹系システムの受託開発や組み込み 系開発、toC向けにWEB・アプリ開発など様々な案件に従事。前職で は、某レシピメディアアプリの機械学習エンジニアとして、データ基盤 の構築および、データサイエンス、 MLOpsなどを手掛けた。
3. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential TRIAL x Retail AI 流通 ITソリューション
4. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential １．What is Generative AI for? ２．Our history of failure and TRIALs ３．Future-Proof Index 4
5. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential １．What is Generative AI for? ２．Our history of failure and TRIALs ３．Future-Proof Index 5
6. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential What is Generative AI for? Producer or Consumer? 提供する側か利用する側か？
7. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential What is Generative AI for? 短期記憶 (short-term memory) 中期記憶 (mid-term memory) 長期記憶 (long-term memory) embedded vector database LLM fine-tuning LLM training Foundation Model API 長期記憶か短期記憶か？ long-term or short-term?
8. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential What is Generative AI for? Aさん ChatGPT 対話 embedded vector database Bさん Aさんの 短期記憶 対話 Aさんと最近話した内容だ わ！ ChatGPT Grounding 正確な記憶？ accurate memory?
9. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential What is Generative AI for? 大規模言語モデル （LLM） prompt & completion data 容量と期間制限あり jsonl形式 中期記憶 Fine Tuned Model Fine-Tuning Aさんらしい発言ね！ Aさん Bさん 対話 対話 メンタルモデルのような「らしさ」 Like a mental model.
10. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential What is Generative AI for? Fine Tuned Model テキストデータ プロンプト 学習結果として生成されるフィードバック GPT3.5 GPT-x Bloom/NeoGPT LLaMA2 Fine Tuning Fine Tuning Fine Tuning embedded vector database Aさん Bさん Cさん 結果 人間からのフィードバック学習による強化学習 RLHF（Reinforcement Learning from Human Feedback） RLHF
11. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential What is Generative AI for? stanfordの論文より転載 ゼロショット（Zero-Shot） またはフューショット（Few-Shot）学習 引用論文“Scaling Laws for Neural Language Models”（Jared Kaplan, et al. @ OpenAI, arXiv, 2020.） スケーリング則 “量”が増えれば”質”が変わる More is Different. - P.W. Anderson -
12. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential What is Generative AI for? 対象論文から抜粋 Foundation Model（基盤モデル） GPT-3の生成に用いられた基盤モデルの概要 対象論文から抜粋 演奏してみて、後で教えてあげる I’ll play it, and tell you what it is later. - Miles Davis Quintet -
13. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential １．What is Generative AI for? ２．Our history of failure and TRIALs ３．Future-Proof Index 13
14. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential Our history of failure and TRIALs 成長のスピードに処理が追いつけない Accuracy and Performance Challenges
15. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential Our history of failure and TRIALs 内製DB「e3SMART」の開発 Replaced by in-house developed database "e3SMART".
16. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential Our history of failure and TRIALs ”独自”過ぎるあまり”標準”に適応できず Too proprietary and not standardly available. JDBC 不可 SQL 不可 API接続 不可 クラウド化 困難 開発者 確保 開発者 確保困難 ハードウェア 費用 ハードウェア 費用UP 保存コスト Down パフォーマン スUP
17. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential Our history of failure and TRIALs 使わない大量の動画 Unable to use a large amount of video. 店舗にカメラを大量に設置 ハイスペックServer CPU160core GPU4台 動画の使いどころが見い だせず、店舗の片隅に眠 る。
18. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential １．What is Generative AI for? ２．Our history of failure and TRIALs ３．Future-Proof Index 18
19. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential Future-Proof コストバランスを調整する Adjust cost balance. いま必要 いずれ必要 他社サービス活用 ex.) OpenAI API function call code interpriter 基盤モデル 構築 独自価値
20. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential Future-Proof 新たな精度の考え方に順応する Adapting to more difficult accuracy assessments Catastrophic Forgetting contamination detect TDA, KLdivergence, etc… ドメイン増分, クラス増分, etc… RLHF KLdivergence, HITL, etc…
21. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential Future-Proof 可観測性がますます重要 Engineering is observability itself. experimentation Catastrophic Forgetting
 contamination detect RLHF 
 
 production Model Validation(ドメイン増分, クラス増分) Vector Validation(TDA, KLdivergence) observability cilium service mesh(eBPF)
22. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential Future-Proof Chisel（掘鑿） Assets（資産） UserAssets （顧客理解） ItemAssets （商品理解） StoreAssets （店舗理解） Distillation（蒸留） GenerativeAI （生成AI） Math Optimization （数理最適化） ML（機械学習） TDA （トポロジカル解析） Data（資源） User FeatureStore Item FeatureStore Store FeatureStore camera shopper streaming shelf observability sensor Lider, beacon PACER, IEM j-mora jan feature（特徴） popular（人気） matelial（素材） journey（変遷） InStore cart log, shopping id-pos outStore event log, opt-in data payment(su-pay, ec) App Value（価値） CX (顧客体験) Job Crafting (従業員体験) SFA (営業支援) Engagement
23. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential Future-Proof 全体の流れを一気通貫でできる The whole process can be done in one go. テキスト カメラ 画像・動画 音声 構造データ センサー e3SMART で超高速 Train FIne-tuning A社 B社 C社 チャット 感情分析 情報検索 画像分析 物体検知 空間認識 自社 ハンディ 端末 商品マスタ 棚割り カート オペレーションドリブン ポイント１ ポイント２
24. テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential Thank you for your attention.