CloudNative days fukuoka 2023の基調講演資料です。
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & ConfidentialEnterprise Generative AI onCloudNativeRetail AI X inc.Head of tech Ryutaro Tsuji
View Slide
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & ConfidentialProfile■ 辻 隆太郎(44)@long10lang■ Retail AI X Inc. Head of Tech■ 20年以上のエンジニアキャリアの中で、メインフレームで COBOLを書いていた時期から、 SIerで基幹系システムの受託開発や組み込み系開発、toC向けにWEB・アプリ開発など様々な案件に従事。前職では、某レシピメディアアプリの機械学習エンジニアとして、データ基盤の構築および、データサイエンス、 MLOpsなどを手掛けた。
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & ConfidentialTRIAL x Retail AI流通 ITソリューション
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential1.What is Generative AI for?2.Our history of failure and TRIALs3.Future-ProofIndex4
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential1.What is Generative AI for?2.Our history of failure and TRIALs3.Future-ProofIndex5
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & ConfidentialWhat is Generative AI for?Producer or Consumer?提供する側か利用する側か?
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & ConfidentialWhat is Generative AI for?短期記憶(short-term memory)中期記憶(mid-term memory)長期記憶(long-term memory)embedded vectordatabaseLLM fine-tuningLLM trainingFoundation Model API長期記憶か短期記憶か?long-term or short-term?
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & ConfidentialWhat is Generative AI for?AさんChatGPT対話 embedded vectordatabaseBさんAさんの短期記憶対話Aさんと最近話した内容だわ!ChatGPTGrounding正確な記憶?accurate memory?
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & ConfidentialWhat is Generative AI for?大規模言語モデル(LLM)prompt & completiondata容量と期間制限ありjsonl形式中期記憶FineTunedModelFine-TuningAさんらしい発言ね!AさんBさん対話対話メンタルモデルのような「らしさ」Like a mental model.
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & ConfidentialWhat is Generative AI for?FineTunedModelテキストデータプロンプト学習結果として生成されるフィードバックGPT3.5GPT-xBloom/NeoGPTLLaMA2FineTuningFineTuningFineTuningembedded vectordatabaseAさんBさんCさん結果人間からのフィードバック学習による強化学習RLHF(Reinforcement Learning from Human Feedback)RLHF
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & ConfidentialWhat is Generative AI for?stanfordの論文より転載ゼロショット(Zero-Shot)またはフューショット(Few-Shot)学習引用論文“Scaling Laws for Neural Language Models”(JaredKaplan, et al. @ OpenAI, arXiv, 2020.)スケーリング則“量”が増えれば”質”が変わるMore is Different. - P.W. Anderson -
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & ConfidentialWhat is Generative AI for?対象論文から抜粋Foundation Model(基盤モデル) GPT-3の生成に用いられた基盤モデルの概要対象論文から抜粋演奏してみて、後で教えてあげるI’ll play it, and tell you what it is later. - Miles Davis Quintet -
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential1.What is Generative AI for?2.Our history of failure and TRIALs3.Future-ProofIndex13
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & ConfidentialOur history of failure and TRIALs成長のスピードに処理が追いつけないAccuracy and Performance Challenges
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & ConfidentialOur history of failure and TRIALs内製DB「e3SMART」の開発Replaced by in-house developed database "e3SMART".
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & ConfidentialOur history of failure and TRIALs”独自”過ぎるあまり”標準”に適応できずToo proprietary and not standardly available.JDBC不可SQL不可API接続不可クラウド化困難開発者確保開発者確保困難ハードウェア費用ハードウェア費用UP保存コストDownパフォーマンスUP
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & ConfidentialOur history of failure and TRIALs使わない大量の動画Unable to use a large amount of video.店舗にカメラを大量に設置ハイスペックServerCPU160coreGPU4台動画の使いどころが見いだせず、店舗の片隅に眠る。
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & Confidential1.What is Generative AI for?2.Our history of failure and TRIALs3.Future-ProofIndex18
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & ConfidentialFuture-Proofコストバランスを調整するAdjust cost balance.いま必要 いずれ必要他社サービス活用ex.) OpenAIAPIfunction callcode interpriter基盤モデル構築独自価値
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & ConfidentialFuture-Proof新たな精度の考え方に順応するAdapting to more difficult accuracy assessmentsCatastrophic Forgetting contamination detectTDA, KLdivergence, etc…ドメイン増分, クラス増分, etc…RLHFKLdivergence, HITL, etc…
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & ConfidentialFuture-Proof可観測性がますます重要Engineering is observability itself.experimentationCatastrophic Forgetting contamination detectRLHF productionModel Validation(ドメイン増分, クラス増分)Vector Validation(TDA, KLdivergence)observabilitycilium service mesh(eBPF)
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & ConfidentialFuture-ProofChisel(掘鑿)Assets(資産)UserAssets(顧客理解)ItemAssets(商品理解)StoreAssets(店舗理解)Distillation(蒸留)GenerativeAI(生成AI)MathOptimization(数理最適化)ML(機械学習)TDA(トポロジカル解析)Data(資源)UserFeatureStoreItemFeatureStoreStoreFeatureStorecamerashopper streamingshelf observabilitysensorLider, beaconPACER, IEMj-morajanfeature(特徴)popular(人気)matelial(素材)journey(変遷)InStorecart log, shoppingid-posoutStoreevent log, opt-in datapayment(su-pay, ec)App Value(価値)CX(顧客体験)Job Crafting(従業員体験)SFA(営業支援)Engagement
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & ConfidentialFuture-Proof全体の流れを一気通貫でできるThe whole process can be done in one go.テキストカメラ画像・動画音声構造データセンサーe3SMARTで超高速TrainFIne-tuningA社 B社 C社チャット感情分析情報検索画像分析物体検知空間認識自社ハンディ端末商品マスタ棚割りカートオペレーションドリブンポイント1 ポイント2
テクノロジーによって、新時代の買い物体験を生み出し、 流通の仕組みを革新する。 © Retail AI Inc. Proprietary & ConfidentialThank you for your attention.