Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Mercari ML Platform
Search
Hirofumi Nakagawa/中河 宏文
November 02, 2018
Technology
18k
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Mercari ML Platform
Hirofumi Nakagawa/中河 宏文
November 02, 2018
Transcript
29 slides
Mercari ML Platform
自己紹介 • Hirofumi Nakagawa(hnakagawa) • 2017年7月入社 • 所属はSRE • デバイスドライバ開発からフロントエ
ンド開発までやる何でも屋 • NOT MLエンジニア
Kubernetes CLI Image builder Cluster Pipeline Engine Dashboard Metrics Runner
Component Mercari ML Component ML platform architecture
Kubernetes CLI Image builder Cluster Pipeline Engine Dashboard Metrics Runner
Component Mercari ML Component
Container imageを自動でbuild。利用者がDockerfileを 書く必要は極力無いようにしてある Cluster Pipeline Engine CLI/Image builder Metrics Clusterリソースを管理し、container化されたData
Pipelineを実行する Prometheus使用している。ML modelに関するmetrics を取得
Kubernetes CLI Image builder Cluster Pipeline Engine Dashboard Metrics Runner
Component Mercari ML Component
前処理や分類器をContainer Pipelineで実行できるよう にコンポーネント化したもの Runner ML Component Mercari ML Component Training/Serving環境でcluster環境とlocal環境の差を
埋める データ・ソースやitem分類等、社内利用に特化したコン ポーネント
Container Based Pipeline
DataSource Image Text Preprocessing Image PV Picture Preprocessing Image PV
PV Estimator Image 全ての出力はPVに保存されキャッ シュとしても利用できる
Model Training & Serving Workflow
CI Training Cluster Job ・・・ Model Repository Job Job Serving
Cluster REST API TF Serving Faiss ・・・ 全てのModelが version管理 & image化されている
Serving Architecture
Mercari API Flask SK Model SK Model SK Model TensorFlow
Serving TF Model TF Model TF Model Virtual Service Basic serving API architecture
Streaming serving API architecture Flask SK Model SK Model SK
Model TensorFlow Serving TF Model TF Model TF Model Virtual Service Proxy
A/B Test Architecture
Model Service A Virtual Service Model Service B Mercari API
90% 10% Model API is activated by Istio
Common Problems of Model Serving
Huge model file vs container image • 巨大なMLモデルファイルをimageに含めるか否か • 含めないのであれば何処に配置するのか
• ポータビリティとロード時間のトレードオフ
Effective memory usage • 数GB程度のメモリを使用するのは普通 • プロセス毎にモデルをロードする必要がある環境は辛い • Copy on
Write(CoW)を利かす工夫が必要
In Progress
モデル評価と ReTrainingの自動化 モデル生成の 自動化 本番環境への自動 Deploy Architecture searchやHyper parameter optimization
によって簡単なモデル生成を自動化・簡素化 生成されたモデルを本番環境へ自動Deployし、最も良 いモデルが自動選択される 高度な自動化 運用中のモデルの評価/可視化、Re-Trainingを高度化・ 自動化する
ML Continuous Deployment Deploy Monitoring Evaluation Hyper parameter optimization Re-Training
リリース後も 精度監視・Hyper parameterチューニング・Re-training・Deployを自 動で行う
AutoFlow Feature Extraction Components Concatenation Components Classification Components Model Builder
Component Repository
In Future
Edge Device Democratization of AI Further Automation Future Plans
Edge Device • TensorFlow LiteやCore ML等Edgeサイドでpredictionを行える環 境が整ってきた • EdgeでのpredictionはUX上大きなメリットがあると考えている •
調査・研究を進めているので今後に乞うご期待?
Democratization of AI • 多くのモデルが求められている • MLエンジニア以外もモデルを作れるようにする • DataPlatformと合せて環境を整備する必要
Further Automation • 近い将来、数千〜のモデル運用を行う必要がある • さらなる高度な自動化が不可欠
None
More Decks by Hirofumi Nakagawa/中河 宏文
See All by Hirofumi Nakagawa/中河 宏文
IoTデバイスでMLモデルを動かす技術
hnakagawa
0
260
Kanazawa_AI.pdf
hnakagawa
0
250
メルカリ写真検索における Amazon EKS の活用事例と プロダクトにおけるEdgeAI technologyの展望
hnakagawa
4
9.3k
メルカリの写真検索を支えるバックエンド CCSE 2019 version
hnakagawa
0
400
メルカリ写真検索における Amazon EKS の活用事例
hnakagawa
6
30k
メルカリの写真検索を支えるバックエンド
hnakagawa
1
1.2k
mlct.pdf
hnakagawa
2
2.1k
機械学習によるマーケット健全化施策を支える技術
hnakagawa
0
290
メルカリのマーケット健全化施策を支えるML基盤
hnakagawa
10
9.3k
Other Decks in Technology
See All in Technology
Datadog の権限統制 〜Org 統合に向けて調べた注意点 / JDDUG-Meetup_24
visional_engineering_and_design
1
190
エンタープライズIAMについて - ID・権限をどう統制するか
oidfj
1
210
Kansai WordPress Meetup@大阪『ブロックテーマを作る上で知っておくべきこと
torounit
0
250
会社説明資料_最新版
demaecan
0
32k
WasmをRustにする技術
sansantech
PRO
1
120
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
17
120k
コピーオンライト型ファイルシステムと ランダム書き込み
sat
PRO
2
130
2026-11-16 JAWS-UG コンテナ支部 #31 ゆるLT大会 ECR のライフサイクルポリシーを いい感じに設定したい / ECR Lifecycle policy
masasuzu
3
540
自動計装なしでECSサービスをApplication Signalsに載せるまで
ota1022
2
420
業務の傍らで進める改善ループエンジニアリング
bengo4com
1
200
LLM 基盤と kagent v0 を全部 k8s に入れてみた / Deploy both LLM and kagent v0 in k8s
kota2and3kan
0
240
メール到達性を支える、リンク先URLのドメイン評価の扱い方
wind111
0
170
Featured
See All Featured
Claude Code のすすめ
schroneko
67
230k
A brief & incomplete history of UX Design for the World Wide Web: 1989–2019
jct
2
570
Gemini Prompt Engineering: Practical Techniques for Tangible AI Outcomes
mfonobong
2
640
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
11
1.1k
KATA
mclloyd
PRO
35
16k
Game over? The fight for quality and originality in the time of robots
wayneb77
1
330
Measuring & Analyzing Core Web Vitals
bluesmoon
9
1.1k
SEOcharity - Dark patterns in SEO and UX: How to avoid them and build a more ethical web
sarafernandez
0
340
The State of eCommerce SEO: How to Win in Today's Products SERPs - #SEOweek
aleyda
2
12k
Why You Should Never Use an ORM
jnunemaker
PRO
61
10k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
28
3.8k
How To Speak Unicorn (iThemes Webinar)
marktimemedia
1
640