MTC2018 - Mercari ML Platform

Speaker: 中河 宏文

メルカリでは多数の機械学習モデル(以下MLモデル)を運用しています。
MLモデルは構築後も継続的な評価・再トレーニング・チューニングが必要で、高度に自動化された仕組み無しでは多数のMLモデルを運用できません。
本セッションではそれらの基盤と自動化の仕組み等、現状と開発中の物について話します。

Transcript

1. Mercari ML Platform 中河 宏文 Software Engineer (SRE)
2. Software Engineer SRE Hirofumi Nakagawa
3. Mercari ML Platform
4. Kubernetes CLI Image builder Cluster Pipeline Engine Dashboard Metrics Runner Component Mercari ML Component ML platform architecture
5. Kubernetes CLI Image builder Cluster Pipeline Engine Dashboard Metrics Runner Component Mercari ML Component
6. Container imageを自動でbuild。利用者がDockerfileを 書く必要は極力無いようにしてある Cluster Pipeline Engine CLI/Image builder Metrics Clusterリソースを管理し、container化されたData Pipelineを実行する Prometheus使用している。ML modelに関するmetrics を取得
7. Kubernetes CLI Image builder Cluster Pipeline Engine Dashboard Metrics Runner Component Mercari ML Component
8. 前処理や分類器をContainer Pipelineで実行できるよう にコンポーネント化したもの Runner ML Component Mercari ML Component Training/Serving環境でcluster環境とlocal環境の差を 埋める データ・ソースやitem分類等、社内利用に特化したコン ポーネント
9. Container Based Pipeline
10. DataSource Image Text　 Preprocessing Image PV Picture　 Preprocessing Image PV PV Estimator Image 全ての出力はPVに保存されキャッ シュとしても利用できる
11. Model Training & Serving Workflow
12. CI Training Cluster Job ・・・ Model Repository Job Job Serving Cluster REST API TF Serving Faiss ・・・ 全てのModelが version管理 & image化されている
13. Serving Architecture
14. Mercari API Flask SK Model SK Model SK Model TensorFlow Serving TF Model TF Model TF Model Virtual Service Basic serving API architecture
15. Streaming serving API architecture Flask SK Model SK Model SK Model TensorFlow Serving TF Model TF Model TF Model Virtual Service Proxy
16. A/B Test Architecture
17. Model Service A　 Virtual Service Model Service B　 Mercari API 90% 10% Model API is activated by Istio
18. Common Problems of Model Serving
19. Huge model file vs container image • 巨大なMLモデルファイルをimageに含めるか否か • 含めないのであれば何処に配置するのか • ポータビリティとロード時間のトレードオフ
20. Effective memory usage • 数GB程度のメモリを使用するのは普通 • プロセス毎にモデルをロードする必要がある環境は辛い • Copy on Write(CoW)を利かす工夫が必要
21. In Progress
22. モデル評価と ReTrainingの自動化 モデル生成の 自動化 本番環境への自動 Deploy Architecture searchやHyper parameter optimization によって簡単なモデル生成を自動化・簡素化 生成されたモデルを本番環境へ自動Deployし、最も良 いモデルが自動選択される 高度な自動化 運用中のモデルの評価/可視化、Re-Trainingを高度化・ 自動化する
23. ML Continuous Deployment Deploy Monitoring Evaluation Hyper parameter optimization Re-Training リリース後も 精度監視・Hyper parameterチューニング・Re-training・Deployを自 動で行う
24. AutoFlow Feature Extraction Components Concatenation Components Classification Components Model Builder Component Repository
25. In Future
26. Edge Device Democratization of AI Further Automation Future Plans
27. Edge Device • TensorFlow LiteやCore ML等Edgeサイドでpredictionを行える環 境が整ってきた • EdgeでのpredictionはUX上大きなメリットがあると考えている • 調査・研究を進めているので今後に乞うご期待?
28. Demo
29. Democratization of AI • 多くのモデルが求められている • MLエンジニア以外もモデルを作れるようにする • DataPlatformと合せて環境を整備する必要
30. Further Automation • 近い将来、数千〜のモデル運用を行う必要がある • さらなる高度な自動化が不可欠