Mercari ML Meetup

How Mercari achieves machine learning engineering and operation.

Transcript

1. メルカリ 機械学習 開発 ㊙話 2018/10/26 Mercari ML Meetup 株式会社メルカリ 機械学習エンジニア 澁井雄介
2. Agenda ❖ Topic: 違反検知 ➢ Mercari ML Secret No. 1 ~Modelling~ ➢ Mercari ML Secret No. 2 ~SysML~
3. $whoami • 澁井 雄介 : @shibuiwilliam or @cvusk ◦ 株式会社メルカリ 機械学習エンジニア • 経歴 ◦ 文学修士(イギリス旅行史) →富士通→IBM→SAS→パナソニック ◦ 株式会社メルカリ ▪ 機械学習によるサービス改善 ▪ 機械学習プラットフォーム開発 cat : 0.55 dog: 0.45 文系 : 0.60 理系 : 0.40 Object Detection
4. クイズ！？ 伊能忠敬 ドラクエ６ 機械学習 エンジニア 共通点は？？
5. 正解は！？ 伊能忠敬 ドラクエ６ 機械学習 エンジニア 地図を作る 江戸時代に 日本中を歩いて測量し、 初の日本地図を作った人 行ったことのある場所が 書き込まれていく 「不思議な地図」 未知の特徴空間を 探索する！？
6. メルカリが保有するデータ規模 数十万出品 ／日
7. 違反出品を探せ • C2Cのデータは未知のデータ。ところどころ靄がかっている。 書籍 玩具 メンズ レディース 電化製品 消費財 文房具 家具
8. 違反出品を探せ • C2Cのデータは未知のデータ。ところどころ靄がかっている。 書籍 玩具 メンズ レディース 電化製品 消費財 文房具 家具
9. 機械学習で解決したい課題 「安全に」 • 大量多カテゴリの超不均衡データの中から違反出品を検知する 「素早く」 • 新たな違反出品の検知に素早く追随する
10. 多値分類による違反出品検出 • ベースモデル: 単純な特徴量の連結を行い線形モデル mAP: 0.7487 • マルチモーダル: CNNとMLPによる特徴量を concat → MLP mAP: 0.7690 max-pooling → MLP mAP: 0.7704 安全に!
11. 多値分類の課題 1. 商品カテゴリによって特徴空間が違う。 2. 時間とともに特徴空間が変わる。 3. 違反カテゴリによって緊急度と対応が違う。 安全に! ？
12. 特定カテゴリ二値分類による違反出品検出 • 特定のカテゴリに特化した違反出品検出器を二値分類で実装 安全に! Binary classifier for a certain category Binary classifier for a certain category Binary classifier for a certain category Binary classifier for a certain category 0 0 1 0 Different model per objective Different training process per model ・・・ !!
13. • Machine learning in cyclic workflow 目指すは機械学習をE2Eでカバーするプラットフォーム 素早く! Deploy Monitoring Evaluation Hyper parameter optimization Re-Training Training Hyper parameter optimization import tensorflow as tf def neural_net(x_dict): x = x_dict['images'] layer_1 = tf.layers.dense(x, n_hidden_1) layer_2 = tf.layers.dense(layer_1, n_hidden_2) out_layer = tf.layers.dense(layer_2, num_classes) return out_layer ...
14. 日中はコーディング→学習→デプロイを効率化 素早く! Deploy Training Hyper parameter optimization import tensorflow as tf def neural_net(x_dict): x = x_dict['images'] layer_1 = tf.layers.dense(x, n_hidden_1) layer_2 = tf.layers.dense(layer_1, n_hidden_2) out_layer = tf.layers.dense(layer_2, num_classes) return out_layer ...
15. Search Space Katib Grid Search Random Search Bayesian Optimization Hyperband Optimization Genetic Algorithm(coming soon) • Optimization distributed on Kubernetes cluster to search for the best ML parameters • Automatically distributed over cluster • Efficiently searches for the optimized parameters • Early stopping once reached target https://github.com/kubeflow/katib
16. 夜間は運用を自動化するContinuous Deployment 素早く! Istio Deploy Monitoring Evaluation Hyper parameter optimization Re-Training
17. 目指すは機械学習とオペレーションをカバーするプラットフォーム 品質と再利用性 モデルの パフォーマンス維持 正しい 教師データの蓄積
18. 行き着いたのは「まっとうな」コーディングと業務設計 if readable and high_acc: return “PR” else: return “refactor” Anomaly data table
19. Takeaways! ❖ 「安全に」メルカリを使っていただくための違反出品検知 ➢ 日々更新される多様なデータを、カテゴリに特化した二値分類で検知する ❖ 「素早く」メルカリを改善するためのE2E機械学習プラットフォーム ➢ オペレーションと協力してモデル追加とチューニングを効率化する