メルカリの機械学習基盤これまでとこれから ML Ops Study #2

Slide 1

Slide 1 text

メルカリの機械学習基盤これまでとこれから株式会社メルカリ Ryusuke Chiba @metalunk ML Ops Study #2

Slide 2

Slide 2 text

筑波大学 (学部) 筑波大学 (院) メルカリグリー 2013 2015 2017 自己紹介 ● Ryusuke Chiba ● https://twitter.com/metalunk

Slide 3

Slide 3 text

自己紹介 ● 2013年新卒 ● GREE News の開発 ● 消滅都市の開発 ● 大学院受験をして受かったので退職筑波大学 (学部) 筑波大学 (院) メルカリグリー 2013 2015 2017

Slide 4

Slide 4 text

自己紹介 ● FAQ「なんで会社やめて大学院行ったんですか？」 ○ 筑波大学 (学部) 筑波大学 (院) メルカリグリー 2013 2015 2017

Slide 5

Slide 5 text

自己紹介 ● FAQ「なんで会社やめて大学院行ったんですか？」 ○ 筑波大学 (学部) 筑波大学 (院) メルカリグリー 2013 2015 2017 ggrks!! Google is Your Friend!!

Slide 6

Slide 6 text

自己紹介 ● 数理最適化の研究 ○ Derivative-free optimization (Nelder-Mead とか) ○ 単体上における非凸関数の大域的最適化 ● Cookpad でアルバイト ○ トクバイで筑波大学 (学部) 筑波大学 (院) メルカリグリー 2013 2015 2017

Slide 7

Slide 7 text

自己紹介 ● 2回目の新卒（中古の新卒） ● Search チーム (2017.04 - 2017.12) ○ クエリパラメータ最適化の仕組み (JP) ○ 近所検索 (US) ● 数学部部長 ○ 線形代数ゼミ，アルゴリズムゼミ，数理最適化ゼミ... 筑波大学 (学部) 筑波大学 (院) メルカリグリー 2013 2015 2017

Slide 8

Slide 8 text

自己紹介 ● CRE (Customer Reliability Engineering) と SysML ○ 2018.01 から ○ これから話す ● 量子アニーリング ○ D-wave のインターフェイスは数理最適化筑波大学 (学部) 筑波大学 (院) メルカリグリー 2013 2015 2017

Slide 9

Slide 9 text

自己紹介先日 Andrew Ng 先生の Coursera Machine Learning を卒業しましたですのでむずかしい機械学習についての質問は...

Slide 10

Slide 10 text

メルカリの機械学習基盤

Slide 11

Slide 11 text

メルカリの機械学習基盤いま • 内製のML Platform • kubernetesベース • ローカル環境とクラスタ環境の差を抽象化する • 便利API群 • 既存のML Frameworkを使用し簡単に Training/Servingを行う環境を提供 • そのうち OSS で公開予定（多分）

Slide 12

Slide 12 text

ML Platform (training cluster) CI ML Platform (serving cluster for test) Model Registry Job Job ・・ REST API Streaming TF Serving API ・・・メルカリの機械学習基盤いま

Slide 13

Slide 13 text

機械学習による商品監視

Slide 14

Slide 14 text

メルカリについて ● ダウンロード数: 世界合計1億800万ダウンロード超 (日本7,100万、米国 3,750万、英国数百万) (2018/3末時点) ● 流通額 (GMV): 日本 938億円 (2018/1-3月四半期累計) ● 利用者数 (登録MAU): 1050万人 (2018/3時点) ○ 登録MAU (Monthly Active User) は1ヶ月に一度以上利用したユーザの数 (「メルカリアッテ」「メルカリカウル」「メルカリメゾンズ」「メルチャリ」「teacha」は含まず) ● 社員数: 連結約1000人，メルカリ単体650人　 (2018/3末時点)

Slide 15

Slide 15 text

メルカリについて ● カスタマーサポート（CS） ○ お問い合わせへの対応や，違反出品物の取り締まりなど ○ 仙台，福岡にも拠点がある ● CRE (Customer Reliability Engineering) ○ 技術を駆使して，お客さまに安心して利用してもらえるサービスにしたい ■ CS のオペレーション効率化

Slide 16

Slide 16 text

商品監視安心安全なマーケットプレイスを維持するために，出品が禁止されているもの https://www.mercari.com/jp/help_center/getting_started/prohibited_items • 偽ブランド品 • 盗難品 • 18禁、アダルト、児童ポルノ関連 • 現金、金券類、カード類 • ゲームアカウントやゲーム内の通貨 • メルカリ事務局で不適切と判断されるもの • キーワード羅列 • etc...

Slide 17

Slide 17 text

商品監視これまで検索条件による検出お客さまによる通報機械学習による自動検知

Slide 18

Slide 18 text

商品監視これまで検索条件による検出お客さまによる通報機械学習による自動検知 CS によって管理（追加 & 削除）されていて，数百個もある

Slide 19

Slide 19 text

商品監視これまで検索条件による検出お客さまによる通報機械学習による自動検知本当はお客さまの目に触れる前に削除したい

Slide 20

Slide 20 text

商品監視これまで検索条件による検出お客さまによる通報機械学習による自動検知さまざまな構成で動いている ● 古い機械学習基盤とか ● マイクロサービスとか

Slide 21

Slide 21 text

商品監視いま Mercari API Machine Learning Platform publish subscribe あたらしい ML 商品監視サービス Lovemachine!!

Slide 22

Slide 22 text

商品監視いまあたらしい ML 商品監視サービス Lovemachine!! CsTool API Machine Learning Platform Mercari API Worker publish subscribe hide/report report

Slide 23

Slide 23 text

商品監視いまいくつかの既存モデルを，あたらしい ML Platform 上の商品監視サービス Lovemachine に移植中それによって得られる恩恵は • メルカリ API, CS Tool 側の共通処理 • コード品質の向上 • 再学習の仕組み • Blue-Green deploy • リソース管理 ML Platform Lovemachine

Slide 24

Slide 24 text

商品監視いま移植作業が大変だった ● Train code がない ● local でしか動かない状態の Jupyter notebook ● 身元不明の BigQuery table を読んでいる ● 身元不明の CSV を読んでいる ● DRY でない ● 線形代数の効率的な演算が使えていない（for 文がある） ● Evaluation を独立して実行できるようになっていない恩恵: コード品質の向上

Slide 25

Slide 25 text

商品監視いま問題は ● データサイエンティストとバックエンドエンジニアのスキルセットの差 ● 分析時のコードがそのまま恩恵: コード品質の向上 Lovemachine に載せたかったらある程度ちゃんとしないと載らない

Slide 26

Slide 26 text

商品監視いま ML による自動検知 CS メンバーの確認（ラベルづけ）教師データに CS 業務のフィードバックが得られる恩恵: 再学習の仕組み

Slide 27

Slide 27 text

商品監視いまデータの傾向変化に対応できるたとえば ● ゲームアカウント（新しいゲーム） ● キーワード羅列（流行）恩恵: 再学習の仕組み

Slide 28

Slide 28 text

商品監視の難しいところ違反出品は正常出品に対してとても少ない imbalanced な状態例えば一日に100万件が正常出品されるとき ● False Recall 99.000% -> 10,000件 False positive ● False Recall 99.900% -> 1,000件 False positive ● False Recall 99.990% -> 100件 False positive ● False Recall 99.999% -> 10件 False positive

Slide 29

Slide 29 text

商品監視の難しいところ閾値の決め方は問題による ● その違反がされることはどれくらい許せる? ● 検出された商品は CS がチェックする必要がある? ● 検出されると非表示になる? 通報が飛ぶ? ※開発中の画面

Slide 30

Slide 30 text

機械学習基盤これから

Slide 31

Slide 31 text

機械学習基盤これから 1. 全ての移植作業をやるわけにはいかない 2. 機械学習基盤の機能を充実させたい • 社内 AutoML を作りたい? i. Feature Extraction? ii. Black Box Optimization? 3. SysML がスキルセットの差を埋めたい • データサイエンティスト ⇔ SRE • データサイエンティスト ⇔ バックエンドエンジニア

Slide 32

Slide 32 text

We’re 超 hiring SysML https://open.talentio.com/1/c/mercari/requisitions/detail/7093