メルペイでのML Ops / merpay-2

2018/9/5 に開催された「merpay×M3 機械学習 NIGHT」の発表資料です。
https://mercari.connpass.com/event/97213/
#merpay_ml

Transcript

1. @sugar1023
   メルペイ ps
   merpay ✕ M3 機械学習 NIGHT
   2018 / 09 / 05
   

   View Slide

2. 18
   Copyright © Merpay, Inc. All Rights Reserved.
   2017年4月〜 : ヤフー いろいろ
   2018年6月〜 : メルペイ
   2015年4月〜 : 大学院
   自己紹介
   氏名: 佐藤 貴之@sugar1023_
   経歴
   入社し 3ヶ月が
   経ちました
   所属: achine earning Engineer
   

   View Slide

3. 19
   Copyright © Merpay, Inc. All Rights Reserved.
   伝えたいこ
   チーム 分析&モデリングを
   スケーラブル ！！
   『誰 もサクッ タスク 取りかかれる』
   そん 環境を目指しました
   

   View Slide

4. 基盤まわり
   

   View Slide

5. 21
   Copyright © Merpay, Inc. All Rights Reserved.
   採用し いる主 技術
   Docker
   ubernetes Engine Cloud torage Container egistry
   pinnaker circleci
   

   View Slide

6. アーキテクチャ 全容
   「機械学習エンジニアが行う作業 、
   　特徴量追加 ull equest を作るだけ す。」
   だいたい自動化
   

   View Slide

7. 23
   Copyright © Merpay, Inc. All Rights Reserved.
   開発環境 再現性を担保
   基本的 Dockerイメージ 管理
   「 ython 2系こそ至高」 「辞書 Eologd使っ ます！
   ただしバージョン 知ら 」
   「pip condaがごっちゃ りました」
   環境構築 困るこ 極力 くす気持ち
   

   View Slide

8. 分析&モデリングまわり
   

   View Slide

9. 25
   Copyright © Merpay, Inc. All Rights Reserved.
   データ Big ueryやGC
   データへ アクセシビリティよき
   クエリ メンバー間 共有
   一度作成した特徴量&モデルを管理
   同じ設定 クエリや特徴量、モデル 作成をし い
   

   View Slide

10. 自作モジュール 挙動 を意識
    scikit-learn
    load_hoge 類似！！
    例: Big ueryから学習/評価用 データを抽出する関数
    慣れ親しんだインターフェース 学習コスト↓↓
    

    View Slide

11. 27
    Copyright © Merpay, Inc. All Rights Reserved.
    モデルを組んだらpipeline
    sklearn pipelineオブジェクトを用意し union
    特徴量加工処理を簡単 共有・追加削除・再現 きる！
    

    View Slide

12. 28
    Copyright © Merpay, Inc. All Rights Reserved.
    ま め
    スケールするチームを目指し ！！
    ・自動化され い 、かつ再現性 高い環境を構築し
    ・各モジュールも使いやすく
    ・分析&モデリング 分担を容易
    

    View Slide