メルペイでのML Ops / merpay-2

メルペイでのML Ops / merpay-2

2018/9/5 に開催された「merpay×M3 機械学習 NIGHT」の発表資料です。
https://mercari.connpass.com/event/97213/
#merpay_ml

F33a4157978cd59d5417ae69b0265943?s=128

M3 Engineering

September 05, 2018
Tweet

Transcript

  1. @sugar1023 メルペイ ps merpay ✕ M3 機械学習 NIGHT 2018 /

    09 / 05
  2. 18 Copyright © Merpay, Inc. All Rights Reserved. 2017年4月〜 :

    ヤフー いろいろ 2018年6月〜 : メルペイ 2015年4月〜 : 大学院 自己紹介 氏名: 佐藤 貴之@sugar1023_ 経歴 入社し 3ヶ月が 経ちました 所属: achine earning Engineer
  3. 19 Copyright © Merpay, Inc. All Rights Reserved. 伝えたいこ チーム

    分析&モデリングを スケーラブル !! 『誰 もサクッ タスク 取りかかれる』 そん 環境を目指しました
  4. 基盤まわり

  5. 21 Copyright © Merpay, Inc. All Rights Reserved. 採用し いる主

    技術 Docker ubernetes Engine Cloud torage Container egistry pinnaker circleci
  6. アーキテクチャ 全容 「機械学習エンジニアが行う作業 、  特徴量追加 ull equest を作るだけ す。」 だいたい自動化

  7. 23 Copyright © Merpay, Inc. All Rights Reserved. 開発環境 再現性を担保

    基本的 Dockerイメージ 管理 「 ython 2系こそ至高」 「辞書 Eologd使っ ます! ただしバージョン 知ら 」 「pip condaがごっちゃ りました」 環境構築 困るこ 極力 くす気持ち
  8. 分析&モデリングまわり

  9. 25 Copyright © Merpay, Inc. All Rights Reserved. データ Big

    ueryやGC データへ アクセシビリティよき クエリ メンバー間 共有 一度作成した特徴量&モデルを管理 同じ設定 クエリや特徴量、モデル 作成をし い
  10. 自作モジュール 挙動 を意識 scikit-learn load_hoge 類似!! 例: Big ueryから学習/評価用 データを抽出する関数

    慣れ親しんだインターフェース 学習コスト↓↓
  11. 27 Copyright © Merpay, Inc. All Rights Reserved. モデルを組んだらpipeline sklearn

    pipelineオブジェクトを用意し union 特徴量加工処理を簡単 共有・追加削除・再現 きる!
  12. 28 Copyright © Merpay, Inc. All Rights Reserved. ま め

    スケールするチームを目指し !! ・自動化され い 、かつ再現性 高い環境を構築し ・各モジュールも使いやすく ・分析&モデリング 分担を容易