Upgrade to Pro — share decks privately, control downloads, hide ads and more …

メルペイでのML Ops / merpay-2

M3 Engineering
September 05, 2018

メルペイでのML Ops / merpay-2

2018/9/5 に開催された「merpay×M3 機械学習 NIGHT」の発表資料です。
https://mercari.connpass.com/event/97213/
#merpay_ml

M3 Engineering

September 05, 2018
Tweet

More Decks by M3 Engineering

Other Decks in Technology

Transcript

  1. @sugar1023
    メルペイ ps
    merpay ✕ M3 機械学習 NIGHT
    2018 / 09 / 05

    View Slide

  2. 18
    Copyright © Merpay, Inc. All Rights Reserved.
    2017年4月〜 : ヤフー いろいろ
    2018年6月〜 : メルペイ
    2015年4月〜 : 大学院
    自己紹介
    氏名: 佐藤 貴之@sugar1023_
    経歴
    入社し 3ヶ月が
    経ちました
    所属: achine earning Engineer

    View Slide

  3. 19
    Copyright © Merpay, Inc. All Rights Reserved.
    伝えたいこ
    チーム 分析&モデリングを
    スケーラブル !!
    『誰 もサクッ タスク 取りかかれる』
    そん 環境を目指しました

    View Slide

  4. 基盤まわり

    View Slide

  5. 21
    Copyright © Merpay, Inc. All Rights Reserved.
    採用し いる主 技術
    Docker
    ubernetes Engine Cloud torage Container egistry
    pinnaker circleci

    View Slide

  6. アーキテクチャ 全容
    「機械学習エンジニアが行う作業 、
     特徴量追加 ull equest を作るだけ す。」
    だいたい自動化

    View Slide

  7. 23
    Copyright © Merpay, Inc. All Rights Reserved.
    開発環境 再現性を担保
    基本的 Dockerイメージ 管理
    「 ython 2系こそ至高」 「辞書 Eologd使っ ます!
    ただしバージョン 知ら 」
    「pip condaがごっちゃ りました」
    環境構築 困るこ 極力 くす気持ち

    View Slide

  8. 分析&モデリングまわり

    View Slide

  9. 25
    Copyright © Merpay, Inc. All Rights Reserved.
    データ Big ueryやGC
    データへ アクセシビリティよき
    クエリ メンバー間 共有
    一度作成した特徴量&モデルを管理
    同じ設定 クエリや特徴量、モデル 作成をし い

    View Slide

  10. 自作モジュール 挙動 を意識
    scikit-learn
    load_hoge 類似!!
    例: Big ueryから学習/評価用 データを抽出する関数
    慣れ親しんだインターフェース 学習コスト↓↓

    View Slide

  11. 27
    Copyright © Merpay, Inc. All Rights Reserved.
    モデルを組んだらpipeline
    sklearn pipelineオブジェクトを用意し union
    特徴量加工処理を簡単 共有・追加削除・再現 きる!

    View Slide

  12. 28
    Copyright © Merpay, Inc. All Rights Reserved.
    ま め
    スケールするチームを目指し !!
    ・自動化され い 、かつ再現性 高い環境を構築し
    ・各モジュールも使いやすく
    ・分析&モデリング 分担を容易

    View Slide