メルペイでのML Ops / merpay-2

Transcript

1. @sugar1023 メルペイ ps merpay ✕ M3 機械学習 NIGHT 2018 /

   09 / 05

2. 18 Copyright © Merpay, Inc. All Rights Reserved. 2017年4月〜 :

   ヤフー いろいろ 2018年6月〜 : メルペイ 2015年4月〜 : 大学院 自己紹介 氏名: 佐藤 貴之@sugar1023_ 経歴 入社し 3ヶ月が 経ちました 所属: achine earning Engineer

3. 19 Copyright © Merpay, Inc. All Rights Reserved. 伝えたいこ チーム

   分析&モデリングを スケーラブル ！！ 『誰 もサクッ タスク 取りかかれる』 そん 環境を目指しました

4. 基盤まわり

5. 21 Copyright © Merpay, Inc. All Rights Reserved. 採用し いる主

   技術 Docker ubernetes Engine Cloud torage Container egistry pinnaker circleci

6. アーキテクチャ 全容 「機械学習エンジニアが行う作業 、 　特徴量追加 ull equest を作るだけ す。」 だいたい自動化

7. 23 Copyright © Merpay, Inc. All Rights Reserved. 開発環境 再現性を担保

   基本的 Dockerイメージ 管理 「 ython 2系こそ至高」 「辞書 Eologd使っ ます！ ただしバージョン 知ら 」 「pip condaがごっちゃ りました」 環境構築 困るこ 極力 くす気持ち

8. 分析&モデリングまわり

9. 25 Copyright © Merpay, Inc. All Rights Reserved. データ Big

   ueryやGC データへ アクセシビリティよき クエリ メンバー間 共有 一度作成した特徴量&モデルを管理 同じ設定 クエリや特徴量、モデル 作成をし い

10. 自作モジュール 挙動 を意識 scikit-learn load_hoge 類似！！ 例: Big ueryから学習/評価用 データを抽出する関数

    慣れ親しんだインターフェース 学習コスト↓↓

11. 27 Copyright © Merpay, Inc. All Rights Reserved. モデルを組んだらpipeline sklearn

    pipelineオブジェクトを用意し union 特徴量加工処理を簡単 共有・追加削除・再現 きる！

12. 28 Copyright © Merpay, Inc. All Rights Reserved. ま め

    スケールするチームを目指し ！！ ・自動化され い 、かつ再現性 高い環境を構築し ・各モジュールも使いやすく ・分析&モデリング 分担を容易