メルペイでのML Ops / merpay-2

2018/9/5 に開催された「merpay×M3 機械学習 NIGHT」の発表資料です。
https://mercari.connpass.com/event/97213/
#merpay_ml

Transcript

1. @sugar1023 メルペイ ps merpay ✕ M3 機械学習 NIGHT 2018 / 09 / 05
2. 18 Copyright © Merpay, Inc. All Rights Reserved. 2017年4月〜 : ヤフー いろいろ 2018年6月〜 : メルペイ 2015年4月〜 : 大学院 自己紹介 氏名: 佐藤 貴之@sugar1023_ 経歴 入社し 3ヶ月が 経ちました 所属: achine earning Engineer
3. 19 Copyright © Merpay, Inc. All Rights Reserved. 伝えたいこ チーム 分析&モデリングを スケーラブル ！！ 『誰 もサクッ タスク 取りかかれる』 そん 環境を目指しました
4. 基盤まわり
5. 21 Copyright © Merpay, Inc. All Rights Reserved. 採用し いる主 技術 Docker ubernetes Engine Cloud torage Container egistry pinnaker circleci
6. アーキテクチャ 全容 「機械学習エンジニアが行う作業 、 　特徴量追加 ull equest を作るだけ す。」 だいたい自動化
7. 23 Copyright © Merpay, Inc. All Rights Reserved. 開発環境 再現性を担保 基本的 Dockerイメージ 管理 「 ython 2系こそ至高」 「辞書 Eologd使っ ます！ ただしバージョン 知ら 」 「pip condaがごっちゃ りました」 環境構築 困るこ 極力 くす気持ち
8. 分析&モデリングまわり
9. 25 Copyright © Merpay, Inc. All Rights Reserved. データ Big ueryやGC データへ アクセシビリティよき クエリ メンバー間 共有 一度作成した特徴量&モデルを管理 同じ設定 クエリや特徴量、モデル 作成をし い
10. 自作モジュール 挙動 を意識 scikit-learn load_hoge 類似！！ 例: Big ueryから学習/評価用 データを抽出する関数 慣れ親しんだインターフェース 学習コスト↓↓
11. 27 Copyright © Merpay, Inc. All Rights Reserved. モデルを組んだらpipeline sklearn pipelineオブジェクトを用意し union 特徴量加工処理を簡単 共有・追加削除・再現 きる！
12. 28 Copyright © Merpay, Inc. All Rights Reserved. ま め スケールするチームを目指し ！！ ・自動化され い 、かつ再現性 高い環境を構築し ・各モジュールも使いやすく ・分析&モデリング 分担を容易