Upgrade to Pro — share decks privately, control downloads, hide ads and more …

メルペイの不正対策を支えるマイクロサービス群を cloud to cloudで移行している話 / Cloud to cloud migration of merpay anti fraud microservices

メルペイの不正対策を支えるマイクロサービス群を cloud to cloudで移行している話 / Cloud to cloud migration of merpay anti fraud microservices

メルペイリリース前後で急ピッチで構築された不正対策基盤、TnS PlatformチームはSREやDataPlatformチームの協力のもと、一年以上かけてメルペイの標準的なインフラ基盤に移行しています。このセッションではなぜ私たちは移行という選択肢をとったのか、どのような困難があったのかをざっくばらんにお話できればと思います。
------
Merpay Tech Fest 2022は3日間のオンライン技術カンファレンスです。
IT企業で働くソフトウェアエンジニアおよびメルペイの技術スタックに興味がある方々を対象に2022年8月23日(火)から8月25日(木)までの3日間、開催します。 Merpay Tech Festは事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知れるお祭りです。 セッションでは事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介予定です。お楽しみに!

■イベント関連情報
- 公式ウェブサイト:https://events.merpay.com/techfest-2022/
- 申し込みページ:https://mercari.connpass.com/event/249428/
- Twitterハッシュタグ: #MerpayTechFest
■リンク集
- メルカリ・メルペイイベント一覧:https://mercari.connpass.com/
- メルカリキャリアサイト:https://careers.mercari.com/
- メルカリエンジニアリングブログ:https://engineering.mercari.com/blog/
- メルカリエンジニア向けTwitterアカウント:https://twitter.com/mercaridevjp
- 株式会社メルペイ:https://jp.merpay.com/

mercari
PRO

August 25, 2022
Tweet

More Decks by mercari

Other Decks in Technology

Transcript

  1. メルペイの不正対策を支える
    マイクロサービス群を
    cloud to cloudで移行している話
    浅野 潤 / @ntk1000
    株式会社メルペイ TnS Engineering Manager

    View Slide

  2. 浅野 潤 / @ntk1000
    株式会社メルペイ
    TnS Engineering Manager
    2019年12月にメルペイへ入社。EMとしてネット決済、iD
    決済、バーチャルカード及び
    TnS(当時AML/CFT) を兼
    務。2021年9月よりTnS専任となる。

    View Slide

  3. Agenda
    01 Introduction
    02 Migrations
    03 Issues and Measures

    View Slide

  4. Introduction

    View Slide

  5. merpay TnS
    Trust and Safety(TnS)
    不正検知を含む禁止行為の監視や対応を行う役割
    https://mercan.mercari.com/articles/31223/

    View Slide

  6. systems and history
    rule
    based
    fraud
    detection
    system
    data
    aggregation
    system
    operational
    system
    realtime
    fraud
    detection
    system
    current Splunk cloud GCP GCP GCP
    2021 - 2022 Splunk cloud AWS AWS GCP
    2020 - 2021 AWS AWS AWS GCP
    - 2020 AWS AWS AWS -

    View Slide

  7. Migrations

    View Slide

  8. 1st migration
    from Splunk on AWS self-hosted to Splunk Cloud
    1. infrastructure cost
    a. 数十台の高スペックインスタンスの管理
    2. maintenance cost
    a. Splunk x AWS それぞれの専門知識を要するメンテナンス
    3. scalability / durability / security
    a. 高い基準が要求される部分をチーム内で担保する難しさ

    View Slide

  9. 2nd migration
    from AWS to GCP
    1. maintenance cost
    2. utilization of group-wide ecosystem
    a. 社内専門チームから提供される仕組みを活用したい
    3. need to focus on anti-fraud measures
    a. 不正対策の優先度・緊急度が高まる中でドメインに集中したい

    View Slide

  10. Issues and Measures

    View Slide

  11. Issues
    プロジェクトを通じて直面した問題
    1. priorities / direction
    2. project management
    3. uncertainty

    View Slide

  12. Priorities / Direction
    目まぐるしく状況が変わる中で中長期プロジェクトを完走するために
    優先度・方向性の整理
    1. Q毎のプロジェクト優先度整理
    2. 社会情勢による不正増加・不正対策優先度・緊急度増加
    3. 移行とリアーキテクチャのバランス

    View Slide

  13. Priorities / Direction
    1. Q毎のプロジェクト優先度整理
    a. ドロップしてプロジェクトが止まらないよう必要性を提示
    2. 社会情勢による不正増加・不正対策優先度・緊急度増加
    a. アサインを整理しつつ、採用を強化
    3. 移行とリアーキテクチャのバランス
    a. 移行先で確実に構成を変更する必要がある (must)
    i. 最優先で代替案を検討
    b. 同等構成で移行できるがまとめたほうが効率的 (nice to have)
    i. 移行の手間・運用コストを踏まえて判断

    View Slide

  14. Project Management
    エンジニア・EMによるプロジェクトマネジメント
    1. 10個以上のレポジトリ x 15名以上のエンジニア のタスク管理
    2. システムの全体像・依存関係の整理
    3. Phaseの区切り方と見直し

    View Slide

  15. Project Management
    1. 10個以上のレポジトリ x 15名以上のエンジニア のタスク管理
    a. 状況に応じて 全体管理 ↔ 個別管理の使い分け
    2. システムの全体像・依存関係の整理
    a. 全体像のDesign Documentの作成
    b. エンジニアがdeep diveして依存関係整理に徹する
    3. Phaseの区切り方と見直し
    a. システムの段階的移行
    b. 進捗状況に応じて段階的移行方針の見直し

    View Slide

  16. Uncertainty
    プロジェクト成功確度を高めるための不確実性への対処
    1. 不確実性が高い状態の検知
    2. 難易度が高い問題への対処
    3. 環境起因の問題への対処

    View Slide

  17. Uncertainty
    1. 不確実性が高い状態の検知
    a. タスクの洗い出しが完了していない
    b. 見通しが立っていないタスクの存在
    c. システム間連携部分の認識齟齬
    2. 難易度が高い問題への対処
    a. TechLeadを優先的にアサインして解決に急ぐ
    3. 環境起因の問題への対処
    a. 本番相当環境を用意し、負荷・データ整合性検証を実施
    b. 移行・切戻しのリハーサルを複数回実施

    View Slide

  18. systems and history
    rule
    based
    fraud
    detection
    system
    data
    aggregation
    system
    operational
    system
    realtime
    fraud
    detection
    system
    current Splunk cloud GCP GCP GCP
    2021 - 2022 Splunk cloud AWS AWS GCP
    2020 - 2021 AWS AWS AWS GCP
    - 2020 AWS AWS AWS -

    View Slide

  19. Summary
    01 merpay TnSのシステム構成・歴史について
    02 2年内の2種類のcloud間移行事例について
    03 移行プロジェクトにおいて直面した問題と対処について

    View Slide

  20. References
    1. about Merpay TnS team
    a. https://mercan.mercari.com/articles/31223/
    2. about rule based fraud detection system
    a. https://engineering.mercari.com/blog/entry/2019-05-2
    7-112028/
    3. about realtime fraud detection system
    a. https://engineering.mercari.com/blog/entry/20220419-
    14cfb92734/

    View Slide

  21. View Slide