Slide 1

Slide 1 text

Session Title メルペイMLにおける品質保証とリス ク管理 Shu Kojima / Yuki Saito / Haruki Kaneko

Slide 2

Slide 2 text

ご質問をお待ちしております! 本セッションはリアルタイムに実施しています。 YouTubeのチャットに投稿するか、 X(Twitter)のハッシュタグ #MerpayMercoinTechFest を ご利用ください。

Slide 3

Slide 3 text

Shu Kojima @shuuk 受託開発におけるWebエンジニア、株式会社 Albert のデータサイエンティストを経て、 Data Analystとし てメルペイに入社。その後 Machine Learning エン ジニアにジョブチェンジし、現在は不正検知の MLを 扱うFraud Prevention TeamのEngineering Manager。 ML / Fraud Prevention / Manager Yuki Saito @yukis 2009年より大手精密機器メーカーにてネットワーク エンジニアを担当。金融事業に関わりたく転職。外 国為替(FX)・暗号資産交換業ベンチャーでインフラ ・セキュリティ・システムリスク領域の責任者として従 事。その後、システムリスクコンサルタントを経て、 現職にてメルペイのシステムリスク管理を担当して いる。 MP CISO Div, MC IT Risk/Security/Director 銀行系カードローン会社、ベトナム現地の合弁会社 (ノンバンク)、ドイツ車メーカーにおける個人向け ローンに係るスコアリングモデルの開発、与信戦略 立案、ポートフォリオマネジメント業務、規制対応 (BaselⅢ等)等を経て2021年より現職(株式会社メ ルペイ・リスク管理部)。信用リスク担当として、与信 モデルおよび与信戦略の企画・検証を担当。 Risk / Manager Haruki Kaneko @haruki

Slide 4

Slide 4 text

概要 メルペイでは、与信と不正検知の領域でMLを活用しています ● Fintechに求められる高いリスク管理に応えるため、品質を担保する ためのルールやフロー整備を進めてきました 現場のスピード感と品質を両立するために、何に悩みどう折り合いを つけてきたかについてお話します ● ●

Slide 5

Slide 5 text

Credit Modeling (モデル例) 「未払い率」と「利用限度」 ※グラフはイメージです 取引情報 適切な利用額を提示 ● メルカリに登録されているお客さまの情報や、取引(売り・買い両方)の情報、本人確認の 状況等に基づいて、お客さまに無理のない利用額の範囲を提示。 ● A range of reasonable spending amounts is provided to customers based on information about registration, selling, buying and the status of identity verification.

Slide 6

Slide 6 text

Fraud Prevention メルカリ/メルペイでの取引 トランザクションモニタリング ルールA: 入金が○○○ ルールB: 出金が○○○ ルールC: 決済が○○○ ルールD: High Risk Userが 出金○○○ ルールE: Medium Risk Userが 決済○○○ 疑わしい取引 目視確認 金融庁へ報告 「メルカリ」「メルペイ」両サービスにおいて、安心安全にご利用いただけるよう、不正行為や 疑わしい取引やアカウントの監視をしています。 AIでの検知も行っています。 To ensure the safety and security of both the Mercari and MerPay services, we monitor for fraudulent activity and suspicious transactions.

Slide 7

Slide 7 text

メルペイにおけるリスク管理 ● お客さまのお金を取り扱うFintechでは高い品質が求められる 認定包括信用購入あっせん業者(以下、AI与信ライセンス)の認定 第一号のメルペイでは、MLシステムの想定外の挙動を極小化する ために堅実なリスク管理の仕組みが必要 ●

Slide 8

Slide 8 text

二線と規程 部署役割を明確に分ける「3線体制 (Three Lines Model)」で安心安全なProductを世に 送り出す ● 第1線 第2線 第3線 例) Product Engineering 例) Risk, IT Risk Legal Compliance Intellectual Property Internal Audit 報告 相談 牽制 支援 リスクオーナーとしての管理 モニタリングとサポート 独立した立場でのアシュアランス 連携 委員会 (リスク管理委員会等) 取締役会

Slide 9

Slide 9 text

システムリスクとモデルリスク ● 機械学習システムは、システムリスクとモデルリスクの両面から語ら れる システムリスク モデルリスク 想定するリスク システムの想定外の挙動によるリスク - アプリの停止 - 第三者によるのっとり モデルの想定外の挙動によるリスク - 貸倒率、不正確率の予測精度悪化に伴う事 業損失 想定するロジック ルールベース ブラックボックスアルゴリズム 主な担保方法 第三者(QAチーム)によるQA 精度指標の確認 事業KPIのバックテストやモニタリング

Slide 10

Slide 10 text

システムリスク編:MLのQAをどうする? ● システムリスクの規程類では、全てのロジックでQAチーム(開発チー ムとは独立)によるQA手順が必要 ● 一方でMLモデルはブラックボックスアルゴリズムなので、ルールベー スと同様のQAは技術的に不可能。どうする? ● MLシステムにもルールベースロジック(特徴量計算、前処理)があ る。全てQAすると開発スピードが下がる。どうする? MLのQAは業界全体として発展途上

Slide 11

Slide 11 text

システムリスクとモデルリスクの境界 データ 収集 特徴量 作成 学習 予測 後処理 確率値 サービ ング ● バグが最終的には確率値の精度に帰結する ○ →モデルリスクで吸収 ○ ただしバッチが稼働しないなどのシステム要件を満たさないリス クはシステムリスクの考え方に則る ● ルールベース処理 ○ →システムリスクで 吸収

Slide 12

Slide 12 text

モデルリスク編:AI与信第1号の責任 ● メルペイはAI与信ライセンス取得第1号 ● これによりお客さまの年収、クレジット債務、生活維持費の調査(従来手 法)に代えてAIによる与信が可能 ● 一方でAIに求められる品質も高くなる。業界に前例もない

Slide 13

Slide 13 text

モデルリスク編:モデル改廃フロー ● 経営層含む関係者にとってMLモデルの決議は専門性の高さ故に直観的 に理解しづらく閉鎖的な意思決定に見えやすかった ● MLチームとリスク管理部の共同でモデル開発に係るPolicyをまとめた ・現モデルの目的や利用シーン ・モデル開発のトリガーイベント ・決議するときの主要項目一覧 ・実装後のモニタリング指標, etc.  *AUC等のモデル上のKPIだけでなくビジネス上のKPIも設定 ● モデルの適切性に関するレビュー体制構築、Policyとして文章化すること による両チームの意識向上がなされた ※機械学習モデルの評価指標の一つ

Slide 14

Slide 14 text

No content