Session Title メルペイMLにおける品質保証とリス ク管理 Shu Kojima / Yuki Saito / Haruki Kaneko

ご質問をお待ちしております！ 本セッションはリアルタイムに実施しています。 YouTubeのチャットに投稿するか、 X（Twitter）のハッシュタグ #MerpayMercoinTechFest を ご利用ください。

Shu Kojima @shuuk 受託開発におけるWebエンジニア、株式会社 Albert のデータサイエンティストを経て、 Data Analystとし てメルペイに入社。その後 Machine Learning エン ジニアにジョブチェンジし、現在は不正検知の MLを 扱うFraud Prevention TeamのEngineering Manager。 ML / Fraud Prevention / Manager Yuki Saito @yukis 2009年より大手精密機器メーカーにてネットワーク エンジニアを担当。金融事業に関わりたく転職。外 国為替（FX）・暗号資産交換業ベンチャーでインフラ ・セキュリティ・システムリスク領域の責任者として従 事。その後、システムリスクコンサルタントを経て、 現職にてメルペイのシステムリスク管理を担当して いる。 MP CISO Div, MC IT Risk/Security/Director 銀行系カードローン会社、ベトナム現地の合弁会社 （ノンバンク）、ドイツ車メーカーにおける個人向け ローンに係るスコアリングモデルの開発、与信戦略 立案、ポートフォリオマネジメント業務、規制対応 （BaselⅢ等）等を経て2021年より現職（株式会社メ ルペイ・リスク管理部）。信用リスク担当として、与信 モデルおよび与信戦略の企画・検証を担当。 Risk / Manager Haruki Kaneko @haruki

概要 メルペイでは、与信と不正検知の領域でMLを活用しています ● Fintechに求められる高いリスク管理に応えるため、品質を担保する ためのルールやフロー整備を進めてきました 現場のスピード感と品質を両立するために、何に悩みどう折り合いを つけてきたかについてお話します ● ●

Credit Modeling （モデル例） 「未払い率」と「利用限度」 ※グラフはイメージです 取引情報 適切な利用額を提示 ● メルカリに登録されているお客さまの情報や、取引（売り・買い両方）の情報、本人確認の 状況等に基づいて、お客さまに無理のない利用額の範囲を提示。 ● A range of reasonable spending amounts is provided to customers based on information about registration, selling, buying and the status of identity verification.

Fraud Prevention メルカリ／メルペイでの取引 トランザクションモニタリング ルールA: 入金が○○○ ルールB: 出金が○○○ ルールC: 決済が○○○ ルールD: High Risk Userが 出金○○○ ルールE: Medium Risk Userが 決済○○○ 疑わしい取引 目視確認 金融庁へ報告 「メルカリ」「メルペイ」両サービスにおいて、安心安全にご利用いただけるよう、不正行為や 疑わしい取引やアカウントの監視をしています。 AIでの検知も行っています。 To ensure the safety and security of both the Mercari and MerPay services, we monitor for fraudulent activity and suspicious transactions.

メルペイにおけるリスク管理 ● お客さまのお金を取り扱うFintechでは高い品質が求められる 認定包括信用購入あっせん業者（以下、AI与信ライセンス）の認定 第一号のメルペイでは、MLシステムの想定外の挙動を極小化する ために堅実なリスク管理の仕組みが必要 ●

二線と規程 部署役割を明確に分ける「3線体制 (Three Lines Model)」で安心安全なProductを世に 送り出す ● 第１線 第２線 第３線 例） Product Engineering 例） Risk, IT Risk Legal Compliance Intellectual Property Internal Audit 報告 相談 牽制 支援 リスクオーナーとしての管理 モニタリングとサポート 独立した立場でのアシュアランス 連携 委員会 （リスク管理委員会等） 取締役会

システムリスクとモデルリスク ● 機械学習システムは、システムリスクとモデルリスクの両面から語ら れる システムリスク モデルリスク 想定するリスク システムの想定外の挙動によるリスク - アプリの停止 - 第三者によるのっとり モデルの想定外の挙動によるリスク - 貸倒率、不正確率の予測精度悪化に伴う事 業損失 想定するロジック ルールベース ブラックボックスアルゴリズム 主な担保方法 第三者（QAチーム）によるQA 精度指標の確認 事業KPIのバックテストやモニタリング

システムリスク編：MLのQAをどうする？ ● システムリスクの規程類では、全てのロジックでQAチーム（開発チー ムとは独立）によるQA手順が必要 ● 一方でMLモデルはブラックボックスアルゴリズムなので、ルールベー スと同様のQAは技術的に不可能。どうする？ ● MLシステムにもルールベースロジック（特徴量計算、前処理）があ る。全てQAすると開発スピードが下がる。どうする？ MLのQAは業界全体として発展途上

システムリスクとモデルリスクの境界 データ 収集 特徴量 作成 学習 予測 後処理 確率値 サービ ング ● バグが最終的には確率値の精度に帰結する ○ →モデルリスクで吸収 ○ ただしバッチが稼働しないなどのシステム要件を満たさないリス クはシステムリスクの考え方に則る ● ルールベース処理 ○ →システムリスクで 吸収

モデルリスク編：AI与信第1号の責任 ● メルペイはAI与信ライセンス取得第1号 ● これによりお客さまの年収、クレジット債務、生活維持費の調査（従来手 法）に代えてAIによる与信が可能 ● 一方でAIに求められる品質も高くなる。業界に前例もない

モデルリスク編：モデル改廃フロー ● 経営層含む関係者にとってMLモデルの決議は専門性の高さ故に直観的 に理解しづらく閉鎖的な意思決定に見えやすかった ● MLチームとリスク管理部の共同でモデル開発に係るPolicyをまとめた ・現モデルの目的や利用シーン ・モデル開発のトリガーイベント ・決議するときの主要項目一覧 ・実装後のモニタリング指標, etc. 　*AUC等のモデル上のKPIだけでなくビジネス上のKPIも設定 ● モデルの適切性に関するレビュー体制構築、Policyとして文章化すること による両チームの意識向上がなされた ※機械学習モデルの評価指標の一つ

No content