メルペイMLにおける品質保証とリスク管理 / Quality Assurance and Risk Management in Merpay ML

メルペイは、「認定包括信用購入あっせん業者」の認定を日本で初めて取得し、収入等の固定的な情報ではなく自社データから機械学習によって利用可能額を導き出しています。それは一方で、AIの生み出す誤差やそれを支えるシステムなどに対して、従来の金融機関以上に厳しい品質保証とリスク管理が求められることにもなります。そのためには現場のエンジニアの意識レベルだけではなく、言語化されたルールによるガバナンスが必須となります。
本セッションでは、システムリスクとモデルリスクの両面から、メルペイの機械学習チームがどのようにリスク管理を体系化しているかについてお話します。

Merpay is the first company to obtain certification as Comprehensive Credit Purchase Intermediary in Japan, enabling it to calculate a user's spending limit based on its own data through machine learning, rather than relying on fixed information such as income. However, this also means that, compared to traditional financial institutions, quality assurance and risk management are even more critical for managing the errors generated by AI and the supporting systems. To accomplish this, governance through articulated rules is essential, not just raising the awareness level of engineers working directly on the product.
In this session, Merpay's Machine Learning Team will discuss how they are systematizing risk management from both system and model risk perspectives.

------
Merpay & Mercoin Tech Fest 2023は3日間のオンライン技術カンファレンスです。
IT企業で働くソフトウェアエンジニアおよびメルペイ・メルコインの技術スタックに興味がある方々を対象に2023年8月22日（火）、23日（水）、24日（木）の3日間、開催します。 Merpay & Mercoin Tech Fest は事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りです。

今年のテーマは「Unleash Fintech」。 メルペイ・メルコインのこれまでの技術的な取り組みはもちろん、メルカリグループのFintech事業における新たな挑戦をお伝えします。 セッションでは事業を支える組織・技術・課題などへの試行錯誤やアプローチなど多面的にご紹介予定です。

メルペイ・メルコインが今後どのようにUnleash（解放）していくのか、ぜひ見に来てください。

■イベント関連情報
- 公式ウェブサイト：https://events.merpay.com/techfest-2023/
- 申し込みページ：https://mercari.connpass.com/event/286670/
- Twitterハッシュタグ： #MerpayMercoinTechFest
■リンク集
- メルカリ・メルペイイベント一覧：https://mercari.connpass.com/
- メルカリキャリアサイト：https://careers.mercari.com/
- メルカリエンジニアリングブログ：https://engineering.mercari.com/blog/
- メルカリエンジニア向けTwitterアカウント：https://twitter.com/mercaridevjp
- 株式会社メルペイ：https://jp.merpay.com/

Transcript

1. Session Title メルペイMLにおける品質保証とリス ク管理 Shu Kojima / Yuki Saito / Haruki Kaneko
2. ご質問をお待ちしております！ 本セッションはリアルタイムに実施しています。 YouTubeのチャットに投稿するか、 X（Twitter）のハッシュタグ #MerpayMercoinTechFest を ご利用ください。
3. Shu Kojima @shuuk 受託開発におけるWebエンジニア、株式会社 Albert のデータサイエンティストを経て、 Data Analystとし てメルペイに入社。その後 Machine Learning エン ジニアにジョブチェンジし、現在は不正検知の MLを 扱うFraud Prevention TeamのEngineering Manager。 ML / Fraud Prevention / Manager Yuki Saito @yukis 2009年より大手精密機器メーカーにてネットワーク エンジニアを担当。金融事業に関わりたく転職。外 国為替（FX）・暗号資産交換業ベンチャーでインフラ ・セキュリティ・システムリスク領域の責任者として従 事。その後、システムリスクコンサルタントを経て、 現職にてメルペイのシステムリスク管理を担当して いる。 MP CISO Div, MC IT Risk/Security/Director 銀行系カードローン会社、ベトナム現地の合弁会社 （ノンバンク）、ドイツ車メーカーにおける個人向け ローンに係るスコアリングモデルの開発、与信戦略 立案、ポートフォリオマネジメント業務、規制対応 （BaselⅢ等）等を経て2021年より現職（株式会社メ ルペイ・リスク管理部）。信用リスク担当として、与信 モデルおよび与信戦略の企画・検証を担当。 Risk / Manager Haruki Kaneko @haruki
4. 概要 メルペイでは、与信と不正検知の領域でMLを活用しています • Fintechに求められる高いリスク管理に応えるため、品質を担保する ためのルールやフロー整備を進めてきました 現場のスピード感と品質を両立するために、何に悩みどう折り合いを つけてきたかについてお話します • •
5. Credit Modeling （モデル例） 「未払い率」と「利用限度」 ※グラフはイメージです 取引情報 適切な利用額を提示 • メルカリに登録されているお客さまの情報や、取引（売り・買い両方）の情報、本人確認の 状況等に基づいて、お客さまに無理のない利用額の範囲を提示。 • A range of reasonable spending amounts is provided to customers based on information about registration, selling, buying and the status of identity verification.
6. Fraud Prevention メルカリ／メルペイでの取引 トランザクションモニタリング ルールA: 入金が◦◦◦ ルールB: 出金が◦◦◦ ルールC: 決済が◦◦◦ ルールD: High Risk Userが 出金◦◦◦ ルールE: Medium Risk Userが 決済◦◦◦ 疑わしい取引 目視確認 金融庁へ報告 「メルカリ」「メルペイ」両サービスにおいて、安心安全にご利用いただけるよう、不正行為や 疑わしい取引やアカウントの監視をしています。 AIでの検知も行っています。 To ensure the safety and security of both the Mercari and MerPay services, we monitor for fraudulent activity and suspicious transactions.
7. メルペイにおけるリスク管理 • お客さまのお金を取り扱うFintechでは高い品質が求められる 認定包括信用購入あっせん業者（以下、AI与信ライセンス）の認定 第一号のメルペイでは、MLシステムの想定外の挙動を極小化する ために堅実なリスク管理の仕組みが必要 •
8. 二線と規程 部署役割を明確に分ける「3線体制 (Three Lines Model)」で安心安全なProductを世に 送り出す • 第１線 第２線 第３線 例） Product Engineering 例） Risk, IT Risk Legal Compliance Intellectual Property Internal Audit 報告 相談 牽制 支援 リスクオーナーとしての管理 モニタリングとサポート 独立した立場でのアシュアランス 連携 委員会 （リスク管理委員会等） 取締役会
9. システムリスクとモデルリスク • 機械学習システムは、システムリスクとモデルリスクの両面から語ら れる システムリスク モデルリスク 想定するリスク システムの想定外の挙動によるリスク - アプリの停止 - 第三者によるのっとり モデルの想定外の挙動によるリスク - 貸倒率、不正確率の予測精度悪化に伴う事 業損失 想定するロジック ルールベース ブラックボックスアルゴリズム 主な担保方法 第三者（QAチーム）によるQA 精度指標の確認 事業KPIのバックテストやモニタリング
10. システムリスク編：MLのQAをどうする？ • システムリスクの規程類では、全てのロジックでQAチーム（開発チー ムとは独立）によるQA手順が必要 • 一方でMLモデルはブラックボックスアルゴリズムなので、ルールベー スと同様のQAは技術的に不可能。どうする？ • MLシステムにもルールベースロジック（特徴量計算、前処理）があ る。全てQAすると開発スピードが下がる。どうする？ MLのQAは業界全体として発展途上
11. システムリスクとモデルリスクの境界 データ 収集 特徴量 作成 学習 予測 後処理 確率値 サービ ング • バグが最終的には確率値の精度に帰結する ◦ →モデルリスクで吸収 ◦ ただしバッチが稼働しないなどのシステム要件を満たさないリス クはシステムリスクの考え方に則る • ルールベース処理 ◦ →システムリスクで 吸収
12. モデルリスク編：AI与信第1号の責任 • メルペイはAI与信ライセンス取得第1号 • これによりお客さまの年収、クレジット債務、生活維持費の調査（従来手 法）に代えてAIによる与信が可能 • 一方でAIに求められる品質も高くなる。業界に前例もない
13. モデルリスク編：モデル改廃フロー • 経営層含む関係者にとってMLモデルの決議は専門性の高さ故に直観的 に理解しづらく閉鎖的な意思決定に見えやすかった • MLチームとリスク管理部の共同でモデル開発に係るPolicyをまとめた ・現モデルの目的や利用シーン ・モデル開発のトリガーイベント ・決議するときの主要項目一覧 ・実装後のモニタリング指標, etc. 　*AUC等のモデル上のKPIだけでなくビジネス上のKPIも設定 • モデルの適切性に関するレビュー体制構築、Policyとして文章化すること による両チームの意識向上がなされた ※機械学習モデルの評価指標の一つ