メルペイが取り組む機械学習システムの品質保証 / ML System quality assurance in Merpay

メルペイのサービスでは機械学習モデルを活用しています。機械学習モデルを含むシステム全体として品質を高めるために、我々が考えている品質要素とその実践についてお話しします。
------
Merpay Tech Fest 2022は3日間のオンライン技術カンファレンスです。
IT企業で働くソフトウェアエンジニアおよびメルペイの技術スタックに興味がある方々を対象に2022年8月23日（火）から8月25日（木）までの3日間、開催します。 Merpay Tech Festは事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知れるお祭りです。 セッションでは事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介予定です。お楽しみに！

■イベント関連情報
- 公式ウェブサイト：https://events.merpay.com/techfest-2022/
- 申し込みページ：https://mercari.connpass.com/event/249428/
- Twitterハッシュタグ： #MerpayTechFest
■リンク集
- メルカリ・メルペイイベント一覧：https://mercari.connpass.com/
- メルカリキャリアサイト：https://careers.mercari.com/
- メルカリエンジニアリングブログ：https://engineering.mercari.com/blog/
- メルカリエンジニア向けTwitterアカウント：https://twitter.com/mercaridevjp
- 株式会社メルペイ：https://jp.merpay.com/

Transcript

1. メルペイが取り組む 機械学習システムの品質保証 Hiroshi Yoshizawa 株式会社メルペイ Software Engineer(Machine Learning)
2. Hiroshi Yoshizawa / @hiro 株式会社メルペイ Software Engineer (ML) 金融のエンジニアとしてキャリアをスタート。 2014年より機 械学習とデータサイエンスの領域でコンサルティング業務 をし始め、様々な企業に対して機械学習やデータ活用の 支援を行う。2021年にメルペイに入社。現在、主に与信モ デルを担当。
3. 本日おはなしすること 01 機械学習をつかったメルペイのサービス 02 メルペイが考える機械学習の品質 03 現場での取り組み
4. 本日おはなしすること 01 機械学習をつかったメルペイのサービス 02 メルペイが考える機械学習の品質 03 現場での取り組み
5. メルペイスマート払い • 使った分を翌月にまとめて清 算する「一括払い」 • 月々にわけて支払う「定額払 い」を提供 「ちょっと背伸びしたお買い物」 で清算金額を決めて 月々にわけてお支払い 翌月払い 「日常のお買い物」で 翌月にまとめてお支払い 定額払い
6. メルペイスマートマネー • メルカリアプリでお金を借りる • メルカリのポイントや売上金で返すことが でき、メルカリアプリ上で返済プランをい つでも変更できる • “適切な与信” ＋ “返しやすさ”
7. • 属性情報ではなく、行動実績に 基づいて「信用」を判断 • メルカリの取引やメルペイの利用 状況などのさまざまなデータポイ ントを与信枠の設定に活用 「メルカリ」のユニークなデータ 出品者
 購入者

8. 本日おはなしすること 01 機械学習をつかったメルペイのサービス 02 メルペイが考える機械学習の品質 03 現場での取り組み
9. 品質の目的 目的によって、求められる品質はさまざま お客さま メルカリ 社会 - より良い社会へ貢献 - 法令等の遵守 - 便利で、使いやすい - 事業継続 - グループシナジー
10. 10 機械学習システムの品質保証 データの質、量 汎化性能、異変の検知、改 善の容易さ サービス利用に耐うるシステ ム挙動、正確性、性能 プロダクトの視線、品質の継 続性など Data Model System Others MLシステム ML要素
11. 本日おはなしすること 01 機械学習をつかったメルペイのサービス 02 メルペイが考える機械学習の品質 03 現場での取り組み
12. 12 機械学習システムの品質保証 データの質、量 汎化性能、異変の検知、改 善の容易さ サービス利用に耐うるシステ ム挙動、正確性、性能 プロダクトの視線、品質の継 続性など Data Model System Others MLシステム ML要素
13. • 技術的、法的、倫理的な観点をクリアできるデータを継続的に正しく処 理し続ける • データの変化に気づき、臨機応変な対応ができる • 機械学習モデルの検証可能性を確保する Data
14. 学習時と推論時の特徴量の一貫性を維持 • Feature Storeを活用し特徴量データを統一管理 • 推論時の特徴量をその時点で利用できるものに自動的に強制 特徴量の一貫性 Data 図 出典 Feast 0.9 vs Feast 0.10+ - Feast https://docs.feast.dev/project/ feast-0.9-vs-feast-0.10+ #feast-0.10-0.11-and-0.12-architecture
15. クリーンな特徴量を複数モデルで共通利用 • 技術的、法的、倫理的な観点でチェックされた特徴量を複数モデル横 断で利用 ◦ Leakageなどの特徴量バグのチェック、テスト ◦ 機械学習に利用可能なデータソース ◦ 公平性に配慮した特徴量選択 クリーンな特徴量 Data
16. 学習データ、予測データのドリフトの確認 • Tensorflow Data Validation（TFDV） • 完全自動化はしておらず、チームで特徴量の分布、推移を確認 ◦ 特徴量を眺める会 • 定期的に特徴量分布／推移について理解を深め、臨機応変に問題 点に対応 変化への対応 Data
17. データ保管による機械学習モデルの事後検証可能性の確保 • 機械学習モデル • 学習データ • 予測データ • ハイパーパラメータ • その他の諸々のセッティング、メタデータ 検証可能性 Data
18. 18 機械学習システムの品質保証 データの質、量 汎化性能、異変の検知、改 善の容易さ サービス利用に耐うるシステ ム挙動、正確性、性能 プロダクトの視線、品質の継 続性など Data Model System Others MLシステム ML要素
19. 機械学習モデルの汎化性能、検証スキームの妥当性と多様性 etc 再学習の容易さ、振る舞いの変化、ドリフトの検知と対応 etc Model 開発 運用
20. • 各指標をモニタリングし、仮説と異なる振る舞いをしていないか継続 的に検証 e.g.) x 日時点貸倒れ率、x+t 日時点貸倒れ率 • コンセプトドリフト等の異変を早期に検知し、対処 • 機械学習モデルの生の出力値に加えて、後処理工程毎に精度指標 を時系列でモニタリングし「患部」を特定する モデルモニタリング Model AUC vs 工程 illustrative
21. • モデルの特性を踏まえて、ビジネスニーズを満たしつつ、運用しやす いアルゴリズムを選ぶ ◦ 与信更新頻度、これに伴う再学習＆評価のリードタイム • 新しい外れ値など、外部環境の変化に強いアルゴリズムの採用 • 自動再学習基盤の構築に向けた取組 ◦ モデル陳腐化に備え定期再学習によるモデル更新 ◦ 再学習の自動化に向けてPoCを実施中 再学習の効率化・自動化 Model
22. • 期待していない振る舞いをするケースを特定し、対処する ◦ 特徴量の改善、ルールベースロジックの追加 等 ◦ 特徴量や予測分布の確認、Explainable AI技術等による理解を経 ても、予見していなかった振る舞いをする可能性は残存する ◦ お客さまとメルペイ双方が予見できていない振る舞いは、発現した場 合に事業影響が大きい • Testingを高度化し、予見性を高め、よりコントローラブルな機械学習 モデルを作っていきたい エッジケース分析 Model
23. 23 機械学習システムの品質保証 データの質、量 汎化性能、異変の検知、改 善の容易さ サービス利用に耐うるシステ ム挙動、正確性、性能 プロダクトの視線、品質の継 続性など Data Model System Others MLシステム ML要素
24. • 機械学習モデルの弱点をシステム全体で補う ◦ 誤判別を減らす／誤判別したときに品質事故を起こさない ◦ 規約との整合性や法的適合性をチェックする • システム全体の開発／運用の迅速性と正確性 ◦ モデル改善作業の効率化／容易化による改善サイクルの高速化 ◦ 事前に品質を作り込んだプロセスで運用自動化 System
25. • 機械学習モデルの弱点をシステム全体で補う ◦ 特徴量ベクトルの情報量が少なく、誤判別のリスクが高くなる可能性 がある場合 ▪ よりrobustな方法による予測値の作成 ◦ サービスの規約や法的制約から外れる予測値の発生 ▪ システム内で検知し対処する（floor、ceilするなど） 機械学習モデルの補完 System
26. • Vertex AI Pipelinesを活用した実験作業効率化 実験管理の効率化 System
27. • blog記事:人手による確認作業も組み込んだ機械学習パイプライン https://engineering.mercari.com/blog/entry/20220428-06da50715c/ 人手を組み込んだ自動化 System
28. 28 機械学習システムの品質保証 データの質、量 汎化性能、異変の検知、改 善の容易さ サービス利用に耐うるシステ ム挙動、正確性、性能 プロダクトの視線、品質の継 続性など Data Model System Others MLシステム ML要素
29. データやモデル、システム以外の品質を支える要素 • プロダクトの視線 • 品質の継続性 Others
30. • 与信事業 All For One で各指標・施策を複眼チェック ◦ UX、収益性、グロース、リスクなどの観点 • Privacy office による特徴量の利用可否チェック ◦ ある特徴量を採用することで不公平が起きないかなどの観点 プロダクトの視線 Others
31. 継続的に改善するチームカルチャーを醸成 • ドキュメンテーション ◦ 議事録、Design Doc、ADR etc ◦ 過去の意思決定の根拠を辿れるようにする • 与信年表 ◦ 機械学習モデル以外の施策も記述し、ある時点でどういう与信の 状態だったかを理解できる • Trust & Openness なカルチャー ◦ 違和感を heads up しやすい、改善を提案しやすい カルチャー Others
32. • 機械学習システムの品質がお客さま体験や社会に直接的に影響を及 ぼす、挑戦しがい（と緊張感）のある空間 • 様々な観点の品質が求められるなか、技術力と組織力を自己成長さ せながら、総動員で応える • All For One なチームが品質を支える ◦ Biz & Engineer 全体で品質に取り組む ◦ カルチャーも基礎品質のひとつ 最後に