メルペイが取り組む機械学習システムの品質保証 / ML System quality assurance in Merpay

Slide 1

Slide 1 text

メルペイが取り組む機械学習システムの品質保証 Hiroshi Yoshizawa 株式会社メルペイ Software Engineer(Machine Learning)

Slide 2

Slide 2 text

Hiroshi Yoshizawa / @hiro 株式会社メルペイ Software Engineer (ML) 金融のエンジニアとしてキャリアをスタート。 2014年より機械学習とデータサイエンスの領域でコンサルティング業務をし始め、様々な企業に対して機械学習やデータ活用の支援を行う。2021年にメルペイに入社。現在、主に与信モデルを担当。

Slide 3

Slide 3 text

本日おはなしすること 01 機械学習をつかったメルペイのサービス 02 メルペイが考える機械学習の品質 03 現場での取り組み

Slide 4

Slide 4 text

本日おはなしすること 01 機械学習をつかったメルペイのサービス 02 メルペイが考える機械学習の品質 03 現場での取り組み

Slide 5

Slide 5 text

メルペイスマート払い ● 使った分を翌月にまとめて清算する「一括払い」 ● 月々にわけて支払う「定額払い」を提供「ちょっと背伸びしたお買い物」で清算金額を決めて月々にわけてお支払い翌月払い「日常のお買い物」で翌月にまとめてお支払い定額払い

Slide 6

Slide 6 text

メルペイスマートマネー ● メルカリアプリでお金を借りる ● メルカリのポイントや売上金で返すことができ、メルカリアプリ上で返済プランをいつでも変更できる ● “適切な与信” ＋ “返しやすさ”

Slide 7

Slide 7 text

● 属性情報ではなく、行動実績に基づいて「信用」を判断 ● メルカリの取引やメルペイの利用状況などのさまざまなデータポイントを与信枠の設定に活用「メルカリ」のユニークなデータ出品者  購入者 

Slide 8

Slide 8 text

本日おはなしすること 01 機械学習をつかったメルペイのサービス 02 メルペイが考える機械学習の品質 03 現場での取り組み

Slide 9

Slide 9 text

品質の目的目的によって、求められる品質はさまざまお客さまメルカリ社会 - より良い社会へ貢献 - 法令等の遵守 - 便利で、使いやすい - 事業継続 - グループシナジー

Slide 10

Slide 10 text

10 機械学習システムの品質保証データの質、量汎化性能、異変の検知、改善の容易さサービス利用に耐うるシステム挙動、正確性、性能プロダクトの視線、品質の継続性など Data Model System Others MLシステム ML要素

Slide 11

Slide 11 text

本日おはなしすること 01 機械学習をつかったメルペイのサービス 02 メルペイが考える機械学習の品質 03 現場での取り組み

Slide 12

Slide 12 text

12 機械学習システムの品質保証データの質、量汎化性能、異変の検知、改善の容易さサービス利用に耐うるシステム挙動、正確性、性能プロダクトの視線、品質の継続性など Data Model System Others MLシステム ML要素

Slide 13

Slide 13 text

● 技術的、法的、倫理的な観点をクリアできるデータを継続的に正しく処理し続ける ● データの変化に気づき、臨機応変な対応ができる ● 機械学習モデルの検証可能性を確保する Data

Slide 14

Slide 14 text

学習時と推論時の特徴量の一貫性を維持 ● Feature Storeを活用し特徴量データを統一管理 ● 推論時の特徴量をその時点で利用できるものに自動的に強制特徴量の一貫性 Data 図出典 Feast 0.9 vs Feast 0.10+ - Feast https://docs.feast.dev/project/ feast-0.9-vs-feast-0.10+ #feast-0.10-0.11-and-0.12-architecture

Slide 15

Slide 15 text

クリーンな特徴量を複数モデルで共通利用 ● 技術的、法的、倫理的な観点でチェックされた特徴量を複数モデル横断で利用 ○ Leakageなどの特徴量バグのチェック、テスト ○ 機械学習に利用可能なデータソース ○ 公平性に配慮した特徴量選択クリーンな特徴量 Data

Slide 16

Slide 16 text

学習データ、予測データのドリフトの確認 ● Tensorﬂow Data Validation（TFDV） ● 完全自動化はしておらず、チームで特徴量の分布、推移を確認 ○ 特徴量を眺める会 ● 定期的に特徴量分布／推移について理解を深め、臨機応変に問題点に対応変化への対応 Data

Slide 17

Slide 17 text

データ保管による機械学習モデルの事後検証可能性の確保 ● 機械学習モデル ● 学習データ ● 予測データ ● ハイパーパラメータ ● その他の諸々のセッティング、メタデータ検証可能性 Data

Slide 18

Slide 18 text

18 機械学習システムの品質保証データの質、量汎化性能、異変の検知、改善の容易さサービス利用に耐うるシステム挙動、正確性、性能プロダクトの視線、品質の継続性など Data Model System Others MLシステム ML要素

Slide 19

Slide 19 text

機械学習モデルの汎化性能、検証スキームの妥当性と多様性 etc 再学習の容易さ、振る舞いの変化、ドリフトの検知と対応 etc Model 開発運用

Slide 20

Slide 20 text

● 各指標をモニタリングし、仮説と異なる振る舞いをしていないか継続的に検証 e.g.) x 日時点貸倒れ率、x+t 日時点貸倒れ率 ● コンセプトドリフト等の異変を早期に検知し、対処 ● 機械学習モデルの生の出力値に加えて、後処理工程毎に精度指標を時系列でモニタリングし「患部」を特定するモデルモニタリング Model AUC vs 工程 illustrative

Slide 21

Slide 21 text

● モデルの特性を踏まえて、ビジネスニーズを満たしつつ、運用しやすいアルゴリズムを選ぶ ○ 与信更新頻度、これに伴う再学習＆評価のリードタイム ● 新しい外れ値など、外部環境の変化に強いアルゴリズムの採用 ● 自動再学習基盤の構築に向けた取組 ○ モデル陳腐化に備え定期再学習によるモデル更新 ○ 再学習の自動化に向けてPoCを実施中再学習の効率化・自動化 Model

Slide 22

Slide 22 text

● 期待していない振る舞いをするケースを特定し、対処する ○ 特徴量の改善、ルールベースロジックの追加等 ○ 特徴量や予測分布の確認、Explainable AI技術等による理解を経ても、予見していなかった振る舞いをする可能性は残存する ○ お客さまとメルペイ双方が予見できていない振る舞いは、発現した場合に事業影響が大きい ● Testingを高度化し、予見性を高め、よりコントローラブルな機械学習モデルを作っていきたいエッジケース分析 Model

Slide 23

Slide 23 text

23 機械学習システムの品質保証データの質、量汎化性能、異変の検知、改善の容易さサービス利用に耐うるシステム挙動、正確性、性能プロダクトの視線、品質の継続性など Data Model System Others MLシステム ML要素

Slide 24

Slide 24 text

● 機械学習モデルの弱点をシステム全体で補う ○ 誤判別を減らす／誤判別したときに品質事故を起こさない ○ 規約との整合性や法的適合性をチェックする ● システム全体の開発／運用の迅速性と正確性 ○ モデル改善作業の効率化／容易化による改善サイクルの高速化 ○ 事前に品質を作り込んだプロセスで運用自動化 System

Slide 25

Slide 25 text

● 機械学習モデルの弱点をシステム全体で補う ○ 特徴量ベクトルの情報量が少なく、誤判別のリスクが高くなる可能性がある場合 ■ よりrobustな方法による予測値の作成 ○ サービスの規約や法的制約から外れる予測値の発生 ■ システム内で検知し対処する（ﬂoor、ceilするなど）機械学習モデルの補完 System

Slide 26

Slide 26 text

● Vertex AI Pipelinesを活用した実験作業効率化実験管理の効率化 System

Slide 27

Slide 27 text

● blog記事:人手による確認作業も組み込んだ機械学習パイプライン https://engineering.mercari.com/blog/entry/20220428-06da50715c/ 人手を組み込んだ自動化 System

Slide 28

Slide 28 text

28 機械学習システムの品質保証データの質、量汎化性能、異変の検知、改善の容易さサービス利用に耐うるシステム挙動、正確性、性能プロダクトの視線、品質の継続性など Data Model System Others MLシステム ML要素

Slide 29

Slide 29 text

データやモデル、システム以外の品質を支える要素 ● プロダクトの視線 ● 品質の継続性 Others

Slide 30

Slide 30 text

● 与信事業 All For One で各指標・施策を複眼チェック ○ UX、収益性、グロース、リスクなどの観点 ● Privacy ofﬁce による特徴量の利用可否チェック ○ ある特徴量を採用することで不公平が起きないかなどの観点プロダクトの視線 Others

Slide 31

Slide 31 text

継続的に改善するチームカルチャーを醸成 ● ドキュメンテーション ○ 議事録、Design Doc、ADR etc ○ 過去の意思決定の根拠を辿れるようにする ● 与信年表 ○ 機械学習モデル以外の施策も記述し、ある時点でどういう与信の状態だったかを理解できる ● Trust & Openness なカルチャー ○ 違和感を heads up しやすい、改善を提案しやすいカルチャー Others

Slide 32

Slide 32 text

● 機械学習システムの品質がお客さま体験や社会に直接的に影響を及ぼす、挑戦しがい（と緊張感）のある空間 ● 様々な観点の品質が求められるなか、技術力と組織力を自己成長させながら、総動員で応える ● All For One なチームが品質を支える ○ Biz & Engineer 全体で品質に取り組む ○ カルチャーも基礎品質のひとつ最後に

Slide 33

Slide 33 text

No content