Upgrade to Pro — share decks privately, control downloads, hide ads and more …

メルペイが取り組む機械学習システムの品質保証 / ML System quality assurance in Merpay

mercari
August 25, 2022

メルペイが取り組む機械学習システムの品質保証 / ML System quality assurance in Merpay

メルペイのサービスでは機械学習モデルを活用しています。機械学習モデルを含むシステム全体として品質を高めるために、我々が考えている品質要素とその実践についてお話しします。
------
Merpay Tech Fest 2022は3日間のオンライン技術カンファレンスです。
IT企業で働くソフトウェアエンジニアおよびメルペイの技術スタックに興味がある方々を対象に2022年8月23日(火)から8月25日(木)までの3日間、開催します。 Merpay Tech Festは事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知れるお祭りです。 セッションでは事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介予定です。お楽しみに!

■イベント関連情報
- 公式ウェブサイト:https://events.merpay.com/techfest-2022/
- 申し込みページ:https://mercari.connpass.com/event/249428/
- Twitterハッシュタグ: #MerpayTechFest
■リンク集
- メルカリ・メルペイイベント一覧:https://mercari.connpass.com/
- メルカリキャリアサイト:https://careers.mercari.com/
- メルカリエンジニアリングブログ:https://engineering.mercari.com/blog/
- メルカリエンジニア向けTwitterアカウント:https://twitter.com/mercaridevjp
- 株式会社メルペイ:https://jp.merpay.com/

mercari

August 25, 2022
Tweet

More Decks by mercari

Other Decks in Technology

Transcript

  1. Hiroshi Yoshizawa / @hiro 株式会社メルペイ Software Engineer (ML) 金融のエンジニアとしてキャリアをスタート。 2014年より機

    械学習とデータサイエンスの領域でコンサルティング業務 をし始め、様々な企業に対して機械学習やデータ活用の 支援を行う。2021年にメルペイに入社。現在、主に与信モ デルを担当。
  2. • 各指標をモニタリングし、仮説と異なる振る舞いをしていないか継続 的に検証 e.g.) x 日時点貸倒れ率、x+t 日時点貸倒れ率 • コンセプトドリフト等の異変を早期に検知し、対処 •

    機械学習モデルの生の出力値に加えて、後処理工程毎に精度指標 を時系列でモニタリングし「患部」を特定する モデルモニタリング Model AUC vs 工程 illustrative
  3. • 期待していない振る舞いをするケースを特定し、対処する ◦ 特徴量の改善、ルールベースロジックの追加 等 ◦ 特徴量や予測分布の確認、Explainable AI技術等による理解を経 ても、予見していなかった振る舞いをする可能性は残存する ◦

    お客さまとメルペイ双方が予見できていない振る舞いは、発現した場 合に事業影響が大きい • Testingを高度化し、予見性を高め、よりコントローラブルな機械学習 モデルを作っていきたい エッジケース分析 Model
  4. • 与信事業 All For One で各指標・施策を複眼チェック ◦ UX、収益性、グロース、リスクなどの観点 • Privacy

    office による特徴量の利用可否チェック ◦ ある特徴量を採用することで不公平が起きないかなどの観点 プロダクトの視線 Others
  5. 継続的に改善するチームカルチャーを醸成 • ドキュメンテーション ◦ 議事録、Design Doc、ADR etc ◦ 過去の意思決定の根拠を辿れるようにする •

    与信年表 ◦ 機械学習モデル以外の施策も記述し、ある時点でどういう与信の 状態だったかを理解できる • Trust & Openness なカルチャー ◦ 違和感を heads up しやすい、改善を提案しやすい カルチャー Others