R&D自動評価基盤の取り組み / Design of Auto-Evaluation Infrastructure for Sansan R&D

■イベント
DevLOVE関西
https://devlove-kansai.doorkeeper.jp/events/171858

■発表者
技術本部 研究開発部 Architectグループ
辻田 美咲

■研究開発職 採用情報
https://media.sansan-engineering.com/randd

■Sansan Tech Blog
https://buildersbox.corp-sansan.com/

Transcript

1. Sansan株式会社 部署 名前 R&D⾃動評価基盤の取り組み Sansan技術本部 Sansan技術本部 研究開発部 Architectグループ 辻⽥ 美咲
2. 辻⽥ 美咲 Sansan株式会社 技術本部 研究開発部 Architectグループ - 2021年 Sansan⼊社 - Architectグループ takowasaチーム所属 - DevOps/MLOps Engineer
3. Agenda - Sansan研究開発部とは - ⾃動評価基盤の設計 - 今後の展望
4. 1.Sansan研究開発部とは
5. さまざまな事業領域に貢献するR&D 画像処理・画像認識 ⾃然⾔語処理 機械学習 データサイエンス ・因果推論 データ可視化 プロダクトマネジメント 新規事業 営業/CS （社内課題） 解約阻⽌・利⽤促進（CS） 営業効率化（営業） SceneText Recognition Object Detection ⼊⼒の⾃動化 OCR/項⽬分割など 超解像 特徴語判定 会社 キーワード 固有表現抽出 メール署名 取り込み 固有表現抽出 ニュース 配信 文書分類 ResNet 企業ロゴ 抽出 Graph Embeding レコメンデ ーション ラベル 予測 名寄せ RCT ABテスト ・効果検証 パネルデータ 分析 Sansan Labs （新機能開発） キーバリュー抽出 帳票のデータ化 Graph Neural Network
6. 研究開発部内のメンバー構成 研究員 / データサイエンティスト MLOps / DevOps エンジニア データエンジニア / アナリティクスエンジニア プロダクトマネジャー プロダクト組織 主に名刺や帳票の⾼精度なデータ化や蓄積 されたデータからプロダクトの価値を⾼め るデータを活⽤した機能の研究開発からサ ービスリリースまで担う サービスの品質・可⽤性・セキュリティ・ オブザーバビリティを担保 また研究員による試⾏錯誤を増やし、継続 的に素早くリリースするためのデプロイ基 盤を構築・推進 研究開発部や全社で利⽤する分析基盤の設 計・開発をリード ⾃社のプロダクトから⽣まれるさまざまな ログやデータ連携パートナー企業などから のデータを、活⽤しやすい形で社内に提供 プロダクト組織と連携し、各プロダクトを 連続的・⾮連続的に成⻑させる機能開発・ 検証をリード
7. takowasaチームとは ~われわれはなぜここにいるのか~ - われわれは研究員と⼿を取り合い、 - 研究員の作る多くの価値を素早く提供する - 研究員が本質的な課題に向き合う時間を増やす
8. takowasaチームとは ~エレベーターピッチ~ R&Dの成果を顧客に迅速に安定して提供したい研究員のための、 takowasaというチームは、開発、運⽤における⾼可⽤性のあるプラクティスを開拓、浸透させるチームである。 われわれは研究員の認知負荷を減らし、ユーザ価値に向き合う時間を増やすことができる。 他チームとは違って、ベストプラクティスをR&D全体に浸透させることに向き合っている。 認知負荷 ベストプラクティスの 開拓、浸透 顧客への価値提供
9. 2.⾃動評価基盤の設計
10. MLシステムの要素 出典:Hidden Technical Debt in Machine Learning Systems
11. ML開発フローの課題 アプリケーション基盤”Circuit” によって改善した部分 データ 収集 サービス 構築 評価 リリース 学習 A/B テスト 前処理 推論 機械学習システム ワークフロー MLプロジェクトにおいて⼤半を 占める前処理部分には、基盤が 存在しない。 ⾃動化等は各サービス担当者に 依存している。
12. ⾃動評価基盤の⽬的 1. モデルやエンジンの評価を迅速化し、顧客価値の提供を加速 2. 認知負荷の軽減と研究者の本質的な課題に注⼒する時間の増加
13. ⾃動評価基盤のアーキテクチャ
14. ⾃動評価基盤のアーキテクチャ
15. ⾃動評価基盤のアーキテクチャ
16. ⾃動評価基盤の設計 評価スクリプトの統⼀性 - 各サービスのリポジトリ内に配置し、標準出⼒に 結果を出⼒ - 指定フォーマットに従えば、⾃動でデータ基盤に連携 - 研究員は評価コードの開発に集中ができる
17. ⾃動評価基盤の設計 モデル精度のモニタリング - 定期的なモデル精度の監視とトラッキング - モデルのバージョン、学習データのバージョン情報なども⼀緒に保存 - 再現性の確保と分析の容易化 - モデルの性能や品質の変化を把握し、潜在的な問題を早期に検出
18. 自動評価基盤の設計 評価結果のGitHub上での管理と可視化 - 評価結果をGitHub上のプルリクエストとして管理し、可視化 - チームメンバー間の共有を促進 - リリース判断のための情報を容易に利⽤可能にする
19. とあるサービスでの事例 評価結果をGitHub上で管理、可視化を始めたサービス - リードタイム - 2Q 199時間→3Q 138時間で61時間の削減 - リリース頻度 - 2Q 4回→3Q 10回で2.5倍に増加
20. 3.今後の展望
21. 今後やっていきたいこと - すべての仕組みを本格運⽤ - 評価スクリプトの統⼀、モデルのモニタリング、評価結果のGitHub管理 すべ てを組み込んだサービスはまだ無い - リリースの完全⾃動化 - Argo Workflowsを⽤いて評価ジョブの実⾏〜結果解析〜リリースを完全⾃動化 - 全サービス展開