MLOpsのエッセンスを取り⼊れて評価 pipelineを再構築している件

■イベント
どう設計しておけばよかった？各社事例で振り返る データ構造x技術負債LT
https://offers.connpass.com/event/311395/

■発表者
技術本部 Sansan Engineering Unit / 研究開発部
⼤島 武徳

■データ戦略 エンジニア 採用情報
https://media.sansan-engineering.com/data-strategy

Transcript

1. Sansan株式会社 部署 名前 MLOpsのエッセンスを取り⼊れて 評価 pipelineを再構築している件 技術本部 Sansan Engineering Unit / 研究開発部 ⼤島 武徳
2. 写真が入ります ⼤島 武徳 Sansan株式会社 技術本部 Sansan Engineering Unit / 研究開発部 副部⻑ 新卒でゲーム機メーカーへ⼊社し、動画ライブラリやストリーミン グ技術を利⽤したアプリ開発やテクニカルサポート、声優など多岐 にわたる経験を積む。 その後、⾃動⾞メーカー等で⾃動運転AI学習環境開発やデータ基盤 開発に携わり、2023年の4⽉にSansanにJoin. 現在はデータ利活⽤推進とマネジメントに従事している。
3. Sansan株式会社 会社概要 3 「Sansan」に込めた想い “San”（〜さん）は、英語の“Mr.”や“Ms.”にあたる 「⼈」を象徴する⾔葉です。 Sansanは、⼈と⼈、そして出会いを表します。 “世界を変える出会い”を⽣み出したい。 ⾚いラインには、そんな想いがこめられています。 Sansan Bill One Contract One Eight 主な提供サービス 2007年6⽉11⽇ 66億88百万円（2023年11⽉30⽇時点） Sansan神⼭ラボ Sansan Innovation Lab Sansan⻑岡ラボ Sansan Global Pte. Ltd. （シンガポール） Sansan Global Development Center, Inc. （フィリピン） ログミー株式会社 株式会社ダイヤモンド企業情報編集社 クリエイティブサーベイ株式会社 株式会社⾔語理解研究所 設⽴ 資本⾦ 表参道本社 Sansan パラシオ 関⻄⽀店 福岡⽀店 中部⽀店 拠点 サテライト オフィス グループ会社 東京証券取引所 プライム市場 上場証券取引所 働き⽅を変えるDXサービスの企画・開発・販売 事業 寺⽥親弘 代表者
4. © Sansan, Inc. 出会いから イノベーションを⽣み出す いつの時代も、世界を動かしてきたのは出会いです。 ⼈と⼈、企業と企業、 その出会いの連鎖が社会を前進させます。 私たちは出会いが持つ可能性を再発⾒し、 未来につなげることでビジネスを変えていきます。 イノベーションにつながる新しい出会いを⽣み出す。 出会いの⼒でビジネスの課題にイノベーションを起こす。 そして、ビジネスの出会い、そのもののあり⽅を変えていきます。 Mission 会社概要
5. Sansanのカタチ 会社概要 - Mission - Values - Premise - Vision 出会いからイノベーションを⽣み出す 仕事に向き合い、情熱を注ぐ Lead the customer 体験を想像する 意思と意図をもって判断する 最速を⽬指す 強みを活かし、結集する 感謝と感激を⼤切にする 変化を恐れず、挑戦していく セキュリティと利便性を両⽴させる ビジネスインフラになる
6. 働き⽅を変えるDXサービス 提供サービス Sansanは、名刺というアナログ情報をデジタル化して データとして活⽤できるようにすることで、 企業の課題解決を⽀援してきました。 これからは、名刺管理という分野に限らず、 営業、経理、契約といった より幅広い領域でサービスを展開していくことで、 DXを推進し、働き⽅を変えていきます。 Sansanの働き⽅を変えるDXサービスが、 企業とビジネスパーソンの課題解決を後押しします。
7. 働き⽅を変えるDXサービス 7 提供サービス ⼈や企業との出会いをビジネスチャンスにつなげる「働き⽅を変えるDXサービス」を提供 ビジネスフローにおけるさまざまな分野でサービスを展開 請求 営業 営業DX 契約 法務DX 経理DX 法⼈向けDX 必要な情報を すぐに⾒つけられる 情報の管理がしやすく すぐに共有できる 情報を分析・活⽤しやすく データに基づいた判断ができる SansanのDXサービスの活⽤で変わる働き⽅ 名刺管理 名刺DX 個人向けDX
8. 技術本部 組織 技術本部 各事業部・プロダクトユニットと連携するEngineering Unitと、Sansanの根幹技術を担う組織が存在。 Sansan Engineering Unit Eight Engineering Unit Bill One Engineering Unit Strategic Products Engineering Unit Quality Assurance Group データアライアンス部 海外開発拠点⽀援室 Digitization部 VPoE室 コーポレートシステム部 Mobile Application Group 研究開発部（R&D） 情報セキュリティ部
9. Sansan Engineering Unit Nayose Groupについて
10. 経理DX インボイス管理サービス 法務DX 契約データベース 営業DXサービス 営業DX 名刺DX 名刺アプリ Nayose Groupの役割 ビジネスデータを収集、整理、データベース化し、そのデータを⽤いたビジネス価値の創出を担う。 そのための機能を各プロダクトへ提供している。 × Data Technology × Operation Digitization部・Nayose Group/ Master Data Group・研究開発部
11. 名寄せとは 同⼀⼈物および同⼀企業の単位でデータを統合 三三 太郎 三三 太郎 浅場建設 Sansan ⼈事部 名刺 メールの署名 公開情報 / ニュース 顧客管理の情報 企業マスタ 〇〇の資料請 求 商談内 容 … 株式会社〇〇の 最新ニュース ⼈事異動情 報
12. ⼈物情報の名寄せにより実現される体験
13. 会社情報の名寄せにより実現される体験
14. 名寄技術の課題
15. クオリティーチェックに時間がかかる システムの成⻑に伴い、扱うデータと評価軸が複雑化した ため、以下の様な問題が出てきた
16. サンプリングしたデータを⼈が確認をしているから メリット - 複雑な依頼でも対応可能になる - 結果の信頼性が⾼い デメリット - どうしても時間がかかってしまう 機能拡張が進み、クオリティーチェックの回数とチェック項⽬が増えていったため、 デメリットが顕在化してきた クオリティーチェックに時間がかかる理由
17. 改善案の検討
18. - 開発サイクルが速くしたい！ - クオリティーを担保しないとデータベースの価値が低下してしまう どうにかしてクオリティーを落とさずに時間を短縮したい
19. そうだ！MLOpsにしよう！
20. Machine Learningで作られたアルゴリズムを活⽤するのではなく、 アルゴリズムを作成するための仕組みを導⼊する MLOpsの概念を導⼊する 引⽤：Machine Learning Operations (MLOps): Overview, Definition, and Architecture Dominik Kreuzberger; Niklas Kühl; Sebastian Hirschl
21. MLOpsでは通常以下が⾏われている - 評価のために⼈が介在して評価データを作成する - 評価プロセスはCI/CDに組み込まれ、⾃動で評価される - 評価データは評価プロセスで再利⽤される クオリティーチェックの良さを残したまま、⾼速化が実現できそう なぜMLOpsなのか？
22. MLOps導⼊のために重要なこと
23. 何のためにチェックしているのかを整理し、そのために必要なデータを 整理していく必要がある - データの作り⽅ - データの鮮度 - データの量 - オペレーションの改善 - ⼈が介在することでクオリティーが担保されるが、同時に時間もかかる - ⼈の介在をどれだけ⼩さくできるかも検討する 秘伝のタレを作るが如し！ 評価データの作成
24. ご興味ある⽅は是⾮！ 現在鋭意作成中 Infra
25. - MLOpsの概念を導⼊することで、⼈によるクオリティチェックの⾼速化 を検討している - 実現には評価データを効率的に作る仕組みが必要である - クオリティー担保のためには、すべてを⾃動化するのではなく⼈が介在 することも重要である まとめ
26. We are hiring! Webアプリ開発エンジニア［データ戦略］ https://open.talentio.com/r/1/c/sansan/pages/76521