Sansanにおける全社横断データ分析基盤の挑戦と未来 / Challenges and Future of Cross-Organizational Data Analytics Platform at Sansan

■ イベント
データマネジメントのリアル 〜BtoB企業3社の歩みとこれから〜
https://sansan.connpass.com/event/329234/

■ 発表者
技術本部 研究開発部 Architectグループ　田辺 敬之

■ 研究開発部 採用情報
https://media.sansan-engineering.com/randd

■ Sansan Tech Blog
https://buildersbox.corp-sansan.com/

1. Sansan株式会社 部署 名前 Sansanにおける 全社横断データ分析基盤の 挑戦と未来 Sansan 技術本部 研究開発部 Architectグループ 田辺敬之
2. Agenda - 自己紹介 - 会社概要 - Sansanの主要なサービスとデータ - 全社横断データ分析基盤(Colossus) - Colossusのリアルな課題
3. 写真が入ります 田辺 敬之 Sansan株式会社 技術本部 研究開発部 Architectグループ 筑波大学大学院修士課程修了。研究は高性能計算xビッグデータ 2020年4月に新卒で株式会社ノーチラス・テクノロジーズに入社 し、国産初のRDB作りに従事。トランザクション処理全般を担当 する。 2024年7月にデータエンジニアとして入社。全社横断データ分析 基盤の運用・改善、データ利活用に従事している。
4. 会社概要 3 表参道本社 神山ラボ Sansan Innovation Lab 社 名 Sansan株式会社 所在地 表参道本社 東京都渋谷区神宮前5-52-2 青山オーバルビル13F グループ 会社 Sansan Global Pte. Ltd. （シンガポール） Sansan Global Development Center, Inc.（フィリピン） Sansan Global (Thailand) Co., Ltd.（タイ） ログミー株式会社 株式会社ダイヤモンド企業情報編集社 クリエイティブサーベイ株式会社 株式会社言語理解研究所 従業員数 1,698名（2024年5月31日時点） 2007年6月11日 設 立 支店：大阪、名古屋、福岡 サテライトオフィス：徳島、京都、新潟 拠 点 寺田 親弘 代表者
5. Sansanの主要なサービスとデータ
6. Sansanの主要なサービス 請求 人や企業との出会いをビジネスチャンスにつなげる「働き方を変えるDXサービス」を提供 ビジネスフローにおけるさまざまな分野でサービスを展開 名刺管理 名刺DX 営業 営業DX 契約 契約DX 経理DX 個人向けDX 法人向けDX 必要な情報を すぐに見つけられる 情報の管理がしやすく すぐに共有できる 情報を分析・活用しやすく データに基づいた判断ができる SansanのDXサービスの活用で変わる働き方
7. 主要プロダクト・営業系データを集約・活用 人脈情報 コンタクト 情報 企業情報 その他情報 契約情報 請求情報 全社横断データ分析基盤 企業DB データ構造化 データ連携 データ連携 名寄せ BIツール In-house solution データプロダクト マネジメント Salesforce ※ Salesforce は Salesforce inc. の商標であり、 許可のもとで使用しています。
8. 全社横断データ分析基盤(Colossus)
9. 全社横断データ分析基盤Colossus (~2020年) 営業DX サービス 名刺アプリ Sansan データ分析基盤 Eight データ分析基盤 各種営業用 データ 名刺データ化 分析基盤 2007~ 2012~ インボイス 管理サービス 人事異動情報 企業情報 Bill One データ分析基盤 2020~
10. - データ管理コストの増大 - 複数部署で同じデータを管理している場合、データの重複が発生 - 情報が複数箇所に点在すると、データ更新コストが発生 - データアクセスコストの増大 - 各部署の決まりに従ってデータアクセス - データによっては持ち主にエクスポートを依頼 - データ基盤で対応するために個別対応 データのサイロ化による影響 全社横断データ分析基盤で解決
11. 全社横断データ分析基盤(Colossus)(2021年) 営業DX サービス 名刺アプリ Sansan データ分析基盤 Eight データ分析基盤 各種営業用 データ 名刺データ化 分析基盤 2007~ 2012~ 全社横断 データ基盤 インボイス 管理サービス 人事異動情報 企業情報 Bill One データ分析基盤 爆誕！！！ 契約 データベース 2020~ 2021~
12. Colossusのアーキテクチャ Cloud Storage Amazon S3 Amazon Aurora Storage Transfer Service Cloud SQL Logging Cloud Composer Project データ基盤 Data lake BigQuery Project データ分析A BigQuery DWH BigQuery Data mart BigQuery Project データ分析B BigQuery Group A Group B データ基盤エンジニア その他 AWSリソース Azure Blob Storage SalesForce
13. Colossusのリアルな課題
14. - BIが適切に監視できていない - レガシーデータ基盤負債 - Cloud Composer責務持ちすぎ Colossusのリアルな課題
15. - BIが適切に監視できていない - レガシーデータ基盤負債 - Cloud Composer責務持ちすぎ Colossusのリアルな課題
16. - Colossus を使ってBIが作れるようになった。ユーザーは増え、多様な使 われ方をし、誤った民主化が進む - どのBIがどれをどのように正しく見ているか、機密性が適切か不明瞭 BIが適切に監視できていない Colossus インサイトを明確にしたBI エッジニーズやVizを改善 理解不足で怪しいBI BIを魔改造したBI
17. - 発見的統制 - BigQueryに対するBIのURL、owner、クエリ発行日、参照テーブルなど分析 - 監査ログやGA4ログを分析 - 予防的統制 - 作り方、利用の仕方のルール化・改善 解決へのアプローチ 監査ログ GA4 全社横断 データ基盤 発見的統制
18. - BIが適切に監視できていない - レガシーデータ基盤負債 - Cloud Composer責務持ちすぎ Colossusのリアルな課題
19. - 名刺データを取得・分析する名刺データ分析基盤 - 課題 - 複雑な仕組みと古い実装、引き継ぎ不足でメンテナンスコストが高い - 新データ基盤と旧データ基盤の並行運用コストが高い レガシーデータ基盤負債 データ化依頼 データ化結果納品 名刺データ化 システム データ結果 格納システム レガシー基盤 同期
20. - レガシー基盤を一部除去可能にするための新規データ連携経路構築 - 名刺データ結果格納システムで識別した名刺データの識別結果をニアリアル でDynamoに連携 - そのデータを週次でAthenaへ連携 - Athenaへ連携する部分を新データ基盤への連携へ置き換える 解決へのアプローチ 週次データ Athena Colossus
21. - BIが適切に監視できていない - レガシーデータ基盤負債問題 - Cloud Composer責務持ちすぎ Colossusのリアルな課題
22. - 現状: Composer がワークフロー・スケジューリング・データ処理 Cloud Composer 責務持ちすぎ
23. - GCP上のCompute Resourceで行うマイクロサービスとして分離する - Cloud Functions を通じて Composer のジョブをトリガーさせる仕組みを 構築する 解決へのアプローチ Micro Service Micro Service Micro Service
24. 今日のまとめ
25. - データマネジメントは一度負債化すると解消するのに苦労する - 負債解消を諦めて放置するとより負債が悪化するため、泥臭く アプローチしていくことが大事 - 負債を産まないことが理想だが、事業価値を生み出してドライ ブしていくにはそれは避けられない 今日のまとめ
26. Sansan 技術本部 募集ポジション紹介 https://media.sansan-engineering.com/