データ活⽤のためならなんでもやるDataDirectionTeamの話 / The DataDirectionTeam does whatever it takes to make use of data

■イベント：Sansan R&D TECH SHOWCASE -ビジネスをドライブするR&Dのウラガワ大公開-
https://sansan.connpass.com/event/299113/

■登壇概要
タイトル： データ活⽤のためならなんでもやるDataDirectionTeamの話
発表者： 技術本部 研究開発部 Architectグループ　坂⼝ 遥

◉ 研究開発職 採用情報
https://media.sansan-engineering.com/randd

◉ Sansan Tech Blog
https://buildersbox.corp-sansan.com/

Transcript

1. Sansan技術本部 研究開発部 Architectグループ 坂⼝ 遥 データ活⽤のためならなんでもやる DataDirectionTeamの話 Sansan R&D TECH SHOWCASE
2. Agenda 1. Introduction 2. Sansanにおけるデータ利活⽤について 3. 今後の展望 4. 最後に
3. 1.Introduction
4. 写真が入ります 坂⼝ 遥 a.k.a hacchi Sansan株式会社 技術本部 研究開発部 Architectグループ ⼀橋⼤学経済学部経済学科修了。新卒で⼤⼿コンサルティン グファームに⼊社し、様々なプロジェクトに関わった後、⼤ ⼿IT会社に転職。新卒採⽤や⼈事データ基盤の構築に携わる。 その後、スタートアップにて事業企画やデータマネジメント などを経験し、2023年9⽉にSansanに⼊社。現在は全社横断 のデータ基盤の開発とデータ利活⽤の促進に従事。
5. DataDirectionTeamとは - 全社横断データ基盤の構築 > 各プロダクトごとに保存しているデータ、ログを⼀つのデータ基盤に統合する > 名刺データ分析基盤のデータも含まれる - 名刺データ分析基盤の開発・保守 > 主に名刺データ（会社名・⽒名・所属・名刺の所有者情報等のテキストデータ） > ニアリアルタイム同期（Amazon DynamoDB）と、週次同期（Amazon Athena） がある - データ利活⽤の促進 > データ利活⽤機会の発⾒からダッシュボードの構築 > 研究開発部の他チームと連携し、機械学習関連データのパイプライン構築など
6. DataDirectionTeamのメンバー ⼤澤 秀⼀ Shuichi Ohsawa ⼤島 武徳 Takenori Oshima 坂⼝ 遥 Yo Sakaguchi a.k.a hacchi TL 出相 早織 Saori Deai 中村 崚 Ryo Nakamura 副部⻑ 折島 晋司 Shinji Orishima
7. 統合データ基盤のアーキテクチャ Cloud Storage Amazon S3 Amazon Aurora Storage Transfer Service Cloud SQL Logging Cloud Composer Project データ基盤 Data lake BigQuery Project データ分析A BigQuery DWH BigQuery Data mart BigQuery Project データ分析B BigQuery Group A Group B データ基盤エンジニア その他 AWSリソース Azure Blob Storage SalesForce Airbyte
8. 2. Sansanにおけるデータ利活⽤について
9. 突然ですが、、、、
10. こんなことありませんか？
11. データ基盤作ったはいいけど、誰も使ってくれない
12. DWHを整えたけど、結局みんな⽣クエリを書いている すごい便利なテーブル すごい便利なテーブル すごい便利なテーブル すごい便利なテーブル 書いた⼈にしか 解読できないクエリ 継ぎ⾜しされすぎて もはや誰も全貌がわからないクエリ
13. 現場まで⼊り込んで⽀援したいけど、障壁が多い 組織間調整 その1 稟議申請/ 合意獲得 ドメイン知識 の獲得 組織間調整 その2
14. なぜ起こるのか？
15. あくまでデータは課題解決のための ⼿段のうちの1つ
16. not ⼿段ありき but 課題ありき
17. ただし、データ基盤の開発と現場は 距離が遠いことが多い
18. 改めて、DataDirectionTeamの役割とは？
19. データ利活⽤における 全てのハードルを壊して 利活⽤を促進する組織
20. DataDirectionTeamが具体的にやっていること - 各種プロダクトのDBや周辺App（e.g.SalesForce）からデータを収集し、⼀箇 所に集める > パイプラインの開発、運⽤保守 - データを必要としている⼈たちに対して、DWH/Datamartを提供する - なんとなくデータを使ったらうまくいきそうだと感じている⼈たちと⼀緒に活 ⽤の⽷⼝を探す（これが⼀番⼤事） > e.g.プロダクト側に⼊り込んで、課題の探索、KPIツリーの作成から伴⾛する
21. ステークホルダーはフロントからバックオフィスまで 多岐に渡る R&D研究員 各プロダクトの エンジニア 各プロダクトの PdM 各プロダクトの CS エンジニア 採⽤担当
22. データ利活⽤促進のために 本当になんでもやります
23. ちなみに、、、、 - BigQueryストレージ量 > 48.99TB - BigQueryテーブル数 > 約1300 - 取り扱っているデータの種類 > プロダクトのlog/OCRの結果/CRMなど、多種多様
24. DataDirectionTeamのミッションは？
25. データを使って5分で 意思決定できる世界を作る
26. Sansanにおける 知の⾼速道路を作る （と勝⼿に思っている）
27. 3. 最後に
28. 今後やっていきたいと思っていること （本⼈の勝⼿な構想ですが、概ねずれていないと思います） - Datalake/DWH/Datamart/ユーザー利⽤レイヤの再構築 - DWHにおけるセマンティックレイヤの構築 - さらに現場に深く⼊り込んだデータ利活⽤の推進 - モダンな技術のトライアンドエラー - データメッシュへのトライ
29. データエンジニアリングから データマネジメントまで⼀気通貫で 経験できます