データ活⽤のためならなんでもやるDataDirectionTeamの話 / The DataDirectionTeam does whatever it takes to make use of data

■イベント：Sansan R&D TECH SHOWCASE -ビジネスをドライブするR&Dのウラガワ大公開-
https://sansan.connpass.com/event/299113/

■登壇概要
タイトル： データ活⽤のためならなんでもやるDataDirectionTeamの話
発表者： 技術本部 研究開発部 Architectグループ　坂⼝ 遥

◉ 研究開発職 採用情報
https://media.sansan-engineering.com/randd

◉ Sansan Tech Blog
https://buildersbox.corp-sansan.com/

Transcript

1. Sansan技術本部 研究開発部
   Architectグループ
   坂⼝ 遥
   データ活⽤のためならなんでもやる
   DataDirectionTeamの話
   Sansan R&D TECH SHOWCASE
   

   View Slide

2. Agenda
   1. Introduction
   2. Sansanにおけるデータ利活⽤について
   3. 今後の展望
   4. 最後に
   

   View Slide

3. 1.Introduction
   

   View Slide

4. 写真が入ります
   坂⼝ 遥 a.k.a hacchi
   Sansan株式会社
   技術本部 研究開発部 Architectグループ
   ⼀橋⼤学経済学部経済学科修了。新卒で⼤⼿コンサルティン
   グファームに⼊社し、様々なプロジェクトに関わった後、⼤
   ⼿IT会社に転職。新卒採⽤や⼈事データ基盤の構築に携わる。
   その後、スタートアップにて事業企画やデータマネジメント
   などを経験し、2023年9⽉にSansanに⼊社。現在は全社横断
   のデータ基盤の開発とデータ利活⽤の促進に従事。
   

   View Slide

5. DataDirectionTeamとは
   - 全社横断データ基盤の構築
   > 各プロダクトごとに保存しているデータ、ログを⼀つのデータ基盤に統合する
   > 名刺データ分析基盤のデータも含まれる
   - 名刺データ分析基盤の開発・保守
   > 主に名刺データ（会社名・⽒名・所属・名刺の所有者情報等のテキストデータ）
   > ニアリアルタイム同期（Amazon DynamoDB）と、週次同期（Amazon Athena）
   がある
   - データ利活⽤の促進
   > データ利活⽤機会の発⾒からダッシュボードの構築
   > 研究開発部の他チームと連携し、機械学習関連データのパイプライン構築など
   

   View Slide

6. DataDirectionTeamのメンバー
   ⼤澤 秀⼀
   Shuichi Ohsawa
   ⼤島 武徳
   Takenori Oshima
   坂⼝ 遥
   Yo Sakaguchi
   a.k.a hacchi
   TL
   出相 早織
   Saori Deai
   中村 崚
   Ryo Nakamura
   副部⻑
   折島 晋司
   Shinji Orishima
   

   View Slide

7. 統合データ基盤のアーキテクチャ
   Cloud
   Storage
   Amazon S3
   Amazon Aurora
   Storage
   Transfer
   Service
   Cloud SQL
   Logging
   Cloud
   Composer
   Project データ基盤
   Data lake
   BigQuery
   Project データ分析A
   BigQuery
   DWH
   BigQuery
   Data mart
   BigQuery
   Project データ分析B
   BigQuery
   Group A Group B
   データ基盤エンジニア
   その他
   AWSリソース
   Azure Blob
   Storage
   SalesForce
   Airbyte
   

   View Slide

8. 2. Sansanにおけるデータ利活⽤について
   

   View Slide

9. 突然ですが、、、、
   

   View Slide

10. こんなことありませんか？
    

    View Slide

11. データ基盤作ったはいいけど、誰も使ってくれない
    

    View Slide

12. DWHを整えたけど、結局みんな⽣クエリを書いている
    すごい便利なテーブル
    すごい便利なテーブル
    すごい便利なテーブル
    すごい便利なテーブル
    書いた⼈にしか
    解読できないクエリ
    継ぎ⾜しされすぎて
    もはや誰も全貌がわからないクエリ
    

    View Slide

13. 現場まで⼊り込んで⽀援したいけど、障壁が多い
    組織間調整
    その1
    稟議申請/
    合意獲得
    ドメイン知識
    の獲得
    組織間調整
    その2
    

    View Slide

14. なぜ起こるのか？
    

    View Slide

15. あくまでデータは課題解決のための
    ⼿段のうちの1つ
    

    View Slide

16. not ⼿段ありき
    but 課題ありき
    

    View Slide

17. ただし、データ基盤の開発と現場は
    距離が遠いことが多い
    

    View Slide

18. 改めて、DataDirectionTeamの役割とは？
    

    View Slide

19. データ利活⽤における
    全てのハードルを壊して
    利活⽤を促進する組織
    

    View Slide

20. DataDirectionTeamが具体的にやっていること
    - 各種プロダクトのDBや周辺App（e.g.SalesForce）からデータを収集し、⼀箇
    所に集める
    > パイプラインの開発、運⽤保守
    - データを必要としている⼈たちに対して、DWH/Datamartを提供する
    - なんとなくデータを使ったらうまくいきそうだと感じている⼈たちと⼀緒に活
    ⽤の⽷⼝を探す（これが⼀番⼤事）
    > e.g.プロダクト側に⼊り込んで、課題の探索、KPIツリーの作成から伴⾛する
    

    View Slide

21. ステークホルダーはフロントからバックオフィスまで
    多岐に渡る
    R&D研究員
    各プロダクトの
    エンジニア
    各プロダクトの
    PdM
    各プロダクトの
    CS
    エンジニア
    採⽤担当
    

    View Slide

22. データ利活⽤促進のために
    本当になんでもやります
    

    View Slide

23. ちなみに、、、、
    - BigQueryストレージ量
    > 48.99TB
    - BigQueryテーブル数
    > 約1300
    - 取り扱っているデータの種類
    > プロダクトのlog/OCRの結果/CRMなど、多種多様
    

    View Slide

24. DataDirectionTeamのミッションは？
    

    View Slide

25. データを使って5分で
    意思決定できる世界を作る
    

    View Slide

26. Sansanにおける
    知の⾼速道路を作る
    （と勝⼿に思っている）
    

    View Slide

27. 3. 最後に
    

    View Slide

28. 今後やっていきたいと思っていること
    （本⼈の勝⼿な構想ですが、概ねずれていないと思います）
    - Datalake/DWH/Datamart/ユーザー利⽤レイヤの再構築
    - DWHにおけるセマンティックレイヤの構築
    - さらに現場に深く⼊り込んだデータ利活⽤の推進
    - モダンな技術のトライアンドエラー
    - データメッシュへのトライ
    

    View Slide

29. データエンジニアリングから
    データマネジメントまで⼀気通貫で
    経験できます
    

    View Slide

30. View Slide