Upgrade to Pro — share decks privately, control downloads, hide ads and more …

データ活用推進のためのデータ基盤チームの取り組み / Data Infrastructure Team Initiatives to Promote Data Utilization

Sansan R&D
November 16, 2023

データ活用推進のためのデータ基盤チームの取り組み / Data Infrastructure Team Initiatives to Promote Data Utilization

■イベント:データマネジメントチームのマネジメントの方が難しかった話
https://timeedev.connpass.com/event/299088/

■登壇概要
タイトル:データ活用推進のためのデータ基盤チームの取り組み
発表者:技術本部 研究開発部 Architectグループ 折島 晋司

◉ 研究開発職 採用情報
https://media.sansan-engineering.com/randd

◉ Sansan Tech Blog
https://buildersbox.corp-sansan.com/

Sansan R&D

November 16, 2023
Tweet

More Decks by Sansan R&D

Other Decks in Technology

Transcript

  1. Sansan株式会社
    部署 名前
    データ活⽤推進のための
    データ基盤チームの取り組み
    Sansan技術本部
    Sansan技術本部
    Sansan株式会社
    技術本部 研究開発部 Architect グループ
    Data Direction Team
    折島 晋司

    View full-size slide

  2. 写真が⼊ります
    折島 晋司(おりしま しんじ)
    Sansan株式会社
    技術本部 研究開発部 Architectグループ
    SREとしてオンプレ・クラウドでのインフラ構築・運⽤に従事。
    前職でデータ分析基盤の設計・構築および運⽤を担ったことから
    データエンジニアに。
    2023年7⽉にSansan⼊社。
    現在は全社横断データ基盤へのデータ連携やプロダクトチームへのデータ
    分析⽀援を⾏っている。
    好きなこと
    ⼦育て・⽇本酒

    View full-size slide

  3. 会社概要
    2
    表参道本社
    神⼭ラボ
    Sansan Innovation Lab
    社 名 Sansan株式会社
    所在地
    表参道本社
    東京都渋⾕区神宮前5-52-2 ⻘⼭オーバルビル13F
    グループ
    会社
    Sansan Global Pte. Ltd.(シンガポール)
    Sansan Global Development Center, Inc.(フィリピン)
    ログミー株式会社
    株式会社ダイヤモンド企業情報編集社
    クリエイティブサーベイ株式会社
    株式会社⾔語理解研究所
    従業員数 1,421 名(2023年8⽉31⽇時点)
    2007年6⽉11⽇
    設 ⽴
    ⽀店:⼤阪、名古屋、福岡
    サテライトオフィス:徳島、京都、新潟
    拠 点
    寺⽥ 親弘
    代表者

    View full-size slide

  4. Agenda
    1. Introduction
    2. データ基盤とチームの紹介
    3. データ活⽤推進のための取り組み
    4. まとめ

    View full-size slide

  5. 1.Introduction

    View full-size slide

  6. データ基盤の進化とデータ組織
    - データ基盤関連のプロダクトが年を追うごとに充実し、
    基盤構築・運⽤のハードルがますます低下
    MAD 2023 - Version 1.0

    View full-size slide

  7. 基盤構築や運⽤に関してのノウハウ・ベストプラクティスも広まりつつある
    データ基盤の進化とデータ組織
    デジタル庁のデータ分析基盤「sukuna」|デジタル庁
    エムスリーのデータ基盤を⽀える設計パターン - エムスリーテックブログ
    10Xにおけるdbtの事例紹介 - Speaker Deck メルカリ・メルペイの成⻑を⽀える データ基盤とはどんなものか - Speaker Deck

    View full-size slide

  8. あらゆる組織がデータ基盤を持てる時代に
    データ基盤の進化とデータ組織

    View full-size slide

  9. データ基盤の進化とデータ組織
    - データ基盤はデータから価値を⽣み出すための道具
    > データを活⽤して価値を⽣み出すノウハウは別に存在
    > データ活⽤のノウハウを反映した組織や運営体制が肝⼼
    ⁃ Sansanではデータ基盤を活かすことに注⼒
    > ⼊社後の4ヶ⽉間でチームの⼀員として推進してきた、データ
    組織としての取り組みについてお話しします

    View full-size slide

  10. 2.データ基盤とチームの紹介

    View full-size slide

  11. 全社横断データ基盤のスコープ
    ⼈脈情報
    コンタクト
    情報
    企業情報
    その他情報
    契約情報
    請求情報
    全社横断データ基盤
    企業DB
    データ構造化
    データ連携
    データ連携
    名寄せ
    BIツール
    In-house
    solution
    データプロダクト
    マネジメント
    Salesforce
    *Salesforceは Salesforce, Inc. の商標です。

    View full-size slide

  12. ⼈脈情報
    コンタクト
    情報
    企業情報
    その他情報
    契約情報
    請求情報
    全社横断データ基盤
    企業DB
    データ構造化
    データ連携
    データ連携
    名寄せ
    BIツール
    In-house
    solution
    データプロダクト
    マネジメント
    Salesforce
    *Salesforceは Salesforce, Inc. の商標です。
    今回お話するのはここの部分

    View full-size slide

  13. チームについて
    - 技術本部 研究開発部 Architectグループ Data Direction Team(DDT)
    - 全社横断データ基盤の開発・運⽤
    - 全社でのデータ利活⽤の推進
    - メンバー数:6名
    データエンジニア
    データ意思決定を⽀えるデータインフラ・
    データパイプラインの構築
    アナリティクスエンジニア
    基盤利⽤者、データエンジニアと協⼒し、
    データを使った意思決定の促進のための
    エンジニアリング業務
    - 各プロダクトのデータ所有者と連携し、
    データ収集パイプラインの設計・構築
    - Google Cloud上での分析基盤構築及び運⽤業務
    - メタデータ管理システム構築、運⽤
    - データガバナンスシステム構築、運⽤
    - データエンジニアと協⼒してデータマートや
    DWHの設計・構築・運⽤
    - メタデータ整備
    - BIツールの利⽤ルール浸透や権限整備
    - データガバナンスの整備

    View full-size slide

  14. データ基盤
    データ基盤上の権限と責務
    データソース
    DB
    ログ
    ファイル
    データ所有者
    BigQuery
    Cloud Composer
    (Apache Airflow)
    データ
    レイク DWH
    データ
    マート
    メタデータ
    データ
    収集
    エンドユーザー
    PdM、開発者
    Looker
    データ
    活⽤
    データ基盤利⽤者
    データアナリスト
    アプリ開発者
    データプロダクトマネジャー
    アナリティクスエンジニア
    データエンジニア Amazon EKS

    View full-size slide

  15. 全社横断データ基盤 アーキテクチャ図
    Cloud
    Storage
    Amazon S3
    Amazon Aurora
    Storage
    Transfer
    Service
    Cloud SQL
    Logging
    Cloud
    Composer
    Project データ基盤
    Data lake
    BigQuery
    Project データ分析A
    BigQuery
    DWH
    BigQuery
    Data mart
    BigQuery
    Project データ分析B
    BigQuery
    Group A Group B
    データ基盤エンジニア
    その他
    AWSリソース
    Azure Blob
    Storage
    SalesForce
    Airbyte

    View full-size slide

  16. 3.データ活⽤推進のための取り組み

    View full-size slide

  17. フェイズの変化
    ⽴ち上げ
    - セキュリティと利便性の
    両⽴のための基盤設計
    - 各プロダクトの
    ⽣データをともかく収集
    - 技術選定→Try&Error
    - data producer/consumerと
    の調整&ヒアリング
    - 責任分界点の整理、
    合意形成
    - 連携データの拡⼤
    - 技術的負債の返済
    - メンバー増員
    - 利⽤者を研究員・データ
    アナリストから全社的に
    展開
    - 全社で利⽤されるデータ
    基盤にするために、各部
    署に⼊り込んでデータ活
    ⽤⽀援から⽀える体制に
    シフト
    - データ利⽤の⺠主化
    - semantic layerの拡充
    - データメッシュ
    - プロダクトへの浸透
    - reverse ETL
    - ビジネス貢献
    - 「⾒たい数値を
    ⾒たいときに」
    拡⼤ 未来
    イマココ!

    View full-size slide

  18. 課題と打ち⼿:⽴ち上げ期
    ⽴ち上げ
    - 連携データの拡⼤
    - 技術的負債の返済
    - メンバー増員
    - 利⽤者を研究員・デー
    タアナリストから全社
    的に展開
    - 全社で利⽤されるデー
    タ基盤にするために、
    各部署に⼊り込んでデ
    ータ活⽤⽀援から⽀え
    る体制にシフト
    - データ利⽤の⺠主化
    - semantic layerの拡

    - データメッシュ
    - プロダクトへの浸透
    - reverse ETL
    - ビジネス貢献
    - 「⾒たい数値を
    ⾒たいときに」
    拡⼤ 未来
    各プロダクトでデータの扱いが異なり、部⾨を跨いだデータ利⽤に
    ついて責任分界の整理がなされていない
    →法務・CSIRTと協働し、セキュリティと利便性を両⽴させるデー
    タ管理体制を構築
    データを集める優先度とインパクトの判断が難しい
    →研究員とデータアナリストをメインターゲットにして、ニーズの
    ⾼いデータから優先的に対応
    プロダクト側にすでにデータ基盤が存在するため、全社横断データ
    基盤およびデータ連携の必要性が理解されにくい
    →データ利活⽤の課題をヒアリングし、既存基盤では解決できない
    問題を全社横断データ基盤で解決するための道筋を説明
    - セキュリティと利便性の
    両⽴のための基盤設計
    - 各プロダクトの
    ⽣データをともかく収集
    - 技術選定→Try&Error
    - data producer/consumerと
    の調整&ヒアリング
    - 責任分界点の整理、
    合意形成

    View full-size slide

  19. 課題と打ち⼿:拡⼤期
    - 連携データの拡⼤
    - 技術的負債の返済
    - メンバー増員
    - 全社で利⽤されるデー
    タ基盤にするために、
    各部署に⼊り込んでデ
    ータ活⽤⽀援から⽀え
    る体制にシフト
    - 利⽤者を研究員・デー
    タアナリストから全社
    的に展開
    データ基盤が存在し連携することができるというだけでは、プロ
    ダクト単体でデータ活⽤の推進を進めていくことは難しい
    →プロダクト担当を決めてプロダクトチームに⼊り込んで活動
    利⽤者が増えたことで、データ導⼊担当者にデータ仕様の問い合
    せが集中するようになってしまい、ナレッジの属⼈化&対応負荷が
    偏る
    →データ問い合わせ窓⼝を開設しメンバー間でローテ&対応
    拡⼤ 未来

    View full-size slide

  20. データ利活⽤におけるビジョンステートメント
    - ⻑期的には以下のビジョンステートメントを掲げながら、短期〜中期においては
    OKRを決めて運⽤している
    データを使って5分で意思決定できる 世界
    - 直近四半期(拡⼤期)は以下の通り
    > 達成指標:Key Results1:データ活⽤⽀援の成功事例を5個以上つくる
    > 達成指標:Key Results2:問い合わせに24時間以内に回答できた割合を
    80%以上にする

    View full-size slide

  21. 課題に対する打ち⼿:Key Result1
    - データ活⽤⽀援の成功事例を5個以上つくる
    - プロダクト担当を決めてプロダクトチームに⼊り込んで活動
    > 属⼈化抑⽌のため、チーム内で各種の情報共有の場を設定
    - 朝会:メンバーそれぞれの振り返り・本⽇ToDo、新着プルリク確認など
    - ⼣会:議論・モブプログラミングなど課題を当⽇内に解消するべく柔軟に
    - 共有会:プロダクトについて必要な情報共有は随時実施

    View full-size slide

  22. 課題に対する打ち⼿:Key Result2
    - 問い合わせに24時間以内に回答できた
    割合を80%以上にする
    - データに対する問い合わせは
    Slack チャンネルで当番が即対応

    View full-size slide

  23. 拡⼤期に求められる役割
    - チームメンバーはインフラ・データ活⽤⽀援・BI整備まで幅広く活動
    - いわゆるデータスチュワードと呼ばれる
    データ相談窓⼝ 兼 データ整備推進役
    - 明⽰的に役割を割り振られてはいないが、メンバー全員が⾃然に⽴ち回りを
    こなしている
    - 限定された役割に⽌まらないような、メンバーの積極性・柔軟性こそが重要

    View full-size slide

  24. 今後やっていきたい事
    - セキュリティと利便性の
    両⽴のための基盤設計
    - 各プロダクトの
    ⽣データをともかく収集
    - 技術選定→Try&Error
    - data
    producer/consumerとの
    調整&ヒアリング
    - 責任分界点の整理、
    合意形成
    - 連携データの拡⼤
    - 技術的負債の返済
    - メンバー増員
    - 利⽤者を研究員・デー
    タアナリストから全社
    的に展開
    - 全社で利⽤されるデー
    タ基盤にするために、
    各部署に⼊り込んでデ
    ータ活⽤⽀援から⽀え
    る体制にシフト
    - データ利⽤の⺠主化
    - semantic layerの拡充
    - データメッシュ
    - プロダクトへの浸透
    - reverse ETL
    - ビジネス貢献
    - 「⾒たい数値を
    ⾒たいときに」
    未来
    データ拡⼤に伴うデータ基盤の肥⼤化が発⽣しな
    いスケーラブルなデータ基盤へのシフト
    利⽤者のセルフサービスによるデータ管理
    Sansan全体におけるSSOTとしての基盤への実現

    View full-size slide

  25. まとめ
    - データ活⽤推進には、フェイズごとに様々な課題があった
    - ステートメントを決めてチームのOKRとしてコミットすることが重要
    - 拡⼤期においては、メンバーの積極的・柔軟な取り組みを引き出すこと
    が次のフェイズに突き抜けていくための鍵

    View full-size slide

  26. ⼤胆さと実直さ。
    チャレンジ精神を胸に、⽇々技術を磨く。
    想像と創造。
    ユーザーの視点に⽴ち、ものづくりを追求する。
    スピードとクオリティ。
    最速で最善のサービスを世に送り出す。
    ⼀⾒対⽴するような特性を併せ持ち、
    ときにそれらを使い分けながら、進み続ける。
    すべては、ビジネスに不可⽋な
    インフラをつくるために。
    常識をひっくり返すアイデアで、
    この挑戦の先頭へ。
    技術本部 Statement
    今⽇もどこかで、⼈と⼈、
    企業と企業が出会っている。
    そこにあるのは、
    ビジネスを変える無数の可能性。
    出会いの数だけ、私たちにできることがある。
    その可能性を、カタチにする。
    Sansan技術本部

    View full-size slide

  27. Sansan 技術本部
    募集ポジション紹介
    https://media.sansan-engineering.com/

    View full-size slide