Slide 1

Slide 1 text

Sansan技術本部 研究開発部 Architectグループ 坂⼝ 遥 データ活⽤のためならなんでもやる DataDirectionTeamの話 Sansan R&D TECH SHOWCASE

Slide 2

Slide 2 text

Agenda 1. Introduction 2. Sansanにおけるデータ利活⽤について 3. 今後の展望 4. 最後に

Slide 3

Slide 3 text

1.Introduction

Slide 4

Slide 4 text

写真が入ります 坂⼝ 遥 a.k.a hacchi Sansan株式会社 技術本部 研究開発部 Architectグループ ⼀橋⼤学経済学部経済学科修了。新卒で⼤⼿コンサルティン グファームに⼊社し、様々なプロジェクトに関わった後、⼤ ⼿IT会社に転職。新卒採⽤や⼈事データ基盤の構築に携わる。 その後、スタートアップにて事業企画やデータマネジメント などを経験し、2023年9⽉にSansanに⼊社。現在は全社横断 のデータ基盤の開発とデータ利活⽤の促進に従事。

Slide 5

Slide 5 text

DataDirectionTeamとは - 全社横断データ基盤の構築 > 各プロダクトごとに保存しているデータ、ログを⼀つのデータ基盤に統合する > 名刺データ分析基盤のデータも含まれる - 名刺データ分析基盤の開発・保守 > 主に名刺データ(会社名・⽒名・所属・名刺の所有者情報等のテキストデータ) > ニアリアルタイム同期(Amazon DynamoDB)と、週次同期(Amazon Athena) がある - データ利活⽤の促進 > データ利活⽤機会の発⾒からダッシュボードの構築 > 研究開発部の他チームと連携し、機械学習関連データのパイプライン構築など

Slide 6

Slide 6 text

DataDirectionTeamのメンバー ⼤澤 秀⼀ Shuichi Ohsawa ⼤島 武徳 Takenori Oshima 坂⼝ 遥 Yo Sakaguchi a.k.a hacchi TL 出相 早織 Saori Deai 中村 崚 Ryo Nakamura 副部⻑ 折島 晋司 Shinji Orishima

Slide 7

Slide 7 text

統合データ基盤のアーキテクチャ Cloud Storage Amazon S3 Amazon Aurora Storage Transfer Service Cloud SQL Logging Cloud Composer Project データ基盤 Data lake BigQuery Project データ分析A BigQuery DWH BigQuery Data mart BigQuery Project データ分析B BigQuery Group A Group B データ基盤エンジニア その他 AWSリソース Azure Blob Storage SalesForce Airbyte

Slide 8

Slide 8 text

2. Sansanにおけるデータ利活⽤について

Slide 9

Slide 9 text

突然ですが、、、、

Slide 10

Slide 10 text

こんなことありませんか?

Slide 11

Slide 11 text

データ基盤作ったはいいけど、誰も使ってくれない

Slide 12

Slide 12 text

DWHを整えたけど、結局みんな⽣クエリを書いている すごい便利なテーブル すごい便利なテーブル すごい便利なテーブル すごい便利なテーブル 書いた⼈にしか 解読できないクエリ 継ぎ⾜しされすぎて もはや誰も全貌がわからないクエリ

Slide 13

Slide 13 text

現場まで⼊り込んで⽀援したいけど、障壁が多い 組織間調整 その1 稟議申請/ 合意獲得 ドメイン知識 の獲得 組織間調整 その2

Slide 14

Slide 14 text

なぜ起こるのか?

Slide 15

Slide 15 text

あくまでデータは課題解決のための ⼿段のうちの1つ

Slide 16

Slide 16 text

not ⼿段ありき but 課題ありき

Slide 17

Slide 17 text

ただし、データ基盤の開発と現場は 距離が遠いことが多い

Slide 18

Slide 18 text

改めて、DataDirectionTeamの役割とは?

Slide 19

Slide 19 text

データ利活⽤における 全てのハードルを壊して 利活⽤を促進する組織

Slide 20

Slide 20 text

DataDirectionTeamが具体的にやっていること - 各種プロダクトのDBや周辺App(e.g.SalesForce)からデータを収集し、⼀箇 所に集める > パイプラインの開発、運⽤保守 - データを必要としている⼈たちに対して、DWH/Datamartを提供する - なんとなくデータを使ったらうまくいきそうだと感じている⼈たちと⼀緒に活 ⽤の⽷⼝を探す(これが⼀番⼤事) > e.g.プロダクト側に⼊り込んで、課題の探索、KPIツリーの作成から伴⾛する

Slide 21

Slide 21 text

ステークホルダーはフロントからバックオフィスまで 多岐に渡る R&D研究員 各プロダクトの エンジニア 各プロダクトの PdM 各プロダクトの CS エンジニア 採⽤担当

Slide 22

Slide 22 text

データ利活⽤促進のために 本当になんでもやります

Slide 23

Slide 23 text

ちなみに、、、、 - BigQueryストレージ量 > 48.99TB - BigQueryテーブル数 > 約1300 - 取り扱っているデータの種類 > プロダクトのlog/OCRの結果/CRMなど、多種多様

Slide 24

Slide 24 text

DataDirectionTeamのミッションは?

Slide 25

Slide 25 text

データを使って5分で 意思決定できる世界を作る

Slide 26

Slide 26 text

Sansanにおける 知の⾼速道路を作る (と勝⼿に思っている)

Slide 27

Slide 27 text

3. 最後に

Slide 28

Slide 28 text

今後やっていきたいと思っていること (本⼈の勝⼿な構想ですが、概ねずれていないと思います) - Datalake/DWH/Datamart/ユーザー利⽤レイヤの再構築 - DWHにおけるセマンティックレイヤの構築 - さらに現場に深く⼊り込んだデータ利活⽤の推進 - モダンな技術のトライアンドエラー - データメッシュへのトライ

Slide 29

Slide 29 text

データエンジニアリングから データマネジメントまで⼀気通貫で 経験できます

Slide 30

Slide 30 text

No content