Upgrade to Pro — share decks privately, control downloads, hide ads and more …

BigQuery データ キャンバスでデータモデリングしてみた / I tried data modeling with BigQuery Data Canvas

BigQuery データ キャンバスでデータモデリングしてみた / I tried data modeling with BigQuery Data Canvas

■イベント
#bq_sushi #19
https://bq-sushi.connpass.com/event/317348/

■発表者
技術本部 研究開発部 Architectグループ
中根 洋平

■研究開発職 採用情報
https://media.sansan-engineering.com/randd

■Sansan Tech Blog
https://buildersbox.corp-sansan.com/

Sansan R&D

May 23, 2024
Tweet

More Decks by Sansan R&D

Other Decks in Technology

Transcript

  1. 中根 洋平 Sansan株式会社 技術本部研究開発部Architectグループ Data Direction Team インフラエンジニアとしてキャリアをスタート 42Uラックでは飽き⾜らず気がつけばクラウドエンジニアとして雲の 上に⼿を伸ばす

    Google Cloud を中⼼にデータエンジニア, アーキテクト, CCoEと活動 Google Cloud Partner Top Engineer 2023, 2024受賞 さらなるワクワクを求め2024年4⽉よりSansan株式会社へ データエンジニアとして参画
  2. 会社概要 4 表参道本社 神山ラボ Sansan Innovation Lab 社 名 Sansan株式会社

    所在地 表参道本社 東京都渋⾕区神宮前5-52-2 ⻘⼭オーバルビル13F グループ 会社 Sansan Global Pte. Ltd. (シンガポール) Sansan Global Development Center, Inc.(フィリピン) Sansan Global (Thailand) Co., Ltd.(タイ) ログミー株式会社 株式会社ダイヤモンド企業情報編集社 クリエイティブサーベイ株式会社 株式会社⾔語理解研究所 従業員数 1519名(2024年2⽉29⽇時点) 2007年6⽉11⽇ 設 ⽴ ⽀店:⼤阪、名古屋、福岡 サテライトオフィス:徳島、京都、新潟 拠 点 寺⽥ 親弘 代表者
  3. 請求 ⼈や企業との出会いをビジネスチャンスにつなげる「働き⽅を変えるDXサービス」を提供 ビジネスフローにおけるさまざまな分野でサービスを展開 名刺管理 名刺DX 営業 営業DX 契約 法務DX 経理DX

    個⼈向けDX 法⼈向けDX 必要な情報を すぐに⾒つけられる 情報の管理がしやすく すぐに共有できる 情報を分析・活⽤しやすく データに基づいた判断ができる SansanのDXサービスの活⽤で変わる働き⽅ 働き⽅を変えるDXサービス
  4. Data Direction Teamの守備範囲 ⼈脈情報 コンタクト 情報 企業情報 その他情報 契約情報 請求情報

    全社横断データ基盤 企業DB データ構造化 データ連携 データ連携 名寄せ データプロダクト マネジメント Salesforce ※ Salesforce は salesforce.com, inc. の商標であり、許可のもとで使⽤しています。 各種BI 探索的 データ分析 In-house solution
  5. とっても⼤事なセキュリティ ⼈脈情報 コンタクト 情報 企業情報 その他情報 契約情報 請求情報 全社横断データ基盤 企業DB

    データ構造化 データ連携 データ連携 名寄せ データプロダクト マネジメント Salesforce ※ Salesforce は salesforce.com, inc. の商標であり、許可のもとで使⽤しています。 各種BI 探索的 データ分析 In-house solution
  6. 1. データへのアクセス 2. メタデータの確認 3. EDA 4. モデリング 5. レビュー

    まとめ • IAM • データキャンバス • データキャンバス • データキャンバス • データキャンバス ⼋⾯六臂の活躍
  7. Good: キャンバスのフローからSQLへ移⾏しやすい with posts_answer as ( select id as post_id,

    creation_date as created_at, 'answer' as type, title, body, owner_user_id, cast(parent_id as string) as parent_id from foobar_posts_answers where creation_date >= timestamp("2022-01-01") ), posts_questions as ( select id as post_id, creation_date as created_at, 'question' as type, title, body, owner_user_id, parent_id from hogehoge_posts_questions where creation_date >= timestamp("2022-01-01") ), user_group_foo as (