HR Force における DWH の併用事例 ~ サービス基盤としての BigQuery / 分析基盤としての Snowflake ~@Cross Data Platforms Meetup #2「BigQueryと愉快な仲間たち」

▼概要：
本資料は2025年10月15日に開催されたCross Data Platforms Meetup #2「BigQueryと愉快な仲間たち」における資料です。

▼イベントURL：
https://cdpm.connpass.com/event/369459/

▼詳細：
HR ForceではBigQueryとSnowflakeを併用しています。そこで、事例紹介として、どのようなアーキテクチャで運用しているのか、運用面の工夫、現状の課題感/伸びしろについてまとめました。

Transcript

1. ©HR Force Inc. All rights reserved. HR Force における DWH の併⽤事例 ~ サービス基盤としての BigQuery / 分析基盤としての Snowflake ~ 2025/10/15(⽊) @ Cross Data Platform Meetup #2 株式会社HR Force DS統括部DXグループDataチーム, Opsチーム マネージャー 鈴⽊ 凌
2. ©HR Force Inc. All rights reserved. 登壇者について 2 鈴⽊ 凌 (すずき) / @suzupappa - 株式会社HR Force - Dataチーム, Opsチーム マネージャー データで事業を推進するお仕事 - データエンジニア - BizOps (Salesforce, Tableauアドミン) コミュニティ活動 - SnowVillage: “Snowflake Mayors, Snowflake Squad 2024, 2025” - p_UG: “pUG Leaders” ⾃⼰紹介
3. ©HR Force Inc. All rights reserved. 会社概要 3 株式会社HR Force 会社名 事業内容 代表者 設⽴ HRソリューション事業 村⽥泰⼦ 2018年2⽉（創業8年⽬） 所在地 東京都中央区⼋重洲2-2-1  東京ミッドタウン⼋重洲 ⼋重洲セントラルタワー35階 会社概要
4. ©HR Force Inc. All rights reserved. 併⽤事例の紹介 4
5. ©HR Force Inc. All rights reserved. 5 はじめに 併⽤事例の紹介 弊社のデータ基盤の変遷 2018 2025 2018 事業開始 2019 2020 2021 2022 2025 2024 2023 現在 新基盤の 構築開始 クラウド ストレージ サービスで 管理 ELT⽅式で 全社向けの 新基盤構築 を開始 ETL⽅式で⼀部 ユーザー向けの データ基盤を構築 データ組織と 基盤利⽤者の 拡⼤ データ 組織結成 Snowflake、 TROCCO 導⼊ データ基盤 の導⼊ dbt 導⼊ 分析基盤としての BigQuery 導⼊ ユーザーがETL / リバースETLを ⾃⾝で実施 BIツールで データ管理、 活⽤ 移管が完了 本格的な構築 を開始 サービスとしての BigQuery 導⼊
6. ©HR Force Inc. All rights reserved. 6 はじめに 併⽤事例の紹介 BigQuery から Snowflakeへの移管。そして再び BigQuery の本格利⽤開始 - ～2022年中旬： BigQuery をデータ分析基盤として採用 - ETLを軸とした基盤。専任の担当者なし - 2022年中旬～： Snowflake をデータ分析基盤として採用し、移管を実施 - ELTを軸とした基盤。専任の担当として鈴木が開発を主導 - 実際には、GAデータなどがあるため BigQuery も存在 - 2023年中旬～：サービス基盤として BigQuery の利用を開始 - 別のメンバーを専任とし、本格的な開発を実施 - Snowflake と BigQuery が併用される状態で現在に至る
7. ©HR Force Inc. All rights reserved. 7 はじめに 併⽤事例の紹介 HR DaaS サービス “Azapt” - HRデータはデータの取得において課題が存在し、HRチームだけではその取得が難し く、活⽤までに⾄らない場合や、多⼤な⼯数が割かれる状況にある - ⾃社の活⽤のために構築してきたシステムを利⽤し、代理でデータ取得をし、データ を共有するサービス
8. ©HR Force Inc. All rights reserved. 8 選定理由 併⽤事例の紹介 BigQuery をサービス基盤として採⽤した理由は、ニーズがあったから - お客様がそれを望んだから - BigQuery を利⽤されているお客様や、Google Workspace などの Google 関連プロダクトの利 ⽤率の⾼さが主な要因 - 使い慣れた場所にデータを格納することが、活⽤への⼀番の近道（AIも...?） - BigQuery - スプレッドシート - Looker Studio
9. ©HR Force Inc. All rights reserved. 9 顧客へのデータ提供⽅法 併⽤事例の紹介 BigQuery でのデータシェアは BigQuery Sharing（旧 Analytics Hub）を利⽤ - データを移動すること（複製すること）なく、データの共有が⾏える - クエリ料⾦は利⽤者側が負担 画像引⽤：BigQuery Sharing の概要
10. ©HR Force Inc. All rights reserved. 10 顧客へのデータ提供⽅法 併⽤事例の紹介 Google Cloud Next Tokyo 23’ にも登壇 - BigQuery Sharing（旧 Analytics Hub） を利⽤した企業間でのデータ共有は、当時⾮常に珍しかった 視聴リンクURL：BigQuery Analytics Hub で最先端の HR DaaS を実現した⽅法 ※所属は当時時点
11. ©HR Force Inc. All rights reserved. 11 顧客へのデータ提供⽅法 併⽤事例の紹介 BigQuery Sharing（旧 Analytics Hub） を触ってみたい⽅へ - 皆さんが触ることができる例としては、BQ FUN - 加⼯済みオープンデータ - Prepper Open Data Bank - どちらもめちゃくちゃ使えるデータたちなので是⾮ - 例）法⼈情報、カレンダー、都道府県/市区町村の統計 WEBサイトリンク：BQ FUN WEBサイトリンク：Prepper Open Data Bank
12. ©HR Force Inc. All rights reserved. 12 顧客へのデータ提供⽅法 併⽤事例の紹介 BigQuery に加え、Snowflake でもデータ共有を実施 - お客様がそれを望んだから - 使い慣れた場所にデータを格納することが、活⽤への⼀番の近道 - Secure Data Sharing を利用 画像引⽤：Secure Data Sharingについて
13. ©HR Force Inc. All rights reserved. 13 アーキテクチャ詳細 併⽤事例の紹介 Snowflake × BigQuery の連携イメージ ※SnowflakeからBigQuery、そしてデータ共有⽤プロジェクト/アカウントへの⼀⽅向に流れる
14. ©HR Force Inc. All rights reserved. 14 アーキテクチャ詳細 併⽤事例の紹介 Snowflake × BigQuery を繋ぐのは TROCCO - 2023年当時は、iceberg の選択肢はなかった - その他の案で有力だったのは、 Cloud Storage を利用した統合 - 期限が決まっていたこともあり、 開発スピードの速さ と初期メンテナンスの容易さ から TROCCO を採用するに至った - その他、データ分析基盤側で ETL、リバースETLとして利用できる点も後押し
15. ©HR Force Inc. All rights reserved. 15 アーキテクチャ詳細 併⽤事例の紹介 TROCCO の採⽤理由についての詳細は導⼊事例を参照 導⼊事例URL：リード状態から成約後まで、顧客データを⼀気通貫して確認可能に。データの転送、展開にかかっていた毎⽉60時間を削減！さらにデータ活⽤未経験の社員のオンボーディングでTROCCO®を活⽤
16. ©HR Force Inc. All rights reserved. 運⽤⾯での⼯夫 16 併⽤事例の紹介 BigQuery はシステマチックに、Snowflake はフレキシブルに - IaC は Terraform を採用し、管理 - テーブル構築などの変換（ Transform）および品質テストは dbt で実施 - BigQuery：dbt Core - Snowflake：dbt Core、dbt Cloud - オーケストレーションは、それぞれ Cloud Run と TROCCO を利用 - BigQuery：Cloud Run - Snowflake：TROCCO
17. ©HR Force Inc. All rights reserved. 運⽤⾯での⼯夫 17 併⽤事例の紹介 BigQuery はサービス提供に必要な変換を、Snowflake はもととなる変換を実施 BigQuery Snowflake データ⾃体の品質が主 ユニーク、Nullなどの基本から、 データ量の変化などのデータ⾃体のテスト データ⾃体の作成や結合 テーブル同⼠の結合や、必要なキーカラム の⽣成など、データ⾃体を構築する変換 観点 データ提供に必要なカラムの作成 Snowflake側で⽣成したデータを基に、データ提供 に必要なカラムや品質テストに必要なカラムの⽣成 セキュリティ周りが主 サービス提供に必要なキーや、共有先とデータが⼀ 致しているかなどのセキュリティ周りのテスト データ変換 品質テスト ※SnowflakeからBigQuery、そしてデータ共有⽤プロジェクト/アカウントへの⼀⽅向に流れる
18. ©HR Force Inc. All rights reserved. 18 運⽤⾯での⼯夫 併⽤事例の紹介 Snowflake では、⾮エンジニアが活⽤する未来を⾒据えた構成に - Snowflake では dbt Core に加え dbt Cloud を導入し、オーケストレーションでも TROCCO を採用している - 弊社では、未経験から一部を担えるエンジニアを育てたり、ビジネスユーザーに開発の一部 を担ってもらいたいと考えている（ DataOps） - その際、環境構築などはできる限り排除した挑戦しやすい環境を整えてあげたい
19. ©HR Force Inc. All rights reserved. 19 運⽤⾯での⼯夫 併⽤事例の紹介 Snowflake では、⾮エンジニアが活⽤する未来を⾒据えた構成に 2018 2025 2018 事業開始 2019 2020 2021 2022 2025 2024 2023 現在 新基盤の 構築開始 クラウド ストレージ サービスで 管理 ELT⽅式で 全社向けの 新基盤構築 を開始 ETL⽅式で⼀部 ユーザー向けの データ基盤を構築 データ組織と 基盤利⽤者の 拡⼤ データ 組織結成 Snowflake、 TROCCO 導⼊ データ基盤 の導⼊ dbt 導⼊ 分析基盤としての BigQuery 導⼊ ユーザーがETL / リバースETLを ⾃⾝で実施 BIツールで データ管理、 活⽤ 移管が完了 本格的な構築 を開始 サービスとしての BigQuery 導⼊
20. ©HR Force Inc. All rights reserved. 運⽤⾯での⼯夫 20 併⽤事例の紹介 BigQuery Snowflake 分析⽤、サービス⽤で分離 社内⽤の分析基盤アカウントと 社外へのデータ提供サービスアカウントで分離 柔軟 ユーザーが存在 役割に応じ、管理者権限も含めてユーザーに付与 観点 ⽤途に応じて分割 Terraform、dbtで⼀つ その他、Streamlitの開発やデータ転送は分離 厳格 システムユーザーのみが存在 必要に応じてユーザーに権限を付与する仕組み 階層ごとに分離 転送、加⼯、共有⽤の三層のプロジェクトに 分離し、その中で⽤途に応じてさらに細分化 プラットフォーム横断でのモノレポ BigQueryとSnowflakeを横断し、データ提供 システムを担う部分は⼀つのリポジトリで管理 権限/ユーザー管理 プロジェクト （アカウント）の分け⽅ リポジトリ戦略 それ以外の細かな論点での⽐較
21. ©HR Force Inc. All rights reserved. 運⽤⾯での⼯夫 21 併⽤事例の紹介 Terraform-BigQuery の構成イメージ
22. ©HR Force Inc. All rights reserved. 振り返り 22 併⽤事例の紹介 過去2年⼤きな障害もなく運⽤できている - BigQuery と Snowflake の役割を明確に定義し、 変換処理の棲み分け やそれぞれの特性 にあった管理体制を構築 したことが、安定運用が実現できたと考える - 必要な与件に対し、オーバーエンジニアリングにならないように注意しながら、将来的な保 守のコストを人材戦略も込みでアーキテクチャを検討した ことも重要と考える - 初期の検討タイミングで、外部のシニア人材に助力を依頼 し、社内人材の知識や経験に ない角度やレベルから助言いただいたことも非常に重要な選択だったと考える
23. ©HR Force Inc. All rights reserved. 今後の課題 / 伸びしろ 23
24. ©HR Force Inc. All rights reserved. 24 直⾯する課題 今後の課題 / 伸びしろ グループ全体での強烈な Gemini 推し！だがデータはSnowflakeにある 2024年11月に開催された Gemini at Work にて、日本初の Gemini for Google Workspace の全 社導入事例として登壇するほど（社員 1500人以上に導入） 視聴リンクURL：Gemini 全社展開とクライアント導⼊に向けた、ユースケースと成果 ※所属および部署は当時時点
25. ©HR Force Inc. All rights reserved. 25 直⾯する課題 今後の課題 / 伸びしろ Google Workspace や Gemini との付き合い⽅は検討の余地あり - スプシ連携 - 現在は TROCCO で ETL / リバースETLを実行し、一元管理 - 現状の組織としてはむしろ自立しながらも一か所で管理されるので Good - だが、今後もやり続けるのが良いかは未知数 - AI 活用（Gemini） - 弊社のビジネスユーザーは Gem 溺愛しており、AI Agent もいくつも作成されている状況 - データ抽出：Snowflake のテーブル定義を読み込ませ、自然言語で SQLを生成する - 過去のレポート数値を基に、より適切な求人のクリエイティブを作成する - 現状 Snowflake からデータを抽出して利用、もしくはデータチームに AI用のデータ抽出依頼で対処 　　AI に近い場所でのナレッジ保管がMCP Server やOTFの発達によって重要ではなくなる？ 　　そうしたらやれることは、ナレッジをためておくこと、品質を担保しておくこと？ 　　→　ぜひディスカッションしましょう！
26. ©HR Force Inc. All rights reserved. お知らせ 26
27. ©HR Force Inc. All rights reserved. 27 お知らせ DATA SUMMIT 2025 のTheater Sessionで登壇します！まずは登録！！
28. ©HR Force Inc. All rights reserved. おわり 28 おしまい！ありがとうございました！