未経験エンジニアでも作れるデータ分析基盤のはじめ方@ dbt Labs × 株式会社primeNumber 社共催 オンラインセミナー

▼概要：
本資料は2025年8月28日に開催された dbt Labs × 株式会社primeNumber 社共催の オンラインセミナーにおける資料です。
※収録自体は2025年3月末ごろに実施しているため、機能について現在とは異なる可能性がございます。予めご了承いただけますよう、お願い申し上げます。

▼イベントURL：
https://primenumber.com/events/hrforce-dbt

▼資料概要：
発表者自身、セールスとしてキャリアをスタートし、社内一人目のデータエンジニアとしてデータ活用を牽引してきましたが、未経験データエンジニアしかいなかった弊社が、どのように現在の基盤を作り上げたのかについてまとめた資料です。
具体的には、データ基盤の本格導入や組織の変遷、そして基盤自体の成長に至るまでの取り組みを紹介しています。
そして、ツール選定において、なぜSnowflake、TROCCO、そしてdbt（Core / Cloud）を選定したのか、きっかけとなった過去の課題と、選定の決め手になった将来を見据えた際の理由とともに記載しています。
最後に、dbt Cloud と TROCCOの併用の仕方、および dbt Core と dbt Cloud の併用について弊社の使い分けをご紹介しています。

Transcript

1. ©HR Force Inc. All rights reserved. 未経験エンジニアでも作れる データ分析基盤のはじめ⽅ 株式会社HR Force DS統括部DXグループDataチーム, Opsチームマネージャー 鈴⽊ 凌
2. ©HR Force Inc. All rights reserved. 登壇者について 2 00．登壇者情報 鈴⽊ 凌 (すずき) / @suzupappa - 株式会社HR Force - Dataチーム, Opsチーム マネージャー データで事業を推進するお仕事 - データエンジニア - BizDev (Salesforce, Tableauアドミン) コミュニティ活動 - SnowVillage “Snowflake Mayors, Snowflake Squad 2024” - p_uG “pUG Leaders” - #dbt_tokyo ⾃⼰紹介
3. ©HR Force Inc. All rights reserved. 登壇者について 3 00．登壇者情報 引⽤元：【オンデマンド配信】01(zeroONE)2024 [User Session] ⼀⼈データエンジニアの過去‧現在‧未来〜データ基礎構築を通じて乗り越えたい壁とは〜 01（zeroONE）登壇
4. CONTENTS ©HR Force Inc. All rights reserved. - 本⽇の内容 - 4 1 2 3 4 はじめに 弊社データチームについて ツール選定の決め⼿ まとめ
5. ©HR Force Inc. All rights reserved. 01．はじめに 5
6. ©HR Force Inc. All rights reserved. 6 会社概要
7. ©HR Force Inc. All rights reserved. 会社概要 01．はじめに 7 株式会社HR Force 会社名 事業内容 代表者 設⽴ HRソリューション事業 村⽥泰⼦ 2018年2⽉（創業8年⽬） 所在地 東京都中央区⼋重洲2-2-1  東京ミッドタウン⼋重洲 ⼋重洲セントラルタワー35階 会社概要
8. ©HR Force Inc. All rights reserved. 8 HR Forceにおけるデータの価値
9. ©HR Force Inc. All rights reserved. HR Forceにおけるデータの価値 01．はじめに 9 HR EVOLUTION 進化には、“⼈”と“データ”が必要だ。 “⼈”の誠実さと専⾨性、“データ”の量と正確性を武器に、 HR業界の未来の課題を予測し、解決する会社へ。 Vision
10. ©HR Force Inc. All rights reserved. 2015 2025 HR Forceにおけるデータの価値 01．はじめに 10 2015 事業発⾜ 2016 2017 2018 2019 2025 2024 2023 現在 会社設⽴ 船井総研部署内 でIndeed広告代 理店事業を発⾜ 求⼈サイト＆ 配信システム 「採⽤GO」 ローンチ Indeed ゴールドパート ナー認定 株式会社 HR Force 設⽴ 浜松町オフィス 移転 採⽤データ⼀元 管理サービス 「Azapt」 ローンチ 東京駅直結、 東京ミッドタウ ン⼋重洲に オフィスを移転 Recruiting Cloud 導⼊社数8,000社 突破 採⽤マーケティング ツール 「Recruiting Cloud」 ローンチ ⼈事の成⻑志向型コミュニティ 「リクルーティングクラブ」 ローンチ 沿⾰
11. ©HR Force Inc. All rights reserved. 11 HR Forceにおける データの価値の例
12. ©HR Force Inc. All rights reserved. HR Forceにおけるデータの価値の例 12 01．はじめに 80万件の求⼈データ＋8000社超の多様なデータを⽣成AIの事前知識としてインストール プロンプト制御をしても、⼀般的な情報から回答を⽣成するため、 顧客が求める成果につながるノウハウが出⼒されない 課題 HR ForceのデータをAIに学習させることで、 HR Forceのコンサルティング内容をAIを通じて提供が可能になる Data 追加 顧客１社では得られない “成果につながる” 回答を いつでも‧どこでも⼿に⼊れられる環境を提供 独⾃ 回答
13. ©HR Force Inc. All rights reserved. - 通常の対話：AIの⼀般回答 - 弊社⽣成AIとの対話：AIの独⾃回答 13 HR Forceにおけるデータの価値の例 01．はじめに 命令 命令に対して回答 命令 精度UP 出⼒制御 DATA + Prompt 通常の汎⽤型⽣成AIと弊社の特化型⽣成AIの違い
14. ©HR Force Inc. All rights reserved. 14 HR Forceにおけるデータの価値の例 01．はじめに ①プロンプトを⼊⼒ ②情報検索 ③社内DBへアクセス ④情報を抽出 ⑤制御プロンプト＋独⾃データ ⑥HRFノウハウをもとにした成果の上がる“独⾃回答” *リアルタイムアクセス以外にも 事前知識としてAIにアドオンも実施 *ChatGPT / Gemini etc.. ユーザープロンプトからHRFのアシスタントAIが回答するまでのイメージ
15. ©HR Force Inc. All rights reserved. 15 HR Forceにおけるデータの価値の例 01．はじめに 通常版 基準や答えを⽰し、すぐに業務に取り⼊れてもらえる⽣成を⾏う HR担当者に 選択肢 を増やす 求職者評価 HRFのアシスタントAIの回答イメージ (chatGPT ver)
16. ©HR Force Inc. All rights reserved. 16 本⽇お話しすること
17. ©HR Force Inc. All rights reserved. 17 本⽇お話しすること 01．はじめに AI活⽤に限らず、データによる付加価値の付与には、適切に管理された基盤が必要 - 堅牢なデータパイプラインが整備されていること - データ活⽤がしやすい状態で保管されていること（モデリング） - データの品質が担保されていること - ガバナンス / セキュリティが堅牢なこと
18. ©HR Force Inc. All rights reserved. 18 本⽇お話しすること 01．はじめに AI活⽤に限らず、データによる付加価値の付与には、適切に管理された基盤が必要 - 堅牢なデータパイプラインが整備されていること - データ活⽤がしやすい状態で保管されていること（モデリング） - データの品質が担保されていること - ガバナンス / セキュリティが堅牢なこと 未経験データエンジニアしかいなかった弊社が、 どのように現在の基盤を作り上げたのかをお伝えします
19. ©HR Force Inc. All rights reserved. 02．弊社データチームについて 19
20. ©HR Force Inc. All rights reserved. 20 現状のアーキテクチャ
21. ©HR Force Inc. All rights reserved. 21 現状のアーキテクチャ 02．弊社データチームについて Snowflakeを中⼼にBigQueryも併⽤、どちらもdbtで管理し、TROCCOで接続
22. ©HR Force Inc. All rights reserved. 22 データ組織の変遷
23. ©HR Force Inc. All rights reserved. 23 弊社データ組織の変遷 02．弊社データチームについて - DXグループDXチーム内で、データに関する業務を実施 - 旧データ基盤から新データ基盤への刷新を開始 - ETL ｰ> ELTへの転換を決定 - TROCCO のデータチームへの導⼊ ~ 2022年、データ組織は存在しない。データ基盤の再構築を開始 すずき 同僚たち DX DX
24. ©HR Force Inc. All rights reserved. 24 弊社データ組織の変遷 02．弊社データチームについて - DXグループDXチーム内にデータチームが誕⽣ - 新基盤へのデータ移管が概ね完了し、基盤開発に着⼿ - dbt Cloud のデータチームへの導⼊ 2023年、データ組織が誕⽣。DWH内のテーブル開発に着⼿ すずき 同僚たち DX Data
 Developer

25. ©HR Force Inc. All rights reserved. 25 弊社データ組織の変遷 02．弊社データチームについて - データチームが複数⼈体制へ（うち、1名は完全未経験者） - データマート層の拡⼤と、ビジネス部⾨の利⽤者の増加 - TROCCO のビジネス部署への導⼊ 2024年、データ組織が複数⼈体制へ。基盤利⽤者も⼤きく拡⼤ DX Ops
 Developer
 Data
 すずき 同僚たち
26. ©HR Force Inc. All rights reserved. 2018 2025 弊社データ組織の変遷 02．弊社データチームについて 2018 事業開始 2019 2020 2021 2022 2025 2024 2023 現在 新基盤の 構築開始 クラウド ストレージ サービスで 管理 ELT⽅式で 全社向けの 新基盤構築 を開始 ETL⽅式で⼀部 ユーザー向けの データ基盤を構築 データ組織と 基盤利⽤者の 拡⼤ データ組織の変遷 データ 組織結成 Snowflake、 TROCCO 導⼊ データ基盤 の導⼊ 26 dbt Cloud 導⼊ BigQuery 導⼊ ユーザーがETL / リバースETLを ⾃⾝で実施 BIツールで データ管理、 活⽤ 移管が完了 本格的な構築 を開始
27. ©HR Force Inc. All rights reserved. 27 データ基盤を再構築した理由と解決策
28. ©HR Force Inc. All rights reserved. 28 データ基盤を再構築した理由と解決策 02．弊社データチームについて - エラーが多発し、毎⽉60時間程度エラー対応に時間を割いていた - 10GBを超える膨⼤なデータサイズのCSVと当時利⽤していたツールでは相性が悪かった - 既存ツールの機能を使ってパイプラインの構築を⾏っていたことが主要因 - ETLで加⼯済みデータを転送していたため、⽤途に応じた柔軟なテーブル作成が出来ていなかった - ビジネス部⾨でも⼀部のメンバーしか活⽤されていなかった 旧データ基盤の課題
29. ©HR Force Inc. All rights reserved. 29 データ基盤を再構築した理由と解決策 02．弊社データチームについて - エラーが起きない堅牢なパイプライン、データ変換部分の構築が可能なツールを選定し、 費⽤をかけて導⼊した - TROCCO、dbt Cloudの導⼊ - ETLではなくELTのデータパイプラインを構築した - ビジネス部⾨でも触ることができ、難易度が⾼すぎないツールを選定した 新データ基盤はそれらの課題をどう解決したか
30. ©HR Force Inc. All rights reserved. 03．ツール選定の決め⼿ 30
31. ©HR Force Inc. All rights reserved. 31 主要3ツールの選定理由
32. ©HR Force Inc. All rights reserved. 32 ツール選定の決め⼿ 03．ツール選定の決め⼿ - マルチクラウド対応である - ロールベースアクセス制御（RBAC）の権限設定により、親しみやすい - データシェアリング機能が秀逸 - スケーラビリティが⾼い - サポート対応の質の⾼さ - ビジネスメンバーにとって親しみやすいUI Snowflake選定理由
33. ©HR Force Inc. All rights reserved. 33 ツール選定の決め⼿ 03．ツール選定の決め⼿ - GUIによる操作と、サポートの品質 - 将来的なビジネス部⾨への展開を⾒据え - ⽇本製コネクタの対応 - 他社製品と⽐較したときの価格感 TROCCO選定理由
34. ©HR Force Inc. All rights reserved. 34 ツール選定の決め⼿ 03．ツール選定の決め⼿ - SQLだけでテーブル作成やデータ変換が可能 - DAG (有向⾮巡回グラフ) による依存関係の可視化と実⾏順序の制御 - マクロによる共通ロジックの集約 - テストによる品質担保 - Git管理によるCI/CDによる⾃動化 - CloudとCoreで、幅広い層のユーザーが利⽤しやすい dbt選定理由
35. ©HR Force Inc. All rights reserved. 35 ツール選定の決め⼿ 03．ツール選定の決め⼿ - シンプルな操作感（GUIだと尚良し）で利⽤できるか - ⽇本語のサポートの存在や、他社事例およびブログなどの豊富さ / コミュニティの盛り上がりがあるか - その上で、⼗分な性能、機能が備わっているか すべてに共通していることは、ビジネスユーザーへの展開のしやすさ 将来的な視点で、どういったデータ活⽤⽂化を持つ会社でありたいかを 考えた時に、ビジネスユーザーにとって使いやすいことが重要と考えた
36. ©HR Force Inc. All rights reserved. 36 dbt Cloudとdbt Coreを 併⽤している理由
37. ©HR Force Inc. All rights reserved. CloudとCoreを併⽤している理由 37 03．ツール選定の決め⼿ 提供形態 項⽬ セットアップ 価格 実⾏環境 インターフェース スケジューリング Git連携 ログ管理 カスタマイズ SaaS（クラウドベース） dbt Cloud 簡単（Web UIで設定） 有料（フリープランあり） クラウド上でホストされた環境（準 備不要） Web UI + CLI + Visual Editor ジョブ機能で制御可能 内臓もしくは連携 Web UIで可視化可能 制限あり（クラウド環境に依存） OSS（ローカル実⾏） dbt Core ⼿動（CLIで環境構築が必要） 無料 ローカルマシンやサーバー CLIのみ 外部ツールと連携が必要 （TROCCO, Airflow, Cronなど） ⼿動で設定 ⼿動で管理（ログファイルなど） フルカスタマイズ可能 CloudとCoreの違い
38. ©HR Force Inc. All rights reserved. 38 CloudとCoreを併⽤している理由 03．ツール選定の決め⼿ 組織フェーズによる使い分け - エンジニアリングの基礎⼒に応じて使い分ける - データ組織⽴ち上げ期、未経験層が多い時期はマネージドであるCloudを主に利⽤ - 成熟期ではデータエンジニアはCoreを主に利⽤するが、ビジネス部⾨のユーザーによる開発を促 進する際や、内部からデータエンジニアを育てる際はCloudを利⽤ 機能による使い分け - packagesや他ツールとの連携など、Cloud / Core それぞれに利⽤できる機能に差が存在するため、その 利⽤可否によって使い分ける HR ForceにおけるCloudとCoreの活⽤のまとめ
39. ©HR Force Inc. All rights reserved. 39 CloudとCoreを併⽤している理由 03．ツール選定の決め⼿ 組織フェーズによる使い分け 機能による使い分け HR ForceにおけるCloudとCoreの活⽤のまとめ データエンジニアとしての経験や知⾒が異なっても、やるべきこと （基盤の開発）に集中できる環境が併⽤されることで得られている
40. ©HR Force Inc. All rights reserved. 40 TROCCOとdbtを併⽤する利点
41. ©HR Force Inc. All rights reserved. 41 TROCCOとdbtを併⽤する利点 03．ツール選定の決め⼿ 機能差 - TROCCOはdbt連携機能を⽤い、ワークフロー上でdbtコマンドの実⾏ / スケジューリング設定が可能 - dbt cloudはジョブ機能で、dbtコマンドの実⾏ / スケジュール設定が可能 HR Forceでの使い分け - TROCCOのワークフロー上でのdbtジョブは定型化されたスケジュール実⾏のジョブ - dbt cloud上のジョブは⼿動実⾏のジョブ、CIジョブ、mergeジョブ TROCCOのdbt連携とdbt Cloudのジョブの使い分けにより、開発/保守⼯数を削減
42. ©HR Force Inc. All rights reserved. 42 TROCCOとdbtを併⽤する利点 03．ツール選定の決め⼿ TROCCOのワークフローでdbtコマンドを実⾏することのメリット データ転送（ETL/ELT）、dbtテーブル作成、dbtテスト、Slack通知、リバースETL… それら⼀連のフローをイベントドリブンで実⾏可能なこと
43. ©HR Force Inc. All rights reserved. 43 データ転送 dbt run dbt test ✕
 ◦
 ✕
 データ転送 dbt run dbt test ✕
 ✕
 ✕
 TROCCOとdbtを併⽤する利点 03．ツール選定の決め⼿ スケジュールトリガー イベントトリガー TROCCOのワークフローでdbtコマンドを実⾏することのメリット イベントの場合はエラー検知ができ、後続の処理をストップすることが可能
44. ©HR Force Inc. All rights reserved. 44 TROCCOとdbtを併⽤する利点 03．ツール選定の決め⼿ TROCCOのワークフローでdbtコマンドを実⾏することのメリット - TROCCOの中で上記すべてが動いていることで、ビジネスユーザーが⼀連の流れを把握した状態でオペ レーションのフローを検討することができている - dbt Cloudが、基盤開発を可能としてくれている（CI/CD込みで） - TROCCOが、データ転送や基盤のワークフローを簡単に確認できるようにしてくれている データオーナー（ビジネス部署）が⾃分たちで データマート開発に取り組めるようになる最初の⼀歩
45. ©HR Force Inc. All rights reserved. 04．まとめ 45
46. ©HR Force Inc. All rights reserved. まとめ 46 04．まとめ TROCCOとdbt Cloudを利⽤することで、未経験者がデータ基盤を構築できた - dbt Cloudが基盤開発のための基礎を請け負ってくれ、SQLだけで開発が可能に - TROCCOがデータ転送や基盤のワークフローをGUIで容易に可能に 未経験データエンジニアしかいなかった弊社でも堅牢なパイプラインとデータ 変換、および品質テストを備えたデータ基盤を構築することができた
47. ©HR Force Inc. All rights reserved. 今後やってみたいこと 47 04．まとめ 今後やってみたいこと - TROCCO、そしてdbt Cloudのビジネス部署への展開 - データオーナー、データコンシューマーが⾃らデータを転送し、 データマートを構築する未来へ - TerraformでのTROCCOの管理
48. ©HR Force Inc. All rights reserved. まとめ 48 04．まとめ おしまい！ありがとうございました！