ファインディの事業拡大を支える拡張可能なデータ基盤へのリアーキテクチャ

by Noriaki Hiraki

Embed

Start on current slide

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© Findy Inc. 3 開功昂（Hiraki Noriaki, hiracky16） CTO室 / データソリューションチーム / EM / データエンジニア ● 新卒で BtoB マッチングサービスを運営する会社に⼊社し Web エンジニアとしてキャリアをスタート ● 前職の AI コンサル会社ではデータエンジニアとしてデータ基盤やパイプラインの構築に従事 ● 2023 年 11 ⽉にファインディにジョインしデータ基盤の設計/開発をリード ● Google Cloud の資格をいくつか所持

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

会社概要 © 2024 Findy Inc. 挑戦するエンジニアのプラットフォームをつくる。ビジョンつくる⼈がもっとかがやけば、世界はきっと豊かになる。経営理念会社名ファインディ株式会社 / Findy Inc. 代表取締役⼭⽥裕⼀朗設⽴ 2014 年 2 ⽉ ※ 本格的な事業開始は2016年7⽉全従業員数 478 名 ※2026年1⽉時点資本⾦ 19億9,692万円 ※ 資本準備⾦含む住所東京都品川区大崎1-2-2 アートヴィレッジ大崎セントラルタワー 5階事業許可番号 13-ユ-308478 サービス ‧IT/Webエンジニアの転職サービス「Findy」 ‧ハイスキルなフリーランスエンジニア紹介サービス「Findy Freelance」 ‧経営と開発現場をつなぐAI戦略⽀援SaaS「Findy Team+」 ‧開発ツールのレビューサイト「Findy Tools」 ‧テックカンファレンスのプラットフォーム「Findy Conference」 ‧顧客価値を追求する、AI時代の製品開発マネジメント「Findy Insights」等投資家グローバル‧ブレイン、ユナイテッド、SMBCベンチャーキャピタル、KDDI、 JA三井リース、みずほキャピタル、博報堂ＤＹベンチャーズ、Carbide Ventures、等

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© Findy Inc. 12 チームのミッション挑戦するエンジニアのプラットフォームとは… 転職や採⽤、開発⽣産性、技術選定、カンファレンスなどエンジニアリングに関するエンジニアや企業の悩みを多⾓的にサポートデータエンジニアとして転職したい優秀なエンジニアを採⽤したいなエンジニア組織の⽣産性が知りたい他社はどんなアーキテクチャ…？カンファレンスに出展したい！カンファレンスに参加したい！副業でスキルアップしたいデータ基盤の技術顧問を雇いたい

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

© Findy Inc. 15 チームのミッションミッション：データとエンジニアリングの⼒で、ファインディの知恵を結集し、意思決定を加速させるデータによって組織やプロダクトをまたいだファインディならではのデータ活⽤を推進していくことがミッション職歴やスキル開発のアクティビティ技術選定やアーキテクチャカンファレンス参加職歴やスキルを元に新しいカンファレンスのレコメンデーション新しいサービスやアーキテクチャの提案

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

© Findy Inc. 18 アーキテクチャの変遷 2025 年 4 ⽉頃（主要 4 事業のデータ基盤が完成） ● ⻘枠：事業≒組織をドメインとしたデータメッシュを採⽤ ● ⽩枠：事業部ごとに Google Cloud プロジェクトが存在 ● ⻩⾊枠：データソリューションチームが横断的にサポート ● 事業ごとに技術選定がバラバラ ○ Datastream or Embulk ○ Dataform or dbt ○ GitHub Actions or dbt Platform ● インフラはそれぞれの Terraform リポジトリで管理 ○ ⼀部 HCP Terraform を使いモジュールを共通化

Slide 19

Slide 19 text

© Findy Inc. 19 アーキテクチャの変遷 2026 年 4 ⽉時点（途中経過） ● dbt のプロジェクトが 3 つから 5 つに増えた ● Findy Team+ と Findy Tools のデータ基盤に使⽤する Google Cloud プロジェクトを統合 ○ 3 つの Terraform のリポジトリを 1 つに統合 ● IAM の単位をプロジェクトからデータセットごとに変更 ● Freelance と Team+ で Datastream を導⼊ ● セルフサービス化の推進や DataOps 改善のために Looker などの SaaS を導⼊

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© Findy Inc. 25 データメッシュで解決できたこと、⾒えてきた課題 ⭕ 解決したかったこと（メリット） ● アジリティの⾼いデータ管理体制 ● コストの透明性 ● きめ細かい権限管理 ❌ ⾒えてきた課題（デメリット） ● ドメイン間のコラボレーションの機会損失 ● 分析者の関⼼と管理責任のギャップ ● データエンジニアの作業の重複 ● 技術選定のバラつきと属⼈化 ※ 著書内のアンチパターンに当てはまる結果に󰣻

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

© Findy Inc. 28 Looker ● 全社の BI ツールとして使⽤ ● セマンティックレイヤーで事業の重要な KPI を管理 yamory ● Google Cloud の CSPM として使⽤ ● コンテナイメージ等の脆弱性検知 dbt Platform ● 5 プロジェクトのCI/CD、オーケストレーションを担当 ● ⼀部導⼊での効果を確認し、全プロジェクトに導⼊ Datastream or DuckDB on ECS ● データ転送の規模に応じて使い分け ● リアルタイムかつ低メンテンス⼯数新たに 3 つの SaaS と契約 & マネジメントサービスを積極採⽤

Slide 29

Slide 29 text

© Findy Inc. 29 Looker ● 全社の BI ツールとして使⽤ ● セマンティックレイヤーで事業の重要な KPI を管理 yamory ● Google Cloud の CSPM として使⽤ ● コンテナイメージ等の脆弱性検知 dbt Platform ● 5 プロジェクトのCI/CD、オーケストレーションを担当 ● ⼀部導⼊での効果を確認し、全プロジェクトに導⼊ Datastream or DuckDB on ECS ● データ転送の規模に応じて使い分け ● リアルタイムかつ低メンテンス⼯数新たに 3 つの SaaS と契約 & マネジメントサービスを積極採⽤ ✨ 導⼊後のメリット ● DataOps の省⼒化に成功 ● 事業部のメンバーや Agent Skill 化し Agent 運⽤を移譲 ● Findy Data Engineer スキルが爆誕💪

Slide 30

Slide 30 text

© Findy Inc. 30 リアーキテクチャによってどうなったか？ ⭕ 解決できたこと（メリット） ● アジリティの⾼いデータ管理体制 ● きめ細かい権限管理 ● インフラリソースの共有化 ● ドメイン間のコラボレーションの機会増加 ● 技術選定が統⼀ ❌ ⾒えてきた課題（デメリット） ● コストの透明性がなくなった ○ SRE と協⼒して FinOps 体制を構築予定💰 ● 分析者の関⼼と管理責任のギャップ ○ 浮いた時間を⼈との会話やイネーブリングへ 💬