「ELT職人」から卒業！Fivetranでデータパイプラインの構築・運用から解放され、本来の価値創造に集中できるようになった事例

by Tech Leverages

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

3 © 2025 Leverages Co., Ltd. 森下研人レバレジーズ株式会社テクノロジー戦略室データエンジニアリンググループ MGR ● 日系SIerでDBエンジニアを経験後、 2019年11月にレバレジーズへジョイン ● データエンジニア6年目 ● データ基盤構築 / データマネジメント / データガバナンス / チーム作り / 採用などなど幅広くやってます ● 4歳で5kgの猫と同居してます自己紹介 3 機密情報・転載禁止 © 2023 Leverages Co., Ltd.

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

6 機密情報・転載禁止 © 2025 Leverages Co., Ltd. 会社概要検討中オフィス⽴地や社員数等最低限の情報（最新の数値に更新する）デザイン調整する社名従業員数代表者資本⾦所在地‧拠点グループ会社レバレジーズ株式会社 Leverages Co.,Ltd. 2,838名（2024年4⽉現在）岩槻知秀 5,000万円本社：東京都渋⾕区渋⾕2丁⽬24番12号渋⾕スクランブルスクエア24F‧25F 国内拠点：27拠点海外拠点：3拠点レバテック株式会社レバレジーズM&Aアドバイザリー株式会社 ATLIKE株式会社レバレジーズメディカルケア株式会社レバレジーズオフィスサポート株式会社レバレジーズプランニングサポート株式会社レバレジーズスタッフィング株式会社員点動⼒（上海）⼈⼒資源有限公司 Leverages Career Mexico S.A. de C.V. Leverages Career Vietnam Co., Ltd. Leverages U.S.Inc. 会社について

Slide 7

Slide 7 text

7 機密情報・転載禁止 © 2025 Leverages Co., Ltd. 10年後に⼀兆円規模を⽬指す企業の安定性と成⻑性を担保する独⾃の経営戦略のもと、創業以来、黒字経営を継続し、 2023年度は1,149億円を達成しました。企業理念として「顧客の創造を通じて、関係者全員の幸福を追求し、各個⼈の成⻑を促す」を掲げ、⼈の感情と向き合いながら次の時代を創るグローバル企業を⽬指しています。ベンチャーを牽引する成⻑で、次代を創る企業へ売上推移会社について

Slide 8

Slide 8 text

8 機密情報・転載禁止 © 2025 Leverages Co., Ltd. ポートフォリオ経営とは、業界やビジネスモデルなどにこだわらず、分散投資をしていく経営形態のこと。この経営形態のメリットは、予測困難な外部変化に会社全体で衝撃を吸収しやすい点にあります。例えば、コロナ禍では海外事業などは打撃を受けた⼀⽅で、IT事業や医療‧ヘルスケア事業は追い⾵を受け、過去最⾼の売上を更新、黒字経営を継続しました。経営のリスク分散を⾏うことで、未曾有の状況でも安定した成⻑を実現しています。ポートフォリオ経営による安定した収益基盤で創業以来、黒字経営を継続経営体制について会社について

Slide 9

Slide 9 text

9 機密情報・転載禁止 © 2025 Leverages Co., Ltd. 「⻑期的に市場の成⻑性が⾒込まれること」「社会や⼈の負を解決すること」を市場参⼊軸とし、現在は、IT、医療‧介護‧ヘルスケア、 M&A、SaaS、海外、若年層などの領域で、約50の事業を展開中。今後、より収益が安定し、⼤規模な投資が可能になれば、エネルギーや⾷料、宇宙産業など、世界の課題を解決するための事業を展開していきます。世界を視野に、国や業界にとらわれない事業展開事業数の推移事業展開事業について

Slide 10

Slide 10 text

10 © 2025 Leverages Co., Ltd. ● データサイエンティスト：2名 ● データアナリスト：4名 ● データアーキテクト：6名 ● AIコンサルタント：3名 ● データエンジニア：5名 ● AI/MLエンジニア：4名 ● 先端技術研究員：2名 ● (マネージャー：2名) レバレジーズのデータ関連職種データ職種の正社員は28名が在籍 (2025年8月時点) 10 © 2025 Leverages Co., Ltd.

Slide 11

Slide 11 text

Slide 12

Slide 12 text

12 © 2025 Leverages Co., Ltd. ● ELT：Fivetran ● DWH：BigQuery ● Transform：Dataform ● BI：Tableau, Looker Studio ● Metadata：Dataplex ● Quality Check：Dataplex ● Reverse ETL：trocco ● Orchestration：Airﬂow データ活用基盤 - 全体概要アーキテクチャ

Slide 13

Slide 13 text

13 © 2025 Leverages Co., Ltd. データ活用基盤 - 個別アーキテクチャ ● 全社で50近くのサービスを展開していることもありブランド単位でまとめつつデータ活用基盤を分割 ● データ活用基盤の数は10ほど ● BigQueryを中心としつつ、事業売上や関係者数、実装時期によって少しずつアーキテクチャが異なる ● 異なるビジネスモデルや売上規模でも設計が変わらないよう共通利用できる技術を選定

Slide 14

Slide 14 text

Slide 15

Slide 15 text

15 © 2025 Leverages Co., Ltd. ● 2023年8月に、TreasureDataからBigQueryへの移管が完了した ● 移管に3年ほど掛けたのもあり、既に運用がしんどくなってきていた ● ELT周りの構成： ○ ワークフローエンジン：Digdag ○ バルクローダー：Embulk ● データエンジニア：2名（採用難！） ● ELT数：30（どんどん増える！） Fivetran導入前の世界

Slide 16

Slide 16 text

16 © 2025 Leverages Co., Ltd. ● Embulk ○ スキーマ変更に追従するため、基本的に全件取得 ■ DB全体のデータ取得するのに数時間かかる ■ データソース側の負荷もそれなりに高い ○ 差分更新がしんどい ■ 日中にも更新が必要なテーブルのためだけに独自実装 ● その他 ○ SaaSからはPythonでAPIを叩いて都度取得 Fivetran導入前の世界 - 当時のつらみ

Slide 17

Slide 17 text

Slide 18

Slide 18 text

18 © 2025 Leverages Co., Ltd. ● データエンジニアは当時2名 ● 当時のELTは30だが、新規事業の立ち上げに伴いどんどん増える ● SaaSからのELTは独自実装が多く、実装も管理も大変 ● ModenDataStackも多く登場し、ELT実装はSaaSに置き換わる予感　　ELTは全部SaaSにぶん投げて　　人間しかできない仕事にリソースを割くぞ！！ Fivetran導入前の世界 -2023年9月に考えていたこと

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

26 © 2025 Leverages Co., Ltd. ● ELTの実装・管理時間が格段に減った！ ○ 依頼を受けてから1日で実装できる時もある ○ 平和なときはほぼ管理工数が0 ● SaaSの実装がめちゃ楽 ○ API仕様書を読まなくていいのは楽 ○ ER図も便利 ● 更新時間が短くなり、頻度も上げられるようになった ○ 時間：6時間→20分、頻度：1日1回→1日4回 Fivetran導入の幸せ

Slide 27

Slide 27 text

27 © 2025 Leverages Co., Ltd. ● Salesforceの計算フィールドが連携できない ○ これはまだPythonでAPI叩く形のELTをしている ● テーブルごとに更新頻度を設定できない ○ 日中も更新したいのは多くても10ぐらいなのでカスタムしたい ● TeleportSyncは便利だがそれなりに負荷もかかる ○ 全てをCDCにするのはハードルが少し高い ● テーブルスキーマやカラムをスネークケースに変換される ○ 既存ELTからの移管だとSQLの書き換えがつらい Fivetran導入のつらみ

Slide 28

Slide 28 text

Slide 29

Slide 29 text

29 © 2025 Leverages Co., Ltd. ● 2023年時点でELTをModernDataStackに託す意思決定は良かった ● その中でもFivetranにしたのも良かった ○ 当初の課題はほぼ解決した ● ELT処理の保守運用工数がほぼなくなったので、やりたいことに時間を割けるようになった ● CDCは相変わらず難易度が高め ● SalesforceはFivetran導入してもつらいまとめと振り返り

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

32 機密情報・転載禁止 © 2025 Leverages Co., Ltd. ビジネスグロース DX 営業企画 SFA 開発 CRM/MA CJM スコアリング CS システム構築プロモーションプロダクト UI/UX SEO プロトタイプ Web 広告クリエイティブ TV CM 電⾞広告仮説設定レバレジーズはマーケティングやセールスといった全ての組織がインハウスで機能しており、データ戦略が事業運営上重要なハブとなる構造になっています。データ戦略の役割データ戦略 