毎⽇dumpされるDBにCDCは無⼒だっ た、、FederatedQueryで繋ぎ直した データ連携の試⾏錯誤

2026/05/14に開催された、みんなの考えた最強のデータ基盤アーキテクチャ'26前期〜前夜祭〜ルーキーズの登壇資料
https://datatech-jp.connpass.com/event/386885/

Transcript

1. 2026/05/14 みんなの考えた最強のデータ基盤アーキテクチャ 26前期〜前夜祭〜 毎⽇dumpされるDBにCDCは無⼒だっ た、、FederatedQueryで繋ぎ直した データ連携の試⾏錯誤
2. 2026/05/14 みんなの考えた最強のデータ基盤アーキテクチャ 26前期〜前夜祭〜 毎⽇dumpされるDBにCDCは無⼒だっ た、、FederatedQueryで繋ぎ直した データ連携の試⾏錯誤 “最強”のアーキテクチャ 紹介する感じではないです、、 >< どっちかというと Tipsに近いので ラフに聞いてもらえればと思います！ w
3. 3 © 2026 Leverages Co., Ltd. 01 - ⾃⼰紹介 CONTENTS 03 - データ活⽤基盤 04 - 今回の課題 (AS IS) 05 - やったこと (TO BE) 06 - 詰まったとこ、ポイント 02 - 会社紹介 07 - まとめ
4. 4 © 2026 Leverages Co., Ltd. ⾃⼰紹介 01
5. 5 © 2026 Leverages Co., Ltd. 発表者の紹介 01 ⾃⼰紹介 • 2022年新卒でWebアプリのエンジニアを2年経験 • 2024年にレバレジーズにデータエンジニアとして ⼊社 • データ分析基盤の構築や、最近はレコメンドシス テムの構築、MLOps周りもやってます • 毎週気合い⼊れてサッカー⾒てます レバレジーズ株式会社 テクノロジー戦略室 データエンジニアリンググループ 鈴⽊ 直澄
6. 6 © 2026 Leverages Co., Ltd. 会社紹介 02
7. 7 © 2026 Leverages Co., Ltd. 会社の概要、事業について 02 会社紹介 社名 レバレジーズ株式会社 Leverages Co.,Ltd. 従業員数 4,264名（2026年4⽉現在） 代表者 岩槻 知秀 資本⾦ 5,000万円 所在地‧拠点 本社：東京都渋⾕区渋⾕2丁⽬24番12号 渋⾕スクランブルスクエア24F‧25F 国内拠点：27拠点 海外拠点：3拠点 会社概要 事業の種類
8. 8 © 2026 Leverages Co., Ltd. 「フリーランスHub」の紹介 02 会社紹介 「フリーランスとして働きたい方のための、 　　フリーランス案件の求人メディア」 フリーランスエージェント様のオウンドサイトやエー ジェント様が保有されているあらゆる案件を掲載し、 フリーランスを検討される方が一括で閲覧・応募が できるサービスです。
9. 9 © 2026 Leverages Co., Ltd. 「フリーランスHub」の紹介 02 会社紹介 サービスの流れ フリーランスとして働きたい求職者は、 各フリーランスエージェント様 の案件を、 サイト内で一括で検索・応募することが できます。 クライアント様は、低リスクで求職者を獲得する ことができます。 Findy Freelaance coconala テック レバテック フリーランス
10. 10 © 2026 Leverages Co., Ltd. レバレジーズのデータ / AI職種は7職種に分かれており、2026年3⽉時点で正社員32名が在籍。 02 会社紹介 職種名 職種概要 在籍⼈数※ 2名 （兼任1名） 6名 4名 5名 （兼任2名） 6名 （+契約社員 / 業務委託） 6名 3名 ※ 2026年3⽉時点。上記職種とは別にマネージャーが2名在籍
11. 11 © 2026 Leverages Co., Ltd. データ活⽤基盤 03
12. 12 © 2026 Leverages Co., Ltd. データ活⽤基盤のアーキテクチャの⼀例は以下の通り。 ELTはFivetran/Cloud Runのスクラッチ処理, モデリングはDataform, BIはTableau, オーケストレーションはAirflow 03 データ活⽤基盤
13. 13 © 2026 Leverages Co., Ltd. データ活⽤基盤のアーキテクチャの⼀例は以下の通り。 ELTはFivetran/Cloud Runのスクラッチ処理, モデリングはDataform, BIはTableau, オーケストレーションはAirflow 03 データ活⽤基盤 今日はここの話！
14. 14 © 2026 Leverages Co., Ltd. 今回の課題 (AS IS) 04
15. 15 © 2026 Leverages Co., Ltd. Fivetranとは？ 04 今回の課題 (AS IS) • SaaS型のクラウドサービスで、ノーコードでデータパイプラインを構築し、 様々なデータソースからデータをELT(Extract, Load, Transform)ができる • CDC(ChangeDataCapture)により、差分更新を実現できる id name 1 Tom 2 Ema 3 Bob id name 1 Tom 2 Emily 3 Bob CDCとは 変更されたものだけを 検知して更新する仕組み ※ FivetranではBinaryLogやDBの 圧縮されたスナップショットを内部で 保持することで差分を検知する
16. 16 © 2026 Leverages Co., Ltd. 元々、毎⽇dumpされるDBのデータをFivetranでBigQueryに送り、     BigQuery上で利⽤者が分析,モニタリングに利⽤していました 04 今回の課題 (AS IS) RDB RDB dumpリストア処理 +データの加工 分析、モニタリング
17. 17 © 2026 Leverages Co., Ltd. 元々、毎⽇dumpされるDBのデータをFivetranでBigQueryに送り、     BigQuery上で利⽤者が分析,モニタリングに利⽤していました 04 今回の課題 (AS IS) RDB RDB dumpリストア処理 +データの加工 分析、モニタリング 毎日データが洗い替えされるため CDCがうまく機能せず、 データ連携が安定しない、、 全件更新が走ってしまい、コストも辛い、、
18. 18 © 2026 Leverages Co., Ltd. やったこと (TO BE) 05
19. 19 © 2026 Leverages Co., Ltd. アーキテクチャは以下の通り dump先をCloudSQLにすることで、BigQueryからFederatedQueryでデータを引っ張れるようにする 05 やったこと (TO BE) RDB RDB 分析、モニタリング GCS dump ファイル Federated Query dump リストア処理 +データの加工
20. 20 © 2026 Leverages Co., Ltd. Federated Query とは？ 05 やったこと (TO BE) • データを移動（ETL）させることなく、BigQueryから外部データベースの データに対して直接クエリを実行できる機能 • 対応しているDBは以下の通り ◦ Cloud SQL（MySQL, PostgreSQL, SQL Server） ◦ Spanner（Google Cloudの分散型DB） ◦ AlloyDB for PostgreSQL DB query
21. 21 © 2026 Leverages Co., Ltd. アーキテクチャは以下の通り dump先をCloudSQLにすることで、BigQueryからFederatedQueryでデータを引っ張れるようにする 05 やったこと (TO BE) RDB RDB dump リストア処理 +データの加工 分析、モニタリング GCS dump ファイル Federated Query
22. 22 © 2026 Leverages Co., Ltd. 変更して感じたメリデメは以下の通り 05 やったこと (TO BE) • メリット ◦ コストが下がった ◦ ELTのコストが見積やすくなった ◦ パイプラインが安定した ◦ デバッグしやすくなった ▪ 「数値どっちが、、」みたいな時にDBの値をみれるようになった • デメリット ◦ 管理するインフラリソースが増えた ▪ 全てTerraformで管理しているので、今の所そこまで気にならないが、、
23. 23 © 2026 Leverages Co., Ltd. 詰まったとこ、ポイント 05
24. 24 © 2026 Leverages Co., Ltd. Federated Queryの注意点 05 詰まったとこ、ポイント • データの処理能力は、DBのスペックに依存する ◦ Federated QueryはクエリをDBに流しているのであって、BigQuery上 のメモリで処理しているわけではない、、なので、重たい処理を連続し たりすると、DB側の過負荷でこけてしまう ◦ そこで、分析用途であれば、以下のように、BigQuery上に実データとし て持たせてから、処理するのがオススメ。
25. 25 © 2026 Leverages Co., Ltd. Federated Queryの注意点 05 詰まったとこ、ポイント • クロスリージョンは対応してない ◦ 例えば、DBは東京にあって、BigQueryのデータセットがUSとかだと、 機能しない、、 ◦ BigQueryのレプリカ機能で、マルチリージョンしても良いが、dumpす るDBのリージョンを変更した方がコスト的にも丸いかも
26. 26 © 2026 Leverages Co., Ltd. Federated Queryに(個⼈的に)期待すること 05 詰まったとこ、ポイント • 以下のようなシチュエーションで、「解決策」になりうるかも？？ このデータは 10分に 1回更新して欲しい >< BQ利用 者 データ エンジニア うっ、10分に一回か、、 (小声)本当に 10分に1回必要？ ストリーミングか、もはや DB直接見て 欲しいけど、そんな入口ないな、、
27. 27 © 2026 Leverages Co., Ltd. Federated Queryに(個⼈的に)期待すること 05 詰まったとこ、ポイント • 以下のようなシチュエーションで、「解決策」になりうるかも？？ このデータは 10分に 1回更新して欲しい >< BQ利用 者 データ エンジニア Federated Query繋いだ！ DBのデータリアルタイムで 見れるようにしたよ！！
28. 28 © 2026 Leverages Co., Ltd. Federated Queryに(個⼈的に)期待すること 05 詰まったとこ、ポイント • 以下のようなシチュエーションで、「解決策」になりうるかも？？ このデータは 10分に 1回更新して欲しい >< BQ利用 者 データ エンジニア Federated Query繋いだ！ DBのデータリアルタイムで 見れるようにしたよ！！ ※ ただ、利活用者が好き勝手、 DBにアクセスするのはリスクあるので、 リードレプリカ専用で立てるなり、 専用のViewテーブル作成するなり、 何らかのガードレールが必要
29. 29 © 2026 Leverages Co., Ltd. まとめ 06
30. 30 © 2026 Leverages Co., Ltd. 詰まったとこ、注意点 06 まとめ • Federated Queryは、BigQueryから、対応しているDBにクエリ を流すことができる機能 • CDCの効かない洗い替えされるテーブルに対して、有効な手段と なりうる ◦ まだ、運用し初めて3ヶ月くらいなので、これから課題とか 出てくるかもです！
31. 31 © 2026 Leverages Co., Ltd. さいごに 07
32. 32 © 2026 Leverages Co., Ltd. 社外の⽅に向けてブログやYouTubeなどの発信も⾏っていますので、チャンネル登録‧フォローをお願いします！ 07 さいごに melev YouTube データ/AIブログ テックブログ データ戦略室紹介記事① データ戦略室紹介記事② データ戦略室紹介動画 AI戦略紹介動画 Leverages Tech Blog レバレジーズデータAIブログ
33. 33 © 2026 Leverages Co., Ltd. We Are Hiring! 07 さいごに • まずはカジュアル面談からどうぞ！ • 3年で2倍にスケールする環境で、データを使った変革を起こしましょう！ • 募集職種 ◦ データサイエンティスト ◦ データアナリスト ◦ データアーキテクト ◦ データエンジニア ◦ AI・MLエンジニア ◦ 機械学習研究員
34. 34 © 2026 Leverages Co., Ltd. EOF ご清聴ありがとうございました！！