Google Cloud Next '24 Recap in ZOZO Datastreamを使用したリアルタイムデータストリーミングの紹介 / realtime datastreaming with Datastream

Google Cloud Next '24のセッション: "Real-time operational data streaming for enabling analytics and generative AI apps using Datastream" で発表された内容を元に、サーバーレスの変更データキャプチャ（CDC）およびレプリケーションサービスのDatastreamについてご紹介します。

Transcript

1. Datastreamを使用したリアルタイム データストリーミングの紹介 株式会社ZOZO
 技術本部 MA部 MA開発ブロック
 
 佐久間 貴人 Copyright © ZOZO, Inc. 1
2. © ZOZO, Inc. 株式会社ZOZO 技術本部 MA部 MA開発ブロック 2023年12月中途入社 MAシステムの開発・運用を担当 好き：自転車、音楽、スケボー 佐久間 貴人 2
3. © ZOZO, Inc. 3 • Datastreamとは ◦ 変更データキャプチャ（CDC）とは ◦ ユースケースの紹介 • 事例紹介 • その他のストリーミング系機能の紹介 ◦ BigQuery continuous queries ◦ Apache Kafka for BigQuery • 今後試したいこと • まとめ 本日話すこと 引用元：https://techblog.zozo.com/entry/google-cloud-next-2024
4. © ZOZO, Inc. 4 Datastreamとは
5. © ZOZO, Inc. 5 Datastreamとは サーバーレスで使いやすい変更データ キャプチャ（CDC）およびレプリケーション サービス データを確実に、かつ最小限のレイテンシで同期 • BigQuery • Cloud Storage • Dataflow ◦ Cloud SQL ◦ Spanner ◦ … Datastream • MySQL • PostgreSQL • Oracle • SQL Server（★） 引用元：https://cloud.google.com/datastream/docs/overview?hl=ja
6. © ZOZO, Inc. 6 変更データキャプチャ（CDC）とは ソースとなるデータで発生した変更（挿入・更新・削除）をリアルタイムで検出・キャプチャする技術 参考：https://www.integrate.io/jp/blog/what-is-change-data-capture-ja/ • ログベース ◦ パフォーマンスへの影響が最小限 ◦ 包括的なデータキャプチャ ◦ 効率 • トリガーベース ◦ リアルタイムのデータキャプチャ ◦ 柔軟性
7. © ZOZO, Inc. 7 ユースケースの紹介
8. © ZOZO, Inc. 8 ユースケース • データ複製 • CQRSモデルの更新 • 全文検索
9. © ZOZO, Inc. 9 ユースケース • データ複製 • CQRSモデルの更新 • 全文検索
10. © ZOZO, Inc. 10 データ複製 引用元：https://cloud.google.com/sql/docs/mysql/replication
11. © ZOZO, Inc. 11 ユースケース • データ複製 • CQRSモデルの更新 • 全文検索
12. © ZOZO, Inc. 12 CQRSモデルの更新 引用元：https://techblog.zozo.com/entry/implementation-of-cqrs-using-outbox-and-cdc-with-dynamodb
13. © ZOZO, Inc. 13 ユースケース • データ複製 • CQRSモデルの更新 • 全文検索
14. © ZOZO, Inc. 14 全文検索 引用元：https://techblog.zozo.com/entry/migrating-zozotown-search-platform ZOZOTOWNの検索基盤における Elasticsearch移行で得た知見
15. © ZOZO, Inc. 15 事例紹介
16. © ZOZO, Inc. 16 引用元：https://assets.swoogo.com/uploads/3815612-661fdf0a5b993.pdf p.021
17. © ZOZO, Inc. 17 引用元：https://assets.swoogo.com/uploads/3815612-661fdf0a5b993.pdf p.022
18. © ZOZO, Inc. 18 ZOZOでのDatastream利用例 • AWS Aurora MySQLからBigQueryにレプリケーション ZOZO データセンター Datastream BigQuery Aurora MySQL 参考：https://qiita.com/shiozaki/items/ff088ee14e55ca575100
19. © ZOZO, Inc. 19 その他ストリーミング系 機能の紹介
20. © ZOZO, Inc. 20 BigQuery continuous queries 引用元：https://assets.swoogo.com/uploads/3782565-661824fc35037.pdf p.019
21. © ZOZO, Inc. 21 Apache Kafka for BigQuery • BigQueryと容易に統合可能なマネージドのApache Kafkaがプレビュー 参考：https://cloud.google.com/products/apache-kafka-for-bigquery Apache Kafka BigQuery
22. © ZOZO, Inc. 22 今後試したいこと
23. © ZOZO, Inc. 23 RTM（リアルタイムマーケティング） • 顧客一人ひとりにパーソナライズしたコンテンツをリアルタイム配信 引用元：リアルタイムマーケティングシステムの紹介とそのリプレイス計画: https://techblog.zozo.com/entry/real-time-marketing-system 参考：全社共通データ基盤を廃止して新しいデータ基盤に引越した話：https://techblog.zozo.com/entry/data-infrastructure-replacement
24. © ZOZO, Inc. 24 Realtime-datapump • BigQueryの変更データをキャプチャし、リアルタイムにデータを処理 引用元：マーケティングオートメーションシステムを支えるリアルタイムデータ連携基盤をリプレイスした話： https://techblog.zozo.com/entry/ma-realtime-data-infrastructure-replacement マーケティングオートメーションシステムを支えるリアルタイム データ連携基盤をリプレイスした話 Google Kubernetes Engine BigQuery continuous queries
25. © ZOZO, Inc. 25 まとめ
26. © ZOZO, Inc. 26 まとめ • BigQueryがますます強力になっている ◦ continuous queriesすごそう
27. © ZOZO, Inc. 27 まとめ • BigQueryがますます強力になっている ◦ continuous queriesすごそう • 運用DBをBigQueryに複製したいニーズが多そう ◦ そのための仕組みにDatastreamが便利 ◦ Apache Kafka for BigQueryにも期待