Datastreamを使用したリアルタイム データストリーミングの紹介 株式会社ZOZO
 技術本部 MA部 MA開発ブロック
 
 佐久間 貴人 Copyright © ZOZO, Inc. 1

© ZOZO, Inc. 株式会社ZOZO 技術本部 MA部 MA開発ブロック 2023年12月中途入社 MAシステムの開発・運用を担当 好き：自転車、音楽、スケボー 佐久間 貴人 2

© ZOZO, Inc. 3 ● Datastreamとは ○ 変更データキャプチャ（CDC）とは ○ ユースケースの紹介 ● 事例紹介 ● その他のストリーミング系機能の紹介 ○ BigQuery continuous queries ○ Apache Kafka for BigQuery ● 今後試したいこと ● まとめ 本日話すこと 引用元：https://techblog.zozo.com/entry/google-cloud-next-2024

© ZOZO, Inc. 4 Datastreamとは

© ZOZO, Inc. 5 Datastreamとは サーバーレスで使いやすい変更データ キャプチャ（CDC）およびレプリケーション サービス データを確実に、かつ最小限のレイテンシで同期 ● BigQuery ● Cloud Storage ● Dataflow ○ Cloud SQL ○ Spanner ○ … Datastream ● MySQL ● PostgreSQL ● Oracle ● SQL Server（★） 引用元：https://cloud.google.com/datastream/docs/overview?hl=ja

© ZOZO, Inc. 6 変更データキャプチャ（CDC）とは ソースとなるデータで発生した変更（挿入・更新・削除）をリアルタイムで検出・キャプチャする技術 参考：https://www.integrate.io/jp/blog/what-is-change-data-capture-ja/ ● ログベース ○ パフォーマンスへの影響が最小限 ○ 包括的なデータキャプチャ ○ 効率 ● トリガーベース ○ リアルタイムのデータキャプチャ ○ 柔軟性

© ZOZO, Inc. 7 ユースケースの紹介

© ZOZO, Inc. 8 ユースケース ● データ複製 ● CQRSモデルの更新 ● 全文検索

© ZOZO, Inc. 9 ユースケース ● データ複製 ● CQRSモデルの更新 ● 全文検索

© ZOZO, Inc. 10 データ複製 引用元：https://cloud.google.com/sql/docs/mysql/replication

© ZOZO, Inc. 11 ユースケース ● データ複製 ● CQRSモデルの更新 ● 全文検索

© ZOZO, Inc. 12 CQRSモデルの更新 引用元：https://techblog.zozo.com/entry/implementation-of-cqrs-using-outbox-and-cdc-with-dynamodb

© ZOZO, Inc. 13 ユースケース ● データ複製 ● CQRSモデルの更新 ● 全文検索

© ZOZO, Inc. 14 全文検索 引用元：https://techblog.zozo.com/entry/migrating-zozotown-search-platform ZOZOTOWNの検索基盤における Elasticsearch移行で得た知見

© ZOZO, Inc. 15 事例紹介

© ZOZO, Inc. 16 引用元：https://assets.swoogo.com/uploads/3815612-661fdf0a5b993.pdf p.021

© ZOZO, Inc. 17 引用元：https://assets.swoogo.com/uploads/3815612-661fdf0a5b993.pdf p.022

© ZOZO, Inc. 18 ZOZOでのDatastream利用例 ● AWS Aurora MySQLからBigQueryにレプリケーション ZOZO データセンター Datastream BigQuery Aurora MySQL 参考：https://qiita.com/shiozaki/items/ff088ee14e55ca575100

© ZOZO, Inc. 19 その他ストリーミング系 機能の紹介

© ZOZO, Inc. 20 BigQuery continuous queries 引用元：https://assets.swoogo.com/uploads/3782565-661824fc35037.pdf p.019

© ZOZO, Inc. 21 Apache Kafka for BigQuery ● BigQueryと容易に統合可能なマネージドのApache Kafkaがプレビュー 参考：https://cloud.google.com/products/apache-kafka-for-bigquery Apache Kafka BigQuery

© ZOZO, Inc. 22 今後試したいこと

© ZOZO, Inc. 23 RTM（リアルタイムマーケティング） ● 顧客一人ひとりにパーソナライズしたコンテンツをリアルタイム配信 引用元：リアルタイムマーケティングシステムの紹介とそのリプレイス計画: https://techblog.zozo.com/entry/real-time-marketing-system 参考：全社共通データ基盤を廃止して新しいデータ基盤に引越した話：https://techblog.zozo.com/entry/data-infrastructure-replacement

© ZOZO, Inc. 24 Realtime-datapump ● BigQueryの変更データをキャプチャし、リアルタイムにデータを処理 引用元：マーケティングオートメーションシステムを支えるリアルタイムデータ連携基盤をリプレイスした話： https://techblog.zozo.com/entry/ma-realtime-data-infrastructure-replacement マーケティングオートメーションシステムを支えるリアルタイム データ連携基盤をリプレイスした話 Google Kubernetes Engine BigQuery continuous queries

© ZOZO, Inc. 25 まとめ

© ZOZO, Inc. 26 まとめ ● BigQueryがますます強力になっている ○ continuous queriesすごそう

© ZOZO, Inc. 27 まとめ ● BigQueryがますます強力になっている ○ continuous queriesすごそう ● 運用DBをBigQueryに複製したいニーズが多そう ○ そのための仕組みにDatastreamが便利 ○ Apache Kafka for BigQueryにも期待

No content