マルチDWH運用、RedshiftからBigQueryの移行期を語る

Transcript

1. マルチDWH運⽤、 RedshiftからBigQueryの移⾏期を語る 2025.07.17 yabaibuki.dev #6 ビジネスを⽀えるヤバいデータ利活⽤ LT会 技術部データプラットフォームグループ ⽑利圭吾 Copyright © Livesense Inc.
2. • リブセンス 技術部データプラットフォームグループ • Data Engineer • 仕事：データ基盤の開発 • 週末：Running, Sauna, Craft Beer 自己紹介 Copyright © Livesense Inc. 2 ⽑利 圭吾
3. Copyright © Livesense Inc. 3
4. Copyright © Livesense Inc. 4 を推進するデータ基盤の話
5. 1 2 3 4 マルチDWH運⽤の背景と課題 BigQuery移⾏の道のり 移⾏に⽴ちはだかる壁 まとめ Copyright © Livesense Inc. 5
6. マルチDWH運⽤の背景と課題 SECTION 1 Copyright © Livesense Inc. 6
7. 1. マルチDWH運用の背景と課題 Redshiftを中⼼としたデータ基盤 （〜2022年） Copyright © Livesense Inc. 7 • ⼈材系を中⼼に複数のプロダクトを展開 • プロダクトの分析に関わるデータは、データ基盤（Redshift）で管理
8. 1. マルチDWH運用の背景と課題 BigQuery運⽤の開始（2023年〜） Copyright © Livesense Inc. 8 • GA4の利⽤を機に、BigQueryを使い始める ◦ ref. Web ログ基盤を GA4 ベースへと刷新させた全社横断プロジェクト • BigQuery運⽤のタイミングで、ユーザー（分析者）もBigQueryを使うのか？ ◦ 否。ユーザー側の⼤きな変更は、この時点では避けた ◦ GA4のデータは、BigQuery経由でRedshiftに連携する その他データ
9. 1. マルチDWH運用の背景と課題 マルチDWHの課題 Copyright © Livesense Inc. 9 • データ連携の⾮効率性 ◦ Redshiftへのデータ反映に、タイムラグが発⽣する • Redshiftのマシンを意識する運⽤ ◦ メンテナンスタイムが発⽣し、リアルタイム処理に不向き • 詳細は... ◦ 技術的負債解消LT会で「データ基盤の負債解消のためのリプレイス」 を発表しました 移⾏を考え始める...
10. BigQuery移⾏の道のり SECTION 2 Copyright © Livesense Inc. 10
11. 2. BigQuery移行の道のり 移⾏は２Step Copyright © Livesense Inc. 11 • データ活⽤を継続させるため、段階的な移⾏でユーザー負担を最⼩限に抑える ◦ Step.1 データ移⾏ ◦ Step.2 ユーザー移⾏
12. 2. BigQuery移行の道のり Step.1 データ移⾏（イマココ） Copyright © Livesense Inc. 12 • 各DWHに同等のデータを保有し、どのDWHでもデータ参照できる状態にする ◦ データはBigQueryを経由して、Redshiftにデータ連携する その他データ
13. 2. BigQuery移行の道のり Step.2 ユーザー移⾏ Copyright © Livesense Inc. 13 • SQLを移⾏し、BigQueryを使った分析ができる状態にする ◦ SQL移⾏ ▪ 移⾏対象SQLの精査 ▪ SQL⽂法の変換 ◦ ユーザー育成 ▪ SQL⽂法 ▪ データセット構成、課⾦体系、パーティションなど
14. 移⾏に⽴ちはだかる壁 SECTION 3 Copyright © Livesense Inc. 14
15. 3. 移行に立ちはだかる壁 各⽅⾯で使われているSQL Copyright © Livesense Inc. 15 speakerdeck.com 職種問わず、SQLを書く⽂化が醸成されている。
16. 3. 移行に立ちはだかる壁 Redashを中⼼に、広くデータ活⽤されている Copyright © Livesense Inc. 16 Livesense Brain（機械学習） Redashで定期的に実⾏されているSQLは、1000以上存在する。
17. 3. 移行に立ちはだかる壁 ユーザー移⾏が最⼤の関⾨ Copyright © Livesense Inc. 17 • 幅広い職種を対象としたユーザー育成 • ⽇々増え続けるSQLの移⾏ ◦ 扱う範囲が広いため、ユーザーの協⼒が不可⽋ ◦ BigQueryの利便性の訴求が必要
18. まとめ SECTION 4 Copyright © Livesense Inc. 18
19. 4. まとめ データ利活⽤を推進するより良いデータ基盤に向けて Copyright © Livesense Inc. 19 • 移⾏過渡期のため、マルチDWH運⽤になっている • ユーザー移⾏が難問 • BigQueryの利便性を⽰し、ユーザーの協⼒を得ることが重要