TROCCOとRedshift Serverlessで描くシン・データ基盤

#p_UG 東京:EC×データ基盤の試行錯誤を語る会 ～みんなの工夫とTROCCO活用術～ のLT資料

Transcript

1. TROCCOとRedshift Serverlessで描くシン・データ基盤 #p_UG 東京:EC×データ基盤の試行錯誤を語る会 ～みんなの工夫とTROCCO活用術～
2. 大庭　将(おおば　まさる) レンティオ株式会社(2020/07〜) 開発部所属データチーム所属(2026/03〜) <- New!! 最近の趣味は、筋トレ(2023-)/ピアノ(2025-)/日本酒 自己紹介
3. レンティオとは https://speakerdeck.com/rentio/company-profile-for-engineers
4. 目次 1. 旧データ基盤と課題 2. シン・データ基盤 3. シン・データ基盤でのTROCCOの役割 4. シン・データ基盤の感触 5. 今後の展望
5. 旧データ基盤と課題
6. 旧データ基盤
7. Railsによる実装なのでエンジニアしか保守できない データ増加にともなう実行時間の増加 全件洗替 失敗すると業務中での復旧が難しくなってきた 少ない人数でEmbulkやデータ基盤のお世話するのに手間がかかる 旧データ基盤の課題
8. シン・データ基盤
9. シン・データ基盤
10. 正直そこまで強い思いがあるわけではない Webアプリ基盤などほとんどがAWS内にある レンティオの本番環境をAWS Copilot/Fargate構成に切り替えた話 - Zenn BigQueryは確かにすごい(語彙力) でもRedshiftはそこまで劣るのか わざわざAWS外に出す労力、コストに見合ってるのか Redshift Serverlessの登場 クラスターやノード管理などの運用コストがかかりそうなプロビジョニング タイプしかなかったらおそらくRedshiftに決めていない なぜRedshift Serverless？
11. シン・データ基盤でのTROCCOの役割
12. 各サービスからRedshiftへ sourceテーブルへデータを集約。豊富なコネクタにより簡単に集約可能になった TROCCOの役割①
13. dbtの実行環境 dbt cloudの利用も考えていたが別にするよりTROCCOに乗っかって依存を増やさないようにした TROCCOの役割②
14. BigQueryへのデータ転送 BigQueryを参照しているLookerStudioやRedashのために残っていて、現在ここをなくすべく今頑張ってい るところ TROCCOの役割③
15. シン・データ基盤の感触
16. 豊富なコネクタによる利用ケースの拡大 利用コネクタ数: 3(2022/10)->14(2026/03) エンジニアしか設定できなかったものがデータチームなどの他のメンバーも使え るように エンジニア以外が作成した転送ジョブは全体の約60% とはいえ初めての接続先とかだと初期設定のお膳立てはまだ必要 ワークフロー機能により処理順序と依存関係が明確に この時間くらいまでには転送Aが終わってるからその30分後に処理Bを起動す るスケジュールにしておいて...みたいなことをやらなくてよくなった TROCCOはイイゾ〜
17. ※ まだ既存のクエリやダッシュボードを移行中でヘビーに使えてるわけではないという前置きをしつつ 現状クエリ速度の不満は出ていない Max capacityを48 RPUsに制限している状態 Serverlessなのでコールドスタート時の遅さは感じるが許容範囲内 コスト管理のしやすさ RPUという消費したコンピュータリソースでの従量課金(+ストレージ料金) BigQueryはデータスキャン量での従量課金 インフラ運用の手間がない RPUの制限とクエリのタイムアウト設定をするくらいしかしてない Aurora(Federated Query)やS3(Spectrum)の参照が簡単 BigQueryでのスプレッドシートの参照も便利だったが インフラ管理も既存のCDKに一元化できた Redshift Serverlessはイイかも〜
18. 今後の展望
19. もっと気軽に誰でもTROCCOを使ってもらいたい データが必要な人がやれるとやり取りをするコミュニケーションコストがな くなる とはいえ非エンジニアにはとっつきにくい TROCCOのTerraform Providerを構成管理のためでなくClaude CodeなどのAIと 組み合わせた転送設定のv0版作成みたいな使い方はどうかと最近考えている 人にもAIにも使いやすいデータ分析基盤へ データ管理体制の整備 まだ全然イメージできてないのでDMBOKや他社の取り組みを参考に解像度を 高めていくところから などなど 今後の展望
20. ご清聴ありがとうございました
21. 新しい 消費行動をつくる 私たちは、あらゆる製品を買わずに試せる 新しい消費の仕組みをつくっています。