Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
RedshiftとGlueで簡単データウェアハウス / Data Warehousing wi...
Search
Fukao Moto
July 12, 2018
Programming
0
610
RedshiftとGlueで簡単データウェアハウス / Data Warehousing with Redshift and Glue
クラシルの行動分析基盤の裏側の話
- 第4世代分析基盤
- 2つのダッシュボード
- RedshiftとGlue
- 時系列テーブル
Fukao Moto
July 12, 2018
Tweet
Share
More Decks by Fukao Moto
See All by Fukao Moto
現場で使えるSRE / How to Survive as The First SRE
motobrew
0
2.5k
Other Decks in Programming
See All in Programming
Deep Dive into ~/.claude/projects
hiragram
10
2.1k
Rubyでやりたい駆動開発 / Ruby driven development
chobishiba
1
510
Hypervel - A Coroutine Framework for Laravel Artisans
albertcht
1
110
型付きアクターモデルがもたらす分散シミュレーションの未来
piyo7
0
810
deno-redisの紹介とJSRパッケージの運用について (toranoana.deno #21)
uki00a
0
160
Java on Azure で LangGraph!
kohei3110
0
170
Azure AI Foundryではじめてのマルチエージェントワークフロー
seosoft
0
150
なんとなくわかった気になるブロックテーマ入門/contents.nagoya 2025 6.28
chiilog
1
240
システム成長を止めない!本番無停止テーブル移行の全貌
sakawe_ee
1
150
ソフトウェア品質を数字で捉える技術。事業成長を支えるシステム品質の マネジメント
takuya542
0
220
ニーリーにおけるプロダクトエンジニア
nealle
0
660
Kotlin エンジニアへ送る:Swift 案件に参加させられる日に備えて~似てるけど色々違う Swift の仕様 / from Kotlin to Swift
lovee
1
260
Featured
See All Featured
Designing Experiences People Love
moore
142
24k
Automating Front-end Workflow
addyosmani
1370
200k
Music & Morning Musume
bryan
46
6.6k
Docker and Python
trallard
44
3.4k
Bash Introduction
62gerente
614
210k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
940
A better future with KSS
kneath
239
17k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.8k
Building Adaptive Systems
keathley
43
2.6k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Code Review Best Practice
trishagee
69
18k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Transcript
Redshift と Glue で 簡単データウェアハウス © 2018 Fukao Moto
プロの料理人(8年) タコライス研究家 宇宙兄弟好き SRE and データ可視化推進室 Fukao Moto 深尾もとのぶ
RedshiftとGlue 第4世代分析基盤 Redshiftと Glueで 簡単DWH 2つのダッシュボード 時系列テーブル
fluentd Google Analytics 分析基盤のレイヤー BigQuery 可 視 化 分 析
ロ グ 収 集 Kinesis Redshift Google Analytics Google Analytics OSS 自社開発 Athena S3 BIツール SaaS Hadoop
None
第1世代 Google Analytics 開発コストが低い 無料の制限 P r o s C
o n s SQL使えない (Exportは高め) 基本無料
第2世代 Logpose スケーラビリティ確保 ログ基盤の管理 P r o s C o
n s SQLが大変 SQLが使える スキーマ変更
第3世代 Firebase Analytics ログ基盤が管理不要 仕様変更 P r o s C
o n s BQのクエリ料金 BigQueryが使える 機能が未完成
第4世代 Sunny Metabase Eternalpose
2 つ の 新 ダ ッ シ ュ ボ ー
ド 自 社 開 発 M e t a b a s e
2 つ の 新 ダ ッ シ ュ ボ ー
ド 自 社 開 発 M e t a b a s e 誰でも SQLで分析 日次集計 ダッシュボードの カスタマイズ アドホックな分析 非定常業務
Glue Redshift OAuth2 /auth 行動ログ Metabase Kinesis ETL クロール クロール
クロール JSON Parquet
R e d s h i f t / G
l u e 何 そ れ 美 味 い の ?
Athena & Redshift 定額料金 シンプル設計 Postgres互換 CTAS SELECT INSERT 早い
フルマネージド 低い学習コスト
カ ラ ム 定 義 も デ ー タ の
ロ ー ド も 不 要 !
ワークフロー S3にJSON形式のログを配置 自動でテーブル定義が作られる 必要に応じてParquetへ変換 Glueでクローリング Redshift Spectrum でCTAS Select文の結果から Redshiftの中に
テーブルが作られる Redshift でクエリ実行 CSVやParquetも
CTAS (Create Table As Select) create table <内部スキーマ>.<テーブル名> as select
* from <外部スキーマ>.<テーブル名>; Glueでクローリングしたテーブル 例:S3上のJSONファイル 任意のテーブル データマート、 テンポラリテーブル
リラン設計 (再実行と冪等性) データウェアハウスでは データの更新や再集計を 考慮する必要がある。 しかし、RedshiftはINSERTや UPDATE、DELETEには不向き
時系列テーブルとビュー 201807 201806 201805 201804 201711 201710 201709 201708 201803
201802 201801 201712 201807 201806 201805 201804 201707 view_hot view_warm view_cold
Glue Redshift OAuth2 /auth 行動ログ Metabase Kinesis ETL クロール クロール
クロール JSON Parquet
仲間を探しています! 「70億人に1日3回の幸せを届ける」 © 2018 Fukao Moto