Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
RedshiftとGlueで簡単データウェアハウス / Data Warehousing wi...
Search
Fukao Moto
July 12, 2018
Programming
0
620
RedshiftとGlueで簡単データウェアハウス / Data Warehousing with Redshift and Glue
クラシルの行動分析基盤の裏側の話
- 第4世代分析基盤
- 2つのダッシュボード
- RedshiftとGlue
- 時系列テーブル
Fukao Moto
July 12, 2018
Tweet
Share
More Decks by Fukao Moto
See All by Fukao Moto
現場で使えるSRE / How to Survive as The First SRE
motobrew
0
2.5k
Other Decks in Programming
See All in Programming
GitHubとGitLabとAWS CodePipelineでCI/CDを組み比べてみた
satoshi256kbyte
4
240
実用的なGOCACHEPROG実装をするために / golang.tokyo #40
mazrean
1
280
速いWebフレームワークを作る
yusukebe
5
1.7k
今だからこそ入門する Server-Sent Events (SSE)
nearme_tech
PRO
3
230
奥深くて厄介な「改行」と仲良くなる20分
oguemon
1
540
ぬるぬる動かせ! Riveでアニメーション実装🐾
kno3a87
1
220
Processing Gem ベースの、2D レトロゲームエンジンの開発
tokujiros
2
130
知っているようで知らない"rails new"の世界 / The World of "rails new" You Think You Know but Don't
luccafort
PRO
1
160
ユーザーも開発者も悩ませない TV アプリ開発 ~Compose の内部実装から学ぶフォーカス制御~
taked137
0
180
プロポーザル駆動学習 / Proposal-Driven Learning
mackey0225
2
1.3k
「待たせ上手」なスケルトンスクリーン、 そのUXの裏側
teamlab
PRO
0
530
プロパティベーステストによるUIテスト: LLMによるプロパティ定義生成でエッジケースを捉える
tetta_pdnt
0
1.7k
Featured
See All Featured
Statistics for Hackers
jakevdp
799
220k
How STYLIGHT went responsive
nonsquared
100
5.8k
Practical Orchestrator
shlominoach
190
11k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
13k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Rails Girls Zürich Keynote
gr2m
95
14k
Into the Great Unknown - MozCon
thekraken
40
2k
Context Engineering - Making Every Token Count
addyosmani
3
48
Music & Morning Musume
bryan
46
6.8k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Transcript
Redshift と Glue で 簡単データウェアハウス © 2018 Fukao Moto
プロの料理人(8年) タコライス研究家 宇宙兄弟好き SRE and データ可視化推進室 Fukao Moto 深尾もとのぶ
RedshiftとGlue 第4世代分析基盤 Redshiftと Glueで 簡単DWH 2つのダッシュボード 時系列テーブル
fluentd Google Analytics 分析基盤のレイヤー BigQuery 可 視 化 分 析
ロ グ 収 集 Kinesis Redshift Google Analytics Google Analytics OSS 自社開発 Athena S3 BIツール SaaS Hadoop
None
第1世代 Google Analytics 開発コストが低い 無料の制限 P r o s C
o n s SQL使えない (Exportは高め) 基本無料
第2世代 Logpose スケーラビリティ確保 ログ基盤の管理 P r o s C o
n s SQLが大変 SQLが使える スキーマ変更
第3世代 Firebase Analytics ログ基盤が管理不要 仕様変更 P r o s C
o n s BQのクエリ料金 BigQueryが使える 機能が未完成
第4世代 Sunny Metabase Eternalpose
2 つ の 新 ダ ッ シ ュ ボ ー
ド 自 社 開 発 M e t a b a s e
2 つ の 新 ダ ッ シ ュ ボ ー
ド 自 社 開 発 M e t a b a s e 誰でも SQLで分析 日次集計 ダッシュボードの カスタマイズ アドホックな分析 非定常業務
Glue Redshift OAuth2 /auth 行動ログ Metabase Kinesis ETL クロール クロール
クロール JSON Parquet
R e d s h i f t / G
l u e 何 そ れ 美 味 い の ?
Athena & Redshift 定額料金 シンプル設計 Postgres互換 CTAS SELECT INSERT 早い
フルマネージド 低い学習コスト
カ ラ ム 定 義 も デ ー タ の
ロ ー ド も 不 要 !
ワークフロー S3にJSON形式のログを配置 自動でテーブル定義が作られる 必要に応じてParquetへ変換 Glueでクローリング Redshift Spectrum でCTAS Select文の結果から Redshiftの中に
テーブルが作られる Redshift でクエリ実行 CSVやParquetも
CTAS (Create Table As Select) create table <内部スキーマ>.<テーブル名> as select
* from <外部スキーマ>.<テーブル名>; Glueでクローリングしたテーブル 例:S3上のJSONファイル 任意のテーブル データマート、 テンポラリテーブル
リラン設計 (再実行と冪等性) データウェアハウスでは データの更新や再集計を 考慮する必要がある。 しかし、RedshiftはINSERTや UPDATE、DELETEには不向き
時系列テーブルとビュー 201807 201806 201805 201804 201711 201710 201709 201708 201803
201802 201801 201712 201807 201806 201805 201804 201707 view_hot view_warm view_cold
Glue Redshift OAuth2 /auth 行動ログ Metabase Kinesis ETL クロール クロール
クロール JSON Parquet
仲間を探しています! 「70億人に1日3回の幸せを届ける」 © 2018 Fukao Moto