RedshiftとGlueで簡単データウェアハウス / Data Warehousing with Redshift and Glue

クラシルの行動分析基盤の裏側の話
- 第４世代分析基盤
- ２つのダッシュボード
- RedshiftとGlue
- 時系列テーブル

Transcript

1. Redshift と Glue で 簡単データウェアハウス © 2018 Fukao Moto
2. プロの料理人（８年） タコライス研究家 宇宙兄弟好き SRE and データ可視化推進室 Fukao Moto 深尾もとのぶ
3. RedshiftとGlue 第４世代分析基盤 Redshiftと Glueで 簡単DWH 2つのダッシュボード 時系列テーブル
4. fluentd Google Analytics 分析基盤のレイヤー BigQuery 可 視 化 分 析 ロ グ 収 集 Kinesis Redshift Google Analytics Google Analytics OSS 自社開発 Athena S3 BIツール SaaS Hadoop
6. 第１世代 Google Analytics 開発コストが低い 無料の制限 P r o s C o n s SQL使えない （Exportは高め） 基本無料
7. 第2世代 Logpose スケーラビリティ確保 ログ基盤の管理 P r o s C o n s SQLが大変 SQLが使える スキーマ変更
8. 第3世代 Firebase Analytics ログ基盤が管理不要 仕様変更 P r o s C o n s BQのクエリ料金 BigQueryが使える 機能が未完成
9. 第4世代 Sunny Metabase
 Eternalpose
10. ２ つ の 新 ダ ッ シ ュ ボ ー ド 自 社 開 発 M e t a b a s e
11. ２ つ の 新 ダ ッ シ ュ ボ ー ド 自 社 開 発 M e t a b a s e 誰でも SQLで分析 日次集計 ダッシュボードの カスタマイズ アドホックな分析 非定常業務
12. Glue Redshift OAuth2 /auth 行動ログ Metabase Kinesis ETL クロール クロール クロール JSON Parquet
13. R e d s h i f t / G l u e 何 そ れ 美 味 い の ？
14. Athena & Redshift 定額料金 シンプル設計 Postgres互換 CTAS SELECT INSERT 早い フルマネージド 低い学習コスト
15. カ ラ ム 定 義 も デ ー タ の ロ ー ド も 不 要 ！
16. ワークフロー S3にJSON形式のログを配置 自動でテーブル定義が作られる 必要に応じてParquetへ変換 Glueでクローリング Redshift Spectrum でCTAS Select文の結果から Redshiftの中に テーブルが作られる Redshift でクエリ実行 CSVやParquetも
17. CTAS (Create Table As Select) create table <内部スキーマ>.<テーブル名> as select * from <外部スキーマ>.<テーブル名>; Glueでクローリングしたテーブル 例：S3上のJSONファイル 任意のテーブル データマート、 テンポラリテーブル
18. リラン設計 (再実行と冪等性） データウェアハウスでは データの更新や再集計を 考慮する必要がある。 しかし、RedshiftはINSERTや UPDATE、DELETEには不向き
19. 時系列テーブルとビュー 201807 201806 201805 201804 201711 201710 201709 201708 201803 201802 201801 201712 201807 201806 201805 201804 201707 view_hot view_warm view_cold
20. Glue Redshift OAuth2 /auth 行動ログ Metabase Kinesis ETL クロール クロール クロール JSON Parquet
21. 仲間を探しています！ 「70億人に1日３回の幸せを届ける」 © 2018 Fukao Moto