RedshiftとGlueで簡単データウェアハウス / Data Warehousing with Redshift and Glue

Transcript

1. Redshift と Glue で 簡単データウェアハウス © 2018 Fukao Moto

2. プロの料理人（８年） タコライス研究家 宇宙兄弟好き SRE and データ可視化推進室 Fukao Moto 深尾もとのぶ

3. RedshiftとGlue 第４世代分析基盤 Redshiftと Glueで 簡単DWH 2つのダッシュボード 時系列テーブル

4. fluentd Google Analytics 分析基盤のレイヤー BigQuery 可 視 化 分 析

   ロ グ 収 集 Kinesis Redshift Google Analytics Google Analytics OSS 自社開発 Athena S3 BIツール SaaS Hadoop
5. None

6. 第１世代 Google Analytics 開発コストが低い 無料の制限 P r o s C

   o n s SQL使えない （Exportは高め） 基本無料

7. 第2世代 Logpose スケーラビリティ確保 ログ基盤の管理 P r o s C o

   n s SQLが大変 SQLが使える スキーマ変更

8. 第3世代 Firebase Analytics ログ基盤が管理不要 仕様変更 P r o s C

   o n s BQのクエリ料金 BigQueryが使える 機能が未完成

9. 第4世代 Sunny Metabase
 Eternalpose

10. ２ つ の 新 ダ ッ シ ュ ボ ー

    ド 自 社 開 発 M e t a b a s e

11. ２ つ の 新 ダ ッ シ ュ ボ ー

    ド 自 社 開 発 M e t a b a s e 誰でも SQLで分析 日次集計 ダッシュボードの カスタマイズ アドホックな分析 非定常業務

12. Glue Redshift OAuth2 /auth 行動ログ Metabase Kinesis ETL クロール クロール

    クロール JSON Parquet

13. R e d s h i f t / G

    l u e 何 そ れ 美 味 い の ？

14. Athena & Redshift 定額料金 シンプル設計 Postgres互換 CTAS SELECT INSERT 早い

    フルマネージド 低い学習コスト

15. カ ラ ム 定 義 も デ ー タ の

    ロ ー ド も 不 要 ！

16. ワークフロー S3にJSON形式のログを配置 自動でテーブル定義が作られる 必要に応じてParquetへ変換 Glueでクローリング Redshift Spectrum でCTAS Select文の結果から Redshiftの中に

    テーブルが作られる Redshift でクエリ実行 CSVやParquetも

17. CTAS (Create Table As Select) create table <内部スキーマ>.<テーブル名> as select

    * from <外部スキーマ>.<テーブル名>; Glueでクローリングしたテーブル 例：S3上のJSONファイル 任意のテーブル データマート、 テンポラリテーブル

18. リラン設計 (再実行と冪等性） データウェアハウスでは データの更新や再集計を 考慮する必要がある。 しかし、RedshiftはINSERTや UPDATE、DELETEには不向き

19. 時系列テーブルとビュー 201807 201806 201805 201804 201711 201710 201709 201708 201803

    201802 201801 201712 201807 201806 201805 201804 201707 view_hot view_warm view_cold

20. Glue Redshift OAuth2 /auth 行動ログ Metabase Kinesis ETL クロール クロール

    クロール JSON Parquet

21. 仲間を探しています！ 「70億人に1日３回の幸せを届ける」 © 2018 Fukao Moto