Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AWS Glueを使ってRDSからS3+Athena環境を作ってみよう / Let's create Athena from RDS using AWS Glue

AWS Glueを使ってRDSからS3+Athena環境を作ってみよう / Let's create Athena from RDS using AWS Glue

Kitano Yuichi

June 19, 2020
Tweet

More Decks by Kitano Yuichi

Other Decks in Technology

Transcript

  1. 2 ࣗݾ঺հ • ๺໺ ༎Ұʢ,JUBOP:VJDIJʣ • Ϋϥεϝιουגࣜձࣾ • "84ࣄۀຊ෦ ίϯαϧςΟϯά෦

    • "1/"845PQ&OHJOFFST • ޷͖ͳ"84αʔϏε • "84$-* • $PHOJUP
  2. 11 (MVFσʔλΧλϩάͱ͸ʁ • ςʔϒϧߏ଄ ϝλσʔλ Λఆٛ͢ΔαʔϏε • ςʔϒϧʹ͖ͭ̍ͭ࡞੒ Athena S3

    標準SQLでクエリ Glue データカタログ ・データのみ ・テーブル名 ・カラム名 ・データ型 等 表構造としてデータ カタログを参照
  3. 14 (MVFΫϩʔϥͱ͸ʁ • σʔλετΞ 4౳ ͷσʔλߏ଄Λਪଌͯ͠ɺ σʔλΧλϩάʹ දߏ଄Λొ࿥͢ΔαʔϏε S3 Glue

    データカタログ ・データのみ ・テーブル名 ・カラム名 ・データ型 等 データ構造の 解析&推測 Glue クローラ 表構造の登録
  4. 17 શମߏ੒ • શମతͳߏ੒͸͜Μͳײ͡ʹͳΓ·͢ɻ S3 Aurora&RDS Snapshot Glue クローラ Glue

    データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
  5. 19 લఏ৚݅ • ςʔϒϧఆٛ͞Εͨ3%4ͱͦͷ4OBQTIPU͸ɺ ࠷ॳ͔Β͋Δ΋ͷͱ͠·͢ɻ S3 Aurora&RDS Snapshot Glue クローラ

    Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
  6. 20 ,.4ͷ࡞੒ • ·ͣ͸҉߸ԽͷΩʔͱͳΔ,.4Λ࡞੒͠·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue

    データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
  7. 21 4#VDLFUͷ࡞੒ • 4OBQTIPUͷFYQPSUઌͱ͢Δ 4Λ࡞੒͠·͢ S3 Aurora&RDS Snapshot Glue クローラ

    Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
  8. 22 4OBQTIPUΛ4΁FYQPSU • 3%4ͷ4OBQTIPUΛ4΁FYQPSU͠·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue

    データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
  9. 23 (MVFΫϩʔϥͷ࡞੒ • 4͔Βදߏ଄Λղੳ͢Δ(MVFΫϩʔϥΛ ࡞੒͠·͢ S3 Aurora&RDS Snapshot Glue クローラ

    Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
  10. 24 (MVFΫϩʔϥͷ࣮ߦ • (MVFΫϩʔϥΛ࣮ߦͯ͠ɺ(MVFσʔλ ΧλϩάΛొ࿥͠·͢ S3 Aurora&RDS Snapshot Glue クローラ

    Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
  11. 25 "UIFOBΛ࢖ͬͯΈΔ • ߏஙͨ͠؀ڥΛར༻ͯ͠ɺ"UIFOBͰ42-Λ ࣮ߦͯ͠Έ·͢ S3 Aurora&RDS Snapshot Glue クローラ

    Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号