AWS Glueを使ってRDSからS3+Athena環境を作ってみよう / Let's create Athena from RDS using AWS Glue

Transcript

1. "84
   (MVFΛ࢖ͬͯ3%4͔Β 4 "UIFOB؀ڥΛ࡞ͬͯΈΑ͏  "84ࣄۀຊ෦ ίϯαϧςΟϯά෦ ๺໺༎Ұ
2. 2 ࣗݾ঺հ • ๺໺ ༎Ұʢ,JUBOP
   :VJDIJʣ • Ϋϥεϝιουגࣜձࣾ • "84ࣄۀຊ෦ ίϯαϧςΟϯά෦ • 
   "1/
   "84
   5PQ
   &OHJOFFST • ޷͖ͳ"84αʔϏε • "84
   $-* • $PHOJUP
3. 3 3%4ɺ࢖ͬͯ·͔͢ʁ
4. 4 "84ͷ3%#αʔϏε • "VSPSB
   Ϋϥ΢υ޲͚ʹߏங͞Εͨ3%# • 3%4
   Ϛωʔδυܕ3%#αʔϏε Aurora RDS
5. 5 3%#ͷσʔλ෼ੳ͕͍ͨ͠ • ຊ൪؀ڥʹӨڹ͕͋Γͦ͏ʜ • ৽͍͠3%4Λ΋͏Ұཱͭͯͯσʔλ෮ݩʁ • ͦΜͳʹ࢖Θͳ͍ͷʹ΋͍ͬͨͳ͍ͷͰ͸ʁ Aurora RDS SQLで本番データの 分析がしたい
6. 6 ͦΜͳͱ͖ʹ"UIFOBΛਪ͍ͨ͠ • 4ͷσʔλΛ42-ΫΤϦͰ෼ੳͰ͖Δ • αʔόϨεͳͷͰΠϯϑϥͷ؅ཧ͸ෆཁ • ࣮ߦͨ͠ΫΤϦʹରͯ͠ͷΈྉ͕͔͔ۚΔ Athena S3 標準SQLでクエリ
7. 7 ࠓճͷ໨త 3%4͔Β"UIFOB؀ڥ͸ ؆୯ʹߏஙͰ͖Δʂ ʜͱ͍͏͜ͱΛ஌ͬͯ΋Β͏
8. 8 "UIFOBͷը໘ %#ɾදߏ଄ (MVFσʔλΧλϩά 42-ΫΤϦ ΫΤϦ݁Ռ
9. 9 (MVFσʔλΧλϩά ͬͯԿʁ
10. 10 "UIFOB͸4ʹΫΤϦ͢ΔαʔϏε͕ͩʜ • 4͸୯ͳΔσʔλอଘઌͰ͋Δ • ςʔϒϧ໊͸ʁ • ΧϥϜ໊͸ʁ • σʔλܕ͸ʁ Athena S3 標準SQLでクエリ ・データのみ
11. 11 (MVFσʔλΧλϩάͱ͸ʁ • ςʔϒϧߏ଄ ϝλσʔλ Λఆٛ͢ΔαʔϏε • ςʔϒϧʹ͖ͭ̍ͭ࡞੒ Athena S3 標準SQLでクエリ Glue データカタログ ・データのみ ・テーブル名 ・カラム名 ・データ型 等 表構造としてデータ カタログを参照
12. 12 (MVFσʔλΧλϩάͬͯͲ͏΍ͬͯ࡞Δʁ • (MVFΫϩʔϥΛར༻ͯࣗ͠ಈੜ੒ • (MVFσʔλΧλϩάΛखͰ࡞੒ "UIFOBͷςʔϒϧ࡞੒΢Οβʔυ • )JWF
    %%-Λར༻ $3&"5&
    &95&3/"-
    5"#-&
13. 13 (MVFΫϩʔϥ ͬͯԿʁ
14. 14 (MVFΫϩʔϥͱ͸ʁ • σʔλετΞ 4౳ ͷσʔλߏ଄Λਪଌͯ͠ɺ σʔλΧλϩάʹ දߏ଄Λొ࿥͢ΔαʔϏε S3 Glue データカタログ ・データのみ ・テーブル名 ・カラム名 ・データ型 等 データ構造の 解析＆推測 Glue クローラ 表構造の登録
15. 15 3%4εφοϓγϣοτ͔Β4΁FYQPSU • 3%4ͷεφοϓγϣοτ͔Β1BSRVFUܗࣜͰ 4΁FYQPSUͰ͖·͢ ,.4Ͱ҉߸Խ͞Ε·͢ S3 RDSのスナップショット作成 Aurora RDS Snapshot Parquet形式でexport KMS 暗号化キーを参照
16. 16 (MVFΫϩʔϥͰ҉߸Խ͞Εͨσʔλͷಡࠐ • ,.4Ͱ҉߸Խ͞ΕͨσʔλΛಡΈࠐΉͨΊʹɺ LNT%FDSZQUݖݶΛ෇༩͠·͢ S3 暗号化された S3データの読込 Glue クローラ KMS KMSで 暗号化 されている KMSで復号
17. 17 શମߏ੒ • શମతͳߏ੒͸͜Μͳײ͡ʹͳΓ·͢ɻ S3 Aurora&RDS Snapshot Glue クローラ Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析＆推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
18. 18 ࣮ࡍʹ࡞ͬͯΈ·͢ʂ
19. 19 લఏ৚݅ • ςʔϒϧఆٛ͞Εͨ3%4ͱͦͷ4OBQTIPU͸ɺ ࠷ॳ͔Β͋Δ΋ͷͱ͠·͢ɻ S3 Aurora&RDS Snapshot Glue クローラ Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析＆推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
20. 20 ,.4ͷ࡞੒ • ·ͣ͸҉߸ԽͷΩʔͱͳΔ,.4Λ࡞੒͠·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析＆推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
21. 21 4
    #VDLFUͷ࡞੒ • 4OBQTIPUͷFYQPSUઌͱ͢Δ 4Λ࡞੒͠·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析＆推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
22. 22 4OBQTIPUΛ4΁FYQPSU • 3%4ͷ4OBQTIPUΛ4΁FYQPSU͠·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析＆推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
23. 23 (MVFΫϩʔϥͷ࡞੒ • 4͔Βදߏ଄Λղੳ͢Δ(MVFΫϩʔϥΛ ࡞੒͠·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析＆推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
24. 24 (MVFΫϩʔϥͷ࣮ߦ • (MVFΫϩʔϥΛ࣮ߦͯ͠ɺ(MVFσʔλ ΧλϩάΛొ࿥͠·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析＆推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
25. 25 "UIFOBΛ࢖ͬͯΈΔ • ߏஙͨ͠؀ڥΛར༻ͯ͠ɺ"UIFOBͰ42-Λ ࣮ߦͯ͠Έ·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析＆推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
26. 26 ·ͱΊ "UIFOBͷΠϝʔδ Θ͖·ͨ͠ʁ
27. 27 ͦ΋ͦ΋͜ͷσʔλ3%4ʹೖΕΔඞཁ͋Δʁ • "UIFOBͰ42-෼ੳͰ͖Δ͜ͱ͕Θ͔Ε͹ɺ ෼ੳσʔλΛ௚઀4ʹอଘ͢Δબ୒΋͋Γɻ S3 Aurora&RDS Snapshot Athena SQLクエリ アプリケーション データ保存 データ保存
28. 28 ·ͱΊ • "UIFOBͰ4ʹ42-ΫΤϦͰσʔλ෼ੳ • ຊ൪ͱ෼཭ͨ͠αʔόϨεͳσʔλ෼ੳ؀ڥ • 3%4ͷόοΫΞοϓ͔Β؆୯ʹߏஙͰ͖Δ