AWS Glueを使ってRDSからS3+Athena環境を作ってみよう / Let's create Athena from RDS using AWS Glue

Slide 1

Slide 1 text

"84(MVFΛ࢖ͬͯ3%4͔Β 4"UIFOB؀ڥΛ࡞ͬͯΈΑ͏ "84ࣄۀຊ෦ ίϯαϧςΟϯά෦ ๺໺༎Ұ

Slide 2

Slide 2 text

2 ࣗݾ঺հ • ๺໺ ༎Ұʢ,JUBOP:VJDIJʣ • Ϋϥεϝιουגࣜձࣾ • "84ࣄۀຊ෦ ίϯαϧςΟϯά෦ • "1/"845PQ&OHJOFFST • ޷͖ͳ"84αʔϏε • "84$-* • $PHOJUP

Slide 3

Slide 3 text

3 3%4ɺ࢖ͬͯ·͔͢ʁ

Slide 4

Slide 4 text

4 "84ͷ3%#αʔϏε • "VSPSBΫϥ΢υ޲͚ʹߏங͞Εͨ3%# • 3%4Ϛωʔδυܕ3%#αʔϏε Aurora RDS

Slide 5

Slide 5 text

5 3%#ͷσʔλ෼ੳ͕͍ͨ͠ • ຊ൪؀ڥʹӨڹ͕͋Γͦ͏ʜ • ৽͍͠3%4Λ΋͏Ұཱͭͯͯσʔλ෮ݩʁ • ͦΜͳʹ࢖Θͳ͍ͷʹ΋͍ͬͨͳ͍ͷͰ͸ʁ Aurora RDS SQLで本番データの分析がしたい

Slide 6

Slide 6 text

6 ͦΜͳͱ͖ʹ"UIFOBΛਪ͍ͨ͠ • 4ͷσʔλΛ42-ΫΤϦͰ෼ੳͰ͖Δ • αʔόϨεͳͷͰΠϯϑϥͷ؅ཧ͸ෆཁ • ࣮ߦͨ͠ΫΤϦʹରͯ͠ͷΈྉ͕͔͔ۚΔ Athena S3 標準SQLでクエリ

Slide 7

Slide 7 text

7 ࠓճͷ໨త 3%4͔Β"UIFOB؀ڥ͸ ؆୯ʹߏஙͰ͖Δʂ ʜͱ͍͏͜ͱΛ஌ͬͯ΋Β͏

Slide 8

Slide 8 text

8 "UIFOBͷը໘ %#ɾදߏ଄ (MVFσʔλΧλϩά 42-ΫΤϦ ΫΤϦ݁Ռ

Slide 9

Slide 9 text

9 (MVFσʔλΧλϩά ͬͯԿʁ

Slide 10

Slide 10 text

10 "UIFOB͸4ʹΫΤϦ͢ΔαʔϏε͕ͩʜ • 4͸୯ͳΔσʔλอଘઌͰ͋Δ • ςʔϒϧ໊͸ʁ • ΧϥϜ໊͸ʁ • σʔλܕ͸ʁ Athena S3 標準SQLでクエリ・データのみ

Slide 11

Slide 11 text

11 (MVFσʔλΧλϩάͱ͸ʁ • ςʔϒϧߏ଄ ϝλσʔλ Λఆٛ͢ΔαʔϏε • ςʔϒϧʹ͖ͭ̍ͭ࡞੒ Athena S3 標準SQLでクエリ Glue データカタログ・データのみ・テーブル名・カラム名・データ型等表構造としてデータカタログを参照

Slide 12

Slide 12 text

12 (MVFσʔλΧλϩάͬͯͲ͏΍ͬͯ࡞Δʁ • (MVFΫϩʔϥΛར༻ͯࣗ͠ಈੜ੒ • (MVFσʔλΧλϩάΛखͰ࡞੒ "UIFOBͷςʔϒϧ࡞੒΢Οβʔυ • )JWF%%-Λར༻ $3&"5&&95&3/"-5"#-&

Slide 13

Slide 13 text

13 (MVFΫϩʔϥ ͬͯԿʁ

Slide 14

Slide 14 text

14 (MVFΫϩʔϥͱ͸ʁ • σʔλετΞ 4౳ ͷσʔλߏ଄Λਪଌͯ͠ɺ σʔλΧλϩάʹ දߏ଄Λొ࿥͢ΔαʔϏε S3 Glue データカタログ・データのみ・テーブル名・カラム名・データ型等データ構造の解析＆推測 Glue クローラ表構造の登録

Slide 15

Slide 15 text

15 3%4εφοϓγϣοτ͔Β4΁FYQPSU • 3%4ͷεφοϓγϣοτ͔Β1BSRVFUܗࣜͰ 4΁FYQPSUͰ͖·͢ ,.4Ͱ҉߸Խ͞Ε·͢ S3 RDSのスナップショット作成 Aurora RDS Snapshot Parquet形式でexport KMS 暗号化キーを参照

Slide 16

Slide 16 text

16 (MVFΫϩʔϥͰ҉߸Խ͞Εͨσʔλͷಡࠐ • ,.4Ͱ҉߸Խ͞ΕͨσʔλΛಡΈࠐΉͨΊʹɺ LNT%FDSZQUݖݶΛ෇༩͠·͢ S3 暗号化された S3データの読込 Glue クローラ KMS KMSで暗号化されている KMSで復号

Slide 17

Slide 17 text

17 શମߏ੒ • શମతͳߏ੒͸͜Μͳײ͡ʹͳΓ·͢ɻ S3 Aurora&RDS Snapshot Glue クローラ Glue データカタログ Athena ①snapshot作成 ②parquet形式でexport ③データ構造の解析＆推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号暗号

Slide 18

Slide 18 text

18 ࣮ࡍʹ࡞ͬͯΈ·͢ʂ

Slide 19

Slide 19 text

19 લఏ৚݅ • ςʔϒϧఆٛ͞Εͨ3%4ͱͦͷ4OBQTIPU͸ɺ ࠷ॳ͔Β͋Δ΋ͷͱ͠·͢ɻ S3 Aurora&RDS Snapshot Glue クローラ Glue データカタログ Athena ①snapshot作成 ②parquet形式でexport ③データ構造の解析＆推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号暗号

Slide 20

Slide 20 text

20 ,.4ͷ࡞੒ • ·ͣ͸҉߸ԽͷΩʔͱͳΔ,.4Λ࡞੒͠·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue データカタログ Athena ①snapshot作成 ②parquet形式でexport ③データ構造の解析＆推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号暗号

Slide 21

Slide 21 text

21 4#VDLFUͷ࡞੒ • 4OBQTIPUͷFYQPSUઌͱ͢Δ 4Λ࡞੒͠·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue データカタログ Athena ①snapshot作成 ②parquet形式でexport ③データ構造の解析＆推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号暗号

Slide 22

Slide 22 text

22 4OBQTIPUΛ4΁FYQPSU • 3%4ͷ4OBQTIPUΛ4΁FYQPSU͠·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue データカタログ Athena ①snapshot作成 ②parquet形式でexport ③データ構造の解析＆推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号暗号

Slide 23

Slide 23 text

23 (MVFΫϩʔϥͷ࡞੒ • 4͔Βදߏ଄Λղੳ͢Δ(MVFΫϩʔϥΛ ࡞੒͠·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue データカタログ Athena ①snapshot作成 ②parquet形式でexport ③データ構造の解析＆推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号暗号

Slide 24

Slide 24 text

24 (MVFΫϩʔϥͷ࣮ߦ • (MVFΫϩʔϥΛ࣮ߦͯ͠ɺ(MVFσʔλ ΧλϩάΛొ࿥͠·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue データカタログ Athena ①snapshot作成 ②parquet形式でexport ③データ構造の解析＆推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号暗号

Slide 25

Slide 25 text

25 "UIFOBΛ࢖ͬͯΈΔ • ߏஙͨ͠؀ڥΛར༻ͯ͠ɺ"UIFOBͰ42-Λ ࣮ߦͯ͠Έ·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue データカタログ Athena ①snapshot作成 ②parquet形式でexport ③データ構造の解析＆推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号暗号

Slide 26

Slide 26 text

26 ·ͱΊ "UIFOBͷΠϝʔδ Θ͖·ͨ͠ʁ

Slide 27

Slide 27 text

27 ͦ΋ͦ΋͜ͷσʔλ3%4ʹೖΕΔඞཁ͋Δʁ • "UIFOBͰ42-෼ੳͰ͖Δ͜ͱ͕Θ͔Ε͹ɺ ෼ੳσʔλΛ௚઀4ʹอଘ͢Δબ୒΋͋Γɻ S3 Aurora&RDS Snapshot Athena SQLクエリアプリケーションデータ保存データ保存

Slide 28

Slide 28 text

28 ·ͱΊ • "UIFOBͰ4ʹ42-ΫΤϦͰσʔλ෼ੳ • ຊ൪ͱ෼཭ͨ͠αʔόϨεͳσʔλ෼ੳ؀ڥ • 3%4ͷόοΫΞοϓ͔Β؆୯ʹߏஙͰ͖Δ

Slide 29

Slide 29 text

No content