Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWS Glueを使ってRDSからS3+Athena環境を作ってみよう / Let's cre...
Search
Kitano Yuichi
June 19, 2020
Technology
1
8.7k
AWS Glueを使ってRDSからS3+Athena環境を作ってみよう / Let's create Athena from RDS using AWS Glue
Kitano Yuichi
June 19, 2020
Tweet
Share
More Decks by Kitano Yuichi
See All by Kitano Yuichi
CognitoでWebアプリケーション(not SPA)に ログインさせたい時、何を作らなくてはならないのか? / What do I create when I want to log in to a web application with Amazon Cognito?
kitano_yuichi
1
3.4k
SPAとWebアプリケーションでCognitoの使い方はどう変わるのか? / How do we use cognito with SPA and web applications?
kitano_yuichi
0
6.5k
オンプレとVPCをつなぐ環境のUpdate/re:Cap connecting on-premises and vpc
kitano_yuichi
0
1.5k
Other Decks in Technology
See All in Technology
AIの全社活用を推進するための安全なレールを敷いた話
shoheimitani
2
390
生成AI開発案件におけるClineの業務活用事例とTips
shinya337
0
240
なぜ私はいま、ここにいるのか? #もがく中堅デザイナー #プロダクトデザイナー
bengo4com
0
1.3k
Lufthansa ®️ USA Contact Numbers: Complete 2025 Support Guide
lufthanahelpsupport
0
130
赤煉瓦倉庫勉強会「Databricksを選んだ理由と、絶賛真っ只中のデータ基盤移行体験記」
ivry_presentationmaterials
2
310
MobileActOsaka_250704.pdf
akaitadaaki
0
110
ネットワーク保護はどう変わるのか?re:Inforce 2025最新アップデート解説
tokushun
0
180
KubeCon + CloudNativeCon Japan 2025 に行ってきた! & containerd の新機能紹介
honahuku
0
120
Should Our Project Join the CNCF? (Japanese Recap)
whywaita
PRO
0
330
Understanding_Thread_Tuning_for_Inference_Servers_of_Deep_Models.pdf
lycorptech_jp
PRO
0
170
SmartNewsにおける 1000+ノード規模 K8s基盤 でのコスト最適化 – Spot・Gravitonの大規模導入への挑戦
vsanna2
0
120
「クラウドコスト絶対削減」を支える技術—FinOpsを超えた徹底的なクラウドコスト削減の実践論
delta_tech
4
140
Featured
See All Featured
Automating Front-end Workflow
addyosmani
1370
200k
How to Ace a Technical Interview
jacobian
277
23k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
680
Git: the NoSQL Database
bkeepers
PRO
430
65k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
GitHub's CSS Performance
jonrohan
1031
460k
Done Done
chrislema
184
16k
The Language of Interfaces
destraynor
158
25k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.6k
A Modern Web Designer's Workflow
chriscoyier
694
190k
Building Adaptive Systems
keathley
43
2.7k
Transcript
"84(MVFΛͬͯ3%4͔Β 4 "UIFOBڥΛ࡞ͬͯΈΑ͏ "84ࣄۀຊ෦ ίϯαϧςΟϯά෦ ༎Ұ
2 ࣗݾհ • ༎Ұʢ,JUBOP:VJDIJʣ • Ϋϥεϝιουגࣜձࣾ • "84ࣄۀຊ෦ ίϯαϧςΟϯά෦
• "1/"845PQ&OHJOFFST • ͖ͳ"84αʔϏε • "84$-* • $PHOJUP
3 3%4ɺͬͯ·͔͢ʁ
4 "84ͷ3%#αʔϏε • "VSPSBΫϥυ͚ʹߏங͞Εͨ3%# • 3%4Ϛωʔδυܕ3%#αʔϏε Aurora RDS
5 3%#ͷσʔλੳ͕͍ͨ͠ • ຊ൪ڥʹӨڹ͕͋Γͦ͏ʜ • ৽͍͠3%4Λ͏Ұཱͭͯͯσʔλ෮ݩʁ • ͦΜͳʹΘͳ͍ͷʹ͍ͬͨͳ͍ͷͰʁ Aurora RDS
SQLで本番データの 分析がしたい
6 ͦΜͳͱ͖ʹ"UIFOBΛਪ͍ͨ͠ • 4ͷσʔλΛ42-ΫΤϦͰੳͰ͖Δ • αʔόϨεͳͷͰΠϯϑϥͷཧෆཁ • ࣮ߦͨ͠ΫΤϦʹରͯ͠ͷΈྉ͕͔͔ۚΔ Athena S3
標準SQLでクエリ
7 ࠓճͷత 3%4͔Β"UIFOBڥ ؆୯ʹߏஙͰ͖Δʂ ʜͱ͍͏͜ͱΛͬͯΒ͏
8 "UIFOBͷը໘ %#ɾදߏ (MVFσʔλΧλϩά 42-ΫΤϦ ΫΤϦ݁Ռ
9 (MVFσʔλΧλϩά ͬͯԿʁ
10 "UIFOB4ʹΫΤϦ͢ΔαʔϏε͕ͩʜ • 4୯ͳΔσʔλอଘઌͰ͋Δ • ςʔϒϧ໊ʁ • ΧϥϜ໊ʁ • σʔλܕʁ
Athena S3 標準SQLでクエリ ・データのみ
11 (MVFσʔλΧλϩάͱʁ • ςʔϒϧߏ ϝλσʔλ Λఆٛ͢ΔαʔϏε • ςʔϒϧʹ͖ͭ̍ͭ࡞ Athena S3
標準SQLでクエリ Glue データカタログ ・データのみ ・テーブル名 ・カラム名 ・データ型 等 表構造としてデータ カタログを参照
12 (MVFσʔλΧλϩάͬͯͲ͏ͬͯ࡞Δʁ • (MVFΫϩʔϥΛར༻ͯࣗ͠ಈੜ • (MVFσʔλΧλϩάΛखͰ࡞ "UIFOBͷςʔϒϧ࡞Οβʔυ • )JWF%%-Λར༻ $3&"5&&95&3/"-5"#-&
13 (MVFΫϩʔϥ ͬͯԿʁ
14 (MVFΫϩʔϥͱʁ • σʔλετΞ 4 ͷσʔλߏΛਪଌͯ͠ɺ σʔλΧλϩάʹ දߏΛొ͢ΔαʔϏε S3 Glue
データカタログ ・データのみ ・テーブル名 ・カラム名 ・データ型 等 データ構造の 解析&推測 Glue クローラ 表構造の登録
15 3%4εφοϓγϣοτ͔Β4FYQPSU • 3%4ͷεφοϓγϣοτ͔Β1BSRVFUܗࣜͰ 4FYQPSUͰ͖·͢ ,.4Ͱ҉߸Խ͞Ε·͢ S3 RDSのスナップショット作成 Aurora RDS
Snapshot Parquet形式でexport KMS 暗号化キーを参照
16 (MVFΫϩʔϥͰ҉߸Խ͞Εͨσʔλͷಡࠐ • ,.4Ͱ҉߸Խ͞ΕͨσʔλΛಡΈࠐΉͨΊʹɺ LNT%FDSZQUݖݶΛ༩͠·͢ S3 暗号化された S3データの読込 Glue クローラ
KMS KMSで 暗号化 されている KMSで復号
17 શମߏ • શମతͳߏ͜Μͳײ͡ʹͳΓ·͢ɻ S3 Aurora&RDS Snapshot Glue クローラ Glue
データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
18 ࣮ࡍʹ࡞ͬͯΈ·͢ʂ
19 લఏ݅ • ςʔϒϧఆٛ͞Εͨ3%4ͱͦͷ4OBQTIPUɺ ࠷ॳ͔Β͋Δͷͱ͠·͢ɻ S3 Aurora&RDS Snapshot Glue クローラ
Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
20 ,.4ͷ࡞ • ·ͣ҉߸ԽͷΩʔͱͳΔ,.4Λ࡞͠·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue
データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
21 4#VDLFUͷ࡞ • 4OBQTIPUͷFYQPSUઌͱ͢Δ 4Λ࡞͠·͢ S3 Aurora&RDS Snapshot Glue クローラ
Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
22 4OBQTIPUΛ4FYQPSU • 3%4ͷ4OBQTIPUΛ4FYQPSU͠·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue
データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
23 (MVFΫϩʔϥͷ࡞ • 4͔ΒදߏΛղੳ͢Δ(MVFΫϩʔϥΛ ࡞͠·͢ S3 Aurora&RDS Snapshot Glue クローラ
Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
24 (MVFΫϩʔϥͷ࣮ߦ • (MVFΫϩʔϥΛ࣮ߦͯ͠ɺ(MVFσʔλ ΧλϩάΛొ͠·͢ S3 Aurora&RDS Snapshot Glue クローラ
Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
25 "UIFOBΛͬͯΈΔ • ߏஙͨ͠ڥΛར༻ͯ͠ɺ"UIFOBͰ42-Λ ࣮ߦͯ͠Έ·͢ S3 Aurora&RDS Snapshot Glue クローラ
Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
26 ·ͱΊ "UIFOBͷΠϝʔδ Θ͖·ͨ͠ʁ
27 ͦͦ͜ͷσʔλ3%4ʹೖΕΔඞཁ͋Δʁ • "UIFOBͰ42-ੳͰ͖Δ͜ͱ͕Θ͔Εɺ ੳσʔλΛ4ʹอଘ͢Δબ͋Γɻ S3 Aurora&RDS Snapshot Athena SQLクエリ
アプリケーション データ保存 データ保存
28 ·ͱΊ • "UIFOBͰ4ʹ42-ΫΤϦͰσʔλੳ • ຊ൪ͱͨ͠αʔόϨεͳσʔλੳڥ • 3%4ͷόοΫΞοϓ͔Β؆୯ʹߏஙͰ͖Δ
None