Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWS Glueを使ってRDSからS3+Athena環境を作ってみよう / Let's create Athena from RDS using AWS Glue
Search
Kitano Yuichi
June 19, 2020
Technology
1
7.5k
AWS Glueを使ってRDSからS3+Athena環境を作ってみよう / Let's create Athena from RDS using AWS Glue
Kitano Yuichi
June 19, 2020
Tweet
Share
More Decks by Kitano Yuichi
See All by Kitano Yuichi
CognitoでWebアプリケーション(not SPA)に ログインさせたい時、何を作らなくてはならないのか? / What do I create when I want to log in to a web application with Amazon Cognito?
kitano_yuichi
1
2.1k
SPAとWebアプリケーションでCognitoの使い方はどう変わるのか? / How do we use cognito with SPA and web applications?
kitano_yuichi
0
4.8k
オンプレとVPCをつなぐ環境のUpdate/re:Cap connecting on-premises and vpc
kitano_yuichi
0
1.3k
Other Decks in Technology
See All in Technology
Challenges - Open Farming Hackdays 2024
loleg
0
570
マイクロサービス環境におけるDB戦略 in DMMプラットフォーム
pospome
11
3k
どう買う?Azure
kuniteru
1
190
オブジェクト指向CSSが叶えたかったことと、CSSのいま / The aims of Object-oriented CSS and the current state of CSS usage
shinkufencer
11
3.7k
サービス成長と共に肥大化するモノレポ、長くなるCI時間 / As services grow, monorepos get bigger and CI time gets longer
kohbis
5
2.1k
中学生でもわかる深層学習
e869120
10
2.4k
10分でわかるfreeeのQA
freee
0
260
期待しすぎずに取り組む両面 TypeScript
shozawa
4
520
OpenTelemetry実践 はじめの一歩
taxin
0
330
あらゆる商品を扱う商品データベースを再設計した話 / product db re-architecture
rince
8
3.8k
.NETの非同期戦略とUnityとの相互運用
neuecc
2
2.4k
今さら聞けない!? AWSの生成AIサービス Amazon Bedrock入門!
minorun365
PRO
11
2.6k
Featured
See All Featured
Product Roadmaps are Hard
iamctodd
43
9.6k
The Art of Programming - Codeland 2020
erikaheidi
40
12k
Robots, Beer and Maslow
schacon
PRO
154
7.9k
The Language of Interfaces
destraynor
150
23k
Ruby is Unlike a Banana
tanoku
95
10k
VelocityConf: Rendering Performance Case Studies
addyosmani
319
23k
The Brand Is Dead. Long Live the Brand.
mthomps
48
22k
The World Runs on Bad Software
bkeepers
PRO
60
6.6k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
153
14k
4 Signs Your Business is Dying
shpigford
174
21k
Why You Should Never Use an ORM
jnunemaker
PRO
50
8.6k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
1
3.3k
Transcript
"84(MVFΛͬͯ3%4͔Β 4 "UIFOBڥΛ࡞ͬͯΈΑ͏ "84ࣄۀຊ෦ ίϯαϧςΟϯά෦ ༎Ұ
2 ࣗݾհ • ༎Ұʢ,JUBOP:VJDIJʣ • Ϋϥεϝιουגࣜձࣾ • "84ࣄۀຊ෦ ίϯαϧςΟϯά෦
• "1/"845PQ&OHJOFFST • ͖ͳ"84αʔϏε • "84$-* • $PHOJUP
3 3%4ɺͬͯ·͔͢ʁ
4 "84ͷ3%#αʔϏε • "VSPSBΫϥυ͚ʹߏங͞Εͨ3%# • 3%4Ϛωʔδυܕ3%#αʔϏε Aurora RDS
5 3%#ͷσʔλੳ͕͍ͨ͠ • ຊ൪ڥʹӨڹ͕͋Γͦ͏ʜ • ৽͍͠3%4Λ͏Ұཱͭͯͯσʔλ෮ݩʁ • ͦΜͳʹΘͳ͍ͷʹ͍ͬͨͳ͍ͷͰʁ Aurora RDS
SQLで本番データの 分析がしたい
6 ͦΜͳͱ͖ʹ"UIFOBΛਪ͍ͨ͠ • 4ͷσʔλΛ42-ΫΤϦͰੳͰ͖Δ • αʔόϨεͳͷͰΠϯϑϥͷཧෆཁ • ࣮ߦͨ͠ΫΤϦʹରͯ͠ͷΈྉ͕͔͔ۚΔ Athena S3
標準SQLでクエリ
7 ࠓճͷత 3%4͔Β"UIFOBڥ ؆୯ʹߏஙͰ͖Δʂ ʜͱ͍͏͜ͱΛͬͯΒ͏
8 "UIFOBͷը໘ %#ɾදߏ (MVFσʔλΧλϩά 42-ΫΤϦ ΫΤϦ݁Ռ
9 (MVFσʔλΧλϩά ͬͯԿʁ
10 "UIFOB4ʹΫΤϦ͢ΔαʔϏε͕ͩʜ • 4୯ͳΔσʔλอଘઌͰ͋Δ • ςʔϒϧ໊ʁ • ΧϥϜ໊ʁ • σʔλܕʁ
Athena S3 標準SQLでクエリ ・データのみ
11 (MVFσʔλΧλϩάͱʁ • ςʔϒϧߏ ϝλσʔλ Λఆٛ͢ΔαʔϏε • ςʔϒϧʹ͖ͭ̍ͭ࡞ Athena S3
標準SQLでクエリ Glue データカタログ ・データのみ ・テーブル名 ・カラム名 ・データ型 等 表構造としてデータ カタログを参照
12 (MVFσʔλΧλϩάͬͯͲ͏ͬͯ࡞Δʁ • (MVFΫϩʔϥΛར༻ͯࣗ͠ಈੜ • (MVFσʔλΧλϩάΛखͰ࡞ "UIFOBͷςʔϒϧ࡞Οβʔυ • )JWF%%-Λར༻ $3&"5&&95&3/"-5"#-&
13 (MVFΫϩʔϥ ͬͯԿʁ
14 (MVFΫϩʔϥͱʁ • σʔλετΞ 4 ͷσʔλߏΛਪଌͯ͠ɺ σʔλΧλϩάʹ දߏΛొ͢ΔαʔϏε S3 Glue
データカタログ ・データのみ ・テーブル名 ・カラム名 ・データ型 等 データ構造の 解析&推測 Glue クローラ 表構造の登録
15 3%4εφοϓγϣοτ͔Β4FYQPSU • 3%4ͷεφοϓγϣοτ͔Β1BSRVFUܗࣜͰ 4FYQPSUͰ͖·͢ ,.4Ͱ҉߸Խ͞Ε·͢ S3 RDSのスナップショット作成 Aurora RDS
Snapshot Parquet形式でexport KMS 暗号化キーを参照
16 (MVFΫϩʔϥͰ҉߸Խ͞Εͨσʔλͷಡࠐ • ,.4Ͱ҉߸Խ͞ΕͨσʔλΛಡΈࠐΉͨΊʹɺ LNT%FDSZQUݖݶΛ༩͠·͢ S3 暗号化された S3データの読込 Glue クローラ
KMS KMSで 暗号化 されている KMSで復号
17 શମߏ • શମతͳߏ͜Μͳײ͡ʹͳΓ·͢ɻ S3 Aurora&RDS Snapshot Glue クローラ Glue
データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
18 ࣮ࡍʹ࡞ͬͯΈ·͢ʂ
19 લఏ݅ • ςʔϒϧఆٛ͞Εͨ3%4ͱͦͷ4OBQTIPUɺ ࠷ॳ͔Β͋Δͷͱ͠·͢ɻ S3 Aurora&RDS Snapshot Glue クローラ
Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
20 ,.4ͷ࡞ • ·ͣ҉߸ԽͷΩʔͱͳΔ,.4Λ࡞͠·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue
データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
21 4#VDLFUͷ࡞ • 4OBQTIPUͷFYQPSUઌͱ͢Δ 4Λ࡞͠·͢ S3 Aurora&RDS Snapshot Glue クローラ
Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
22 4OBQTIPUΛ4FYQPSU • 3%4ͷ4OBQTIPUΛ4FYQPSU͠·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue
データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
23 (MVFΫϩʔϥͷ࡞ • 4͔ΒදߏΛղੳ͢Δ(MVFΫϩʔϥΛ ࡞͠·͢ S3 Aurora&RDS Snapshot Glue クローラ
Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
24 (MVFΫϩʔϥͷ࣮ߦ • (MVFΫϩʔϥΛ࣮ߦͯ͠ɺ(MVFσʔλ ΧλϩάΛొ͠·͢ S3 Aurora&RDS Snapshot Glue クローラ
Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
25 "UIFOBΛͬͯΈΔ • ߏஙͨ͠ڥΛར༻ͯ͠ɺ"UIFOBͰ42-Λ ࣮ߦͯ͠Έ·͢ S3 Aurora&RDS Snapshot Glue クローラ
Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
26 ·ͱΊ "UIFOBͷΠϝʔδ Θ͖·ͨ͠ʁ
27 ͦͦ͜ͷσʔλ3%4ʹೖΕΔඞཁ͋Δʁ • "UIFOBͰ42-ੳͰ͖Δ͜ͱ͕Θ͔Εɺ ੳσʔλΛ4ʹอଘ͢Δબ͋Γɻ S3 Aurora&RDS Snapshot Athena SQLクエリ
アプリケーション データ保存 データ保存
28 ·ͱΊ • "UIFOBͰ4ʹ42-ΫΤϦͰσʔλੳ • ຊ൪ͱͨ͠αʔόϨεͳσʔλੳڥ • 3%4ͷόοΫΞοϓ͔Β؆୯ʹߏஙͰ͖Δ
None