Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
AWS Glueを使ってRDSからS3+Athena環境を作ってみよう / Let's cre...
Search
Kitano Yuichi
June 19, 2020
Technology
9.2k
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
AWS Glueを使ってRDSからS3+Athena環境を作ってみよう / Let's create Athena from RDS using AWS Glue
Kitano Yuichi
June 19, 2020
Transcript
29 slides
"84(MVFΛͬͯ3%4͔Β 4 "UIFOBڥΛ࡞ͬͯΈΑ͏ "84ࣄۀຊ෦ ίϯαϧςΟϯά෦ ༎Ұ
2 ࣗݾհ • ༎Ұʢ,JUBOP:VJDIJʣ • Ϋϥεϝιουגࣜձࣾ • "84ࣄۀຊ෦ ίϯαϧςΟϯά෦
• "1/"845PQ&OHJOFFST • ͖ͳ"84αʔϏε • "84$-* • $PHOJUP
3 3%4ɺͬͯ·͔͢ʁ
4 "84ͷ3%#αʔϏε • "VSPSBΫϥυ͚ʹߏங͞Εͨ3%# • 3%4Ϛωʔδυܕ3%#αʔϏε Aurora RDS
5 3%#ͷσʔλੳ͕͍ͨ͠ • ຊ൪ڥʹӨڹ͕͋Γͦ͏ʜ • ৽͍͠3%4Λ͏Ұཱͭͯͯσʔλ෮ݩʁ • ͦΜͳʹΘͳ͍ͷʹ͍ͬͨͳ͍ͷͰʁ Aurora RDS
SQLで本番データの 分析がしたい
6 ͦΜͳͱ͖ʹ"UIFOBΛਪ͍ͨ͠ • 4ͷσʔλΛ42-ΫΤϦͰੳͰ͖Δ • αʔόϨεͳͷͰΠϯϑϥͷཧෆཁ • ࣮ߦͨ͠ΫΤϦʹରͯ͠ͷΈྉ͕͔͔ۚΔ Athena S3
標準SQLでクエリ
7 ࠓճͷత 3%4͔Β"UIFOBڥ ؆୯ʹߏஙͰ͖Δʂ ʜͱ͍͏͜ͱΛͬͯΒ͏
8 "UIFOBͷը໘ %#ɾදߏ (MVFσʔλΧλϩά 42-ΫΤϦ ΫΤϦ݁Ռ
9 (MVFσʔλΧλϩά ͬͯԿʁ
10 "UIFOB4ʹΫΤϦ͢ΔαʔϏε͕ͩʜ • 4୯ͳΔσʔλอଘઌͰ͋Δ • ςʔϒϧ໊ʁ • ΧϥϜ໊ʁ • σʔλܕʁ
Athena S3 標準SQLでクエリ ・データのみ
11 (MVFσʔλΧλϩάͱʁ • ςʔϒϧߏ ϝλσʔλ Λఆٛ͢ΔαʔϏε • ςʔϒϧʹ͖ͭ̍ͭ࡞ Athena S3
標準SQLでクエリ Glue データカタログ ・データのみ ・テーブル名 ・カラム名 ・データ型 等 表構造としてデータ カタログを参照
12 (MVFσʔλΧλϩάͬͯͲ͏ͬͯ࡞Δʁ • (MVFΫϩʔϥΛར༻ͯࣗ͠ಈੜ • (MVFσʔλΧλϩάΛखͰ࡞ "UIFOBͷςʔϒϧ࡞Οβʔυ • )JWF%%-Λར༻ $3&"5&&95&3/"-5"#-&
13 (MVFΫϩʔϥ ͬͯԿʁ
14 (MVFΫϩʔϥͱʁ • σʔλετΞ 4 ͷσʔλߏΛਪଌͯ͠ɺ σʔλΧλϩάʹ දߏΛొ͢ΔαʔϏε S3 Glue
データカタログ ・データのみ ・テーブル名 ・カラム名 ・データ型 等 データ構造の 解析&推測 Glue クローラ 表構造の登録
15 3%4εφοϓγϣοτ͔Β4FYQPSU • 3%4ͷεφοϓγϣοτ͔Β1BSRVFUܗࣜͰ 4FYQPSUͰ͖·͢ ,.4Ͱ҉߸Խ͞Ε·͢ S3 RDSのスナップショット作成 Aurora RDS
Snapshot Parquet形式でexport KMS 暗号化キーを参照
16 (MVFΫϩʔϥͰ҉߸Խ͞Εͨσʔλͷಡࠐ • ,.4Ͱ҉߸Խ͞ΕͨσʔλΛಡΈࠐΉͨΊʹɺ LNT%FDSZQUݖݶΛ༩͠·͢ S3 暗号化された S3データの読込 Glue クローラ
KMS KMSで 暗号化 されている KMSで復号
17 શମߏ • શମతͳߏ͜Μͳײ͡ʹͳΓ·͢ɻ S3 Aurora&RDS Snapshot Glue クローラ Glue
データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
18 ࣮ࡍʹ࡞ͬͯΈ·͢ʂ
19 લఏ݅ • ςʔϒϧఆٛ͞Εͨ3%4ͱͦͷ4OBQTIPUɺ ࠷ॳ͔Β͋Δͷͱ͠·͢ɻ S3 Aurora&RDS Snapshot Glue クローラ
Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
20 ,.4ͷ࡞ • ·ͣ҉߸ԽͷΩʔͱͳΔ,.4Λ࡞͠·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue
データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
21 4#VDLFUͷ࡞ • 4OBQTIPUͷFYQPSUઌͱ͢Δ 4Λ࡞͠·͢ S3 Aurora&RDS Snapshot Glue クローラ
Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
22 4OBQTIPUΛ4FYQPSU • 3%4ͷ4OBQTIPUΛ4FYQPSU͠·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue
データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
23 (MVFΫϩʔϥͷ࡞ • 4͔ΒදߏΛղੳ͢Δ(MVFΫϩʔϥΛ ࡞͠·͢ S3 Aurora&RDS Snapshot Glue クローラ
Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
24 (MVFΫϩʔϥͷ࣮ߦ • (MVFΫϩʔϥΛ࣮ߦͯ͠ɺ(MVFσʔλ ΧλϩάΛొ͠·͢ S3 Aurora&RDS Snapshot Glue クローラ
Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
25 "UIFOBΛͬͯΈΔ • ߏஙͨ͠ڥΛར༻ͯ͠ɺ"UIFOBͰ42-Λ ࣮ߦͯ͠Έ·͢ S3 Aurora&RDS Snapshot Glue クローラ
Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
26 ·ͱΊ "UIFOBͷΠϝʔδ Θ͖·ͨ͠ʁ
27 ͦͦ͜ͷσʔλ3%4ʹೖΕΔඞཁ͋Δʁ • "UIFOBͰ42-ੳͰ͖Δ͜ͱ͕Θ͔Εɺ ੳσʔλΛ4ʹอଘ͢Δબ͋Γɻ S3 Aurora&RDS Snapshot Athena SQLクエリ
アプリケーション データ保存 データ保存
28 ·ͱΊ • "UIFOBͰ4ʹ42-ΫΤϦͰσʔλੳ • ຊ൪ͱͨ͠αʔόϨεͳσʔλੳڥ • 3%4ͷόοΫΞοϓ͔Β؆୯ʹߏஙͰ͖Δ
None
More Decks by Kitano Yuichi
See All by Kitano Yuichi
Python Lambdaにおけるテストしやすい設計とAI支援の活用 / Designing Testable Python Lambda Functions with AI
kitano_yuichi
1
350
Webアプリ認証の全体像 / The Big Picture of Web App Authentication
kitano_yuichi
1
1.1k
CognitoでWebアプリケーション(not SPA)に ログインさせたい時、何を作らなくてはならないのか? / What do I create when I want to log in to a web application with Amazon Cognito?
kitano_yuichi
1
4k
SPAとWebアプリケーションでCognitoの使い方はどう変わるのか? / How do we use cognito with SPA and web applications?
kitano_yuichi
0
7.2k
オンプレとVPCをつなぐ環境のUpdate/re:Cap connecting on-premises and vpc
kitano_yuichi
0
1.7k
Other Decks in Technology
See All in Technology
PHPで家庭用ゲーム機の専用コントローラーをMIDIデバイスとして扱ってみる
wind111
0
190
Kansai WordPress Meetup@大阪『ブロックテーマを作る上で知っておくべきこと
torounit
0
260
メルカリの小規模チーム「Pod」で、 エンジニアがデータアナリストなしで、 AIを使ってデータ分析の自走を目指す取り組み
jackojacko_
0
330
現地速報! Microsoft Ignite アップデートレポート
kasada
1
420
Taking back control of your AI development
inesmontani
PRO
0
310
Terraform 0 to 100:100個以上のリポジトリを常に最新にし続けるための自動化
sue445
3
1.3k
パスワードのない鍵で、 データを手元に置く
ginjihayashi
0
390
ノードが消える前提で設計する!Karpenterで金融システムを止めないためのノウハウ大全
daitak
1
200
Agent Routerで作るマルチテナント 推論基盤 #CNDW2026 / Building Multi-Tenant Inference Platform with Agent Router #CNDW2026
everpeace
5
580
クラウドでも使えるNetApp -現場目線での設計とクラウドバックアップの活用
ryutakondo
1
280
農家は秘伝のタレを知らない - NOBODY KNOWS THE HIDDEN SOURCE - Kaggriculture 3rd Place Solution
masspeaks
3
670
さようならSSH鍵、こんにちはゼロトラスト ― AIフレンドリーで快適な自宅鯖SSH
atalie2m
14
7.3k
Featured
See All Featured
Navigating Algorithm Shifts & AI Overviews - #SMXNext
aleyda
1
1.7k
Collaborative Software Design: How to facilitate domain modelling decisions
baasie
1
390
Thoughts on Productivity
jonyablonski
76
5.5k
B2B Lead Gen: Tactics, Traps & Triumph
marketingsoph
1
310
From Legacy to Launchpad: Building Startup-Ready Communities
dugsong
0
380
A Tale of Four Properties
chriscoyier
163
24k
The SEO identity crisis: Don't let AI make you average
varn
0
630
[SF Ruby Conf 2025] Rails X
palkan
3
1.5k
A Soul's Torment
seathinner
9
3.9k
Lightning Talk: Beautiful Slides for Beginners
inesmontani
PRO
2
850
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
38
3.1k
Accessibility Awareness
sabderemane
1
310