Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
JAWS-UG 朝会 #43 登壇資料
Search
takakuni
March 15, 2023
Technology
0
1.2k
JAWS-UG 朝会 #43 登壇資料
takakuni
March 15, 2023
Tweet
Share
More Decks by takakuni
See All by takakuni
About Extended Threat Detection in Amazon GuardDuty
takakuni
0
120
SageMaker Hyperpod 101 #regrowth_sapporo
takakuni
0
170
What is Amazon Bedrock knowledge base with an Amazon Kendra GenAI index?
takakuni
0
220
New Security Challenges and Countermeasures Brought by Generative AI in Classmethod Cloud Security Fes
takakuni
0
200
サンプルサンプル株式会社 会社説明資料
takakuni
0
1.7k
re:Inforce 2024 コンテナセキュリティアップデートまとめ
takakuni
0
390
AWS re:Inforce 2024 個人的推しアップデート総まとめ(仮)
takakuni
0
1.2k
Backlog Git を AWS に繋ぎ コンテナイメージをビルドしてみた
takakuni
0
170
巷で話題の SOCI についてのお話
takakuni
0
220
Other Decks in Technology
See All in Technology
生成AIのガバナンスの全体像と現実解
fnifni
1
180
LINE Developersプロダクト(LIFF/LINE Login)におけるフロントエンド開発
lycorptech_jp
PRO
0
120
NilAway による静的解析で「10 億ドル」を節約する #kyotogo / Kyoto Go 56th
ytaka23
3
380
小学3年生夏休みの自由研究「夏休みに Copilot で遊んでみた」
taichinakamura
0
150
KubeCon NA 2024 Recap / Running WebAssembly (Wasm) Workloads Side-by-Side with Container Workloads
z63d
1
240
フロントエンド設計にモブ設計を導入してみた / 20241212_cloudsign_TechFrontMeetup
bengo4com
0
1.9k
祝!Iceberg祭開幕!re:Invent 2024データレイク関連アップデート10分総ざらい
kniino
2
260
GitHub Copilot のテクニック集/GitHub Copilot Techniques
rayuron
27
12k
成果を出しながら成長する、アウトプット駆動のキャッチアップ術 / Output-driven catch-up techniques to grow while producing results
aiandrox
0
280
株式会社ログラス − エンジニア向け会社説明資料 / Loglass Comapany Deck for Engineer
loglass2019
3
32k
re:Invent をおうちで楽しんでみた ~CloudWatch のオブザーバビリティ機能がスゴい!/ Enjoyed AWS re:Invent from Home and CloudWatch Observability Feature is Amazing!
yuj1osm
0
120
ずっと昔に Star をつけたはずの思い出せない GitHub リポジトリを見つけたい!
rokuosan
0
150
Featured
See All Featured
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
The Invisible Side of Design
smashingmag
298
50k
Why You Should Never Use an ORM
jnunemaker
PRO
54
9.1k
Large-scale JavaScript Application Architecture
addyosmani
510
110k
Code Reviewing Like a Champion
maltzj
520
39k
Optimising Largest Contentful Paint
csswizardry
33
3k
Fashionably flexible responsive web design (full day workshop)
malarkey
405
66k
RailsConf 2023
tenderlove
29
940
YesSQL, Process and Tooling at Scale
rocio
169
14k
Faster Mobile Websites
deanohume
305
30k
GraphQLとの向き合い方2022年版
quramy
44
13k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
0
97
Transcript
クイズ!Athenaのクエリ結果はどこでしょう? JAWS-UG朝会 #43 2023.03.15 たかくに 1
2 自己紹介 たかくに • 会社:クラスメソッド株式会社 • 部署:AWS 事業本部 コンサルティング部 •
ロール:ソリューションアーキテクト • 好きな AWS サービス:Amazon VPC • Twitter:@takakuni_
3 突然ですが... 普段、Amazon Athena 使ってますか?
• 標準 SQL を使用して分析するサービス • データソースは Amazon S3 • サーバーレス
• クエリの結果を Amazon S3 に保存する 4 Amazon Athena の概要
5 Amazon Athena の操作画面 SQLを利用したクエリ スキャンしたデータ量に課金
6 今日話すところ
7 「クエリエディタ」と「ワークグループ」
• 各 IAM ユーザーごとの環境 • 各個人でクエリの保持が可能 • クエリの実行結果もカスタマイズ可能 8 クエリエディタ
• 各 IAM ユーザーごとの環境 • 各個人でクエリの保持が可能 • クエリの実行結果もカスタマイズ可能 9 クエリエディタ
• 複数IAMユーザーで共有する環境設定 • クエリの実行結果もカスタマイズ可能 10 ワークグループ
11 今日話したかったこと クエリ結果の配信先として 「クエリエディタ」と「ワークグループ」 どちらが優先される?
12 表にすると... クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効 ?
設定無し 設定無し 有効 ? 設定無し 設定有り(バケットB) 無効 ? 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
13 問題 1
14 問題 1 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
? 設定無し 設定無し 有効 ? 設定無し 設定有り(バケットB) 無効 ? 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
15 問題 1 - 答え
クエリ実行結果の保存先を設定する必要がある 16 クエリが実行できない(ひっかけです) https://docs.aws.amazon.com/ja_jp/athena/latest/ug/querying.html#query-results-specify-location-console
17 問題 1 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 ? 設定無し 設定無し 有効 ? 設定無し 設定有り(バケットB) 無効 ? 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
18 問題 1 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 ? 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
19 問題 2
20 問題 2 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 ? 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
21 問題 2 - 答え
22 問題 2 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
23 問題 3
24 問題 3 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
25 問題 3 - 答え
26 問題 3 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
27 ちょっと豆知識 保存先で保存形式(フォルダ階層が異なる) ワークグループ クエリエディタ
28 問題 4
29 問題 4 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
30 問題 4 - 答え
31 問題 4 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 ?
32 問題 5
33 問題 5 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 ?
34 問題 5 - 答え
35 問題 5 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 バケットB 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 バケットB
36 ちょっと豆知識 上書きを有効化すると次のように表示されます
37 問題 6
38 問題 6 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 バケットB 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 バケットB
39 問題 6 - 答え
40 問題 6 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 バケットB 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 バケットA 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 バケットB
41 まとめ
• クエリを実行するには実行結果の保存先が必要 • クエリの実行結果は2つの保存先がある • クエリエディタの保存先が優先される ◦ ワークグループ側で上書きを設定すると優先度が 変わる •
保存先の指定有り/無しで設定が分かれた場合、指 定有りが優先される 42 まとめ
43
44 (参考)クエリ結果保存先まとめ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効 クエリが実行できない
設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 バケットB 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 バケットA 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 バケットB