Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Athenaのコスト節約を考える
Search
Junki Ishigaki
September 27, 2024
0
21
Athenaのコスト節約を考える
Junki Ishigaki
September 27, 2024
Tweet
Share
More Decks by Junki Ishigaki
See All by Junki Ishigaki
impressions-trying-lambda-web-adapter
junkishigaki
2
210
talk_about_wasmwasi
junkishigaki
0
190
CloudWatch Logs Insightsをめぐるあれこれ
junkishigaki
0
130
Featured
See All Featured
Site-Speed That Sticks
csswizardry
10
720
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Code Reviewing Like a Champion
maltzj
524
40k
Adopting Sorbet at Scale
ufuk
77
9.5k
Thoughts on Productivity
jonyablonski
69
4.7k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
The Invisible Side of Design
smashingmag
301
51k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.2k
How to train your dragon (web standard)
notwaldorf
96
6.1k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
Navigating Team Friction
lara
187
15k
Transcript
# Athenaのコスト節約を考える Junki Ishigaki September 19, 2024
自己紹介 石垣潤樹 / Junki Ishigaki - 所属 → 株式会社シーズ -
やっていること → インフラエンジニア - やっていること → AWSとかさわってます - 好きなAWSサービス → Athena - 最近 → Amplify Gen2楽しい - 好き → ラーメン, 担々麺 2
目次 - 今日のアプローチ - まとめ - Athenaの料金体系 - Athenaのパーティション化 -
パーティション射影の話 3
今日のアプローチ 4 5分LT →短い(自分でショート枠に申し込んでおいてあれですが...) →サービスをしぼりつつ、けど他にも応用できそうなヒントを 5分LT →短い →キーワードだけ拾ってもらえれば(勉強会は自分の中にイン デックスを作る場)
今日のまとめ 5 ・コスト節約考える時に、料金体系理解すること大事 ↓ ・その上で、削れるところを削る。抑えれるところを抑える。
Athenaとは 6 →ざっくりいうと、S3のファイルにクエリ投げれます https://docs.aws.amazon.com/ja_jp/athena/latest/ug/what-is.html
Athenaの料金体系 7 https://aws.amazon.com/jp/athena/pricing/
パーティション化 8 ・コストがデータ量依存 ↓ ・スキャン対象をしぼる このノウハウはCloudWatch Logsとかにも使えますね Partition ↑ Part(分ける,部分)
+ -ion(名詞化の接尾語)
パーティション化のイメージ 9 toarusystem-hogehoge-bucket/ 2024-01-01.log 2024-01-02.log toarusystem-hogehoge-bucket/ 2024/1/1/ xx.log 2024/1/2/ xx.log
分析対象が巨大であればあるほど効いてきます。
パーティション射影 10 ・分けてとは言うものの... 例えば2024/1/1で分けて、2024/1/2で分けて... 増えたら増えた分だけパーティション作成し直して... ↓ちょっとやってられない パーティション射影 ざっくりいうとパターンがあれば自動でパーティショニング可能です。
パーティション射影のイメージ 11 toarusystem-hogehoge-bucket/ 2024/1/1/ xx.log 2024/1/2/ xx.log 2024/1/3/ xx.log 2024/9/19/
xx.log }「ここのデータは日付で分 かれているデータですよ」 という事前定義 増えた分もパーティションは分かれている 状態なので、そのままこれをロードして使 える。
まとめ 〜これだけ覚えて帰る 12 AthenaはS3にクエリ投げれるサービス とにかくパーティショニング! パーティション射影もあるよ!
感想 13 今回改めてAthenaのドキュメント読み直しましたが、全部書 いてありました。 AWSさんありがとうございます。
ありがとうございました