Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
# Athenaのコスト節約を考える Junki Ishigaki September 19, 2024
Slide 2
Slide 2 text
自己紹介 石垣潤樹 / Junki Ishigaki - 所属 → 株式会社シーズ - やっていること → インフラエンジニア - やっていること → AWSとかさわってます - 好きなAWSサービス → Athena - 最近 → Amplify Gen2楽しい - 好き → ラーメン, 担々麺 2
Slide 3
Slide 3 text
目次 - 今日のアプローチ - まとめ - Athenaの料金体系 - Athenaのパーティション化 - パーティション射影の話 3
Slide 4
Slide 4 text
今日のアプローチ 4 5分LT →短い(自分でショート枠に申し込んでおいてあれですが...) →サービスをしぼりつつ、けど他にも応用できそうなヒントを 5分LT →短い →キーワードだけ拾ってもらえれば(勉強会は自分の中にイン デックスを作る場)
Slide 5
Slide 5 text
今日のまとめ 5 ・コスト節約考える時に、料金体系理解すること大事 ↓ ・その上で、削れるところを削る。抑えれるところを抑える。
Slide 6
Slide 6 text
Athenaとは 6 →ざっくりいうと、S3のファイルにクエリ投げれます https://docs.aws.amazon.com/ja_jp/athena/latest/ug/what-is.html
Slide 7
Slide 7 text
Athenaの料金体系 7 https://aws.amazon.com/jp/athena/pricing/
Slide 8
Slide 8 text
パーティション化 8 ・コストがデータ量依存 ↓ ・スキャン対象をしぼる このノウハウはCloudWatch Logsとかにも使えますね Partition ↑ Part(分ける,部分) + -ion(名詞化の接尾語)
Slide 9
Slide 9 text
パーティション化のイメージ 9 toarusystem-hogehoge-bucket/ 2024-01-01.log 2024-01-02.log toarusystem-hogehoge-bucket/ 2024/1/1/ xx.log 2024/1/2/ xx.log 分析対象が巨大であればあるほど効いてきます。
Slide 10
Slide 10 text
パーティション射影 10 ・分けてとは言うものの... 例えば2024/1/1で分けて、2024/1/2で分けて... 増えたら増えた分だけパーティション作成し直して... ↓ちょっとやってられない パーティション射影 ざっくりいうとパターンがあれば自動でパーティショニング可能です。
Slide 11
Slide 11 text
パーティション射影のイメージ 11 toarusystem-hogehoge-bucket/ 2024/1/1/ xx.log 2024/1/2/ xx.log 2024/1/3/ xx.log 2024/9/19/ xx.log }「ここのデータは日付で分 かれているデータですよ」 という事前定義 増えた分もパーティションは分かれている 状態なので、そのままこれをロードして使 える。
Slide 12
Slide 12 text
まとめ 〜これだけ覚えて帰る 12 AthenaはS3にクエリ投げれるサービス とにかくパーティショニング! パーティション射影もあるよ!
Slide 13
Slide 13 text
感想 13 今回改めてAthenaのドキュメント読み直しましたが、全部書 いてありました。 AWSさんありがとうございます。
Slide 14
Slide 14 text
ありがとうございました