Slide 1

Slide 1 text

# Athenaのコスト節約を考える Junki Ishigaki September 19, 2024

Slide 2

Slide 2 text

自己紹介 石垣潤樹 / Junki Ishigaki - 所属 → 株式会社シーズ - やっていること → インフラエンジニア - やっていること → AWSとかさわってます - 好きなAWSサービス → Athena - 最近 → Amplify Gen2楽しい - 好き → ラーメン, 担々麺 2

Slide 3

Slide 3 text

目次 - 今日のアプローチ - まとめ - Athenaの料金体系 - Athenaのパーティション化 - パーティション射影の話 3

Slide 4

Slide 4 text

今日のアプローチ 4 5分LT →短い(自分でショート枠に申し込んでおいてあれですが...) →サービスをしぼりつつ、けど他にも応用できそうなヒントを 5分LT →短い →キーワードだけ拾ってもらえれば(勉強会は自分の中にイン デックスを作る場)

Slide 5

Slide 5 text

今日のまとめ 5 ・コスト節約考える時に、料金体系理解すること大事 ↓ ・その上で、削れるところを削る。抑えれるところを抑える。

Slide 6

Slide 6 text

Athenaとは 6 →ざっくりいうと、S3のファイルにクエリ投げれます https://docs.aws.amazon.com/ja_jp/athena/latest/ug/what-is.html

Slide 7

Slide 7 text

Athenaの料金体系 7 https://aws.amazon.com/jp/athena/pricing/

Slide 8

Slide 8 text

パーティション化 8 ・コストがデータ量依存 ↓ ・スキャン対象をしぼる このノウハウはCloudWatch Logsとかにも使えますね Partition ↑ Part(分ける,部分) + -ion(名詞化の接尾語)

Slide 9

Slide 9 text

パーティション化のイメージ 9 toarusystem-hogehoge-bucket/ 2024-01-01.log 2024-01-02.log toarusystem-hogehoge-bucket/ 2024/1/1/ xx.log 2024/1/2/ xx.log 分析対象が巨大であればあるほど効いてきます。

Slide 10

Slide 10 text

パーティション射影 10 ・分けてとは言うものの... 例えば2024/1/1で分けて、2024/1/2で分けて... 増えたら増えた分だけパーティション作成し直して... ↓ちょっとやってられない パーティション射影 ざっくりいうとパターンがあれば自動でパーティショニング可能です。

Slide 11

Slide 11 text

パーティション射影のイメージ 11 toarusystem-hogehoge-bucket/ 2024/1/1/ xx.log 2024/1/2/ xx.log 2024/1/3/ xx.log 2024/9/19/ xx.log }「ここのデータは日付で分 かれているデータですよ」 という事前定義 増えた分もパーティションは分かれている 状態なので、そのままこれをロードして使 える。

Slide 12

Slide 12 text

まとめ 〜これだけ覚えて帰る 12 AthenaはS3にクエリ投げれるサービス とにかくパーティショニング! パーティション射影もあるよ!

Slide 13

Slide 13 text

感想 13 今回改めてAthenaのドキュメント読み直しましたが、全部書 いてありました。 AWSさんありがとうございます。

Slide 14

Slide 14 text

ありがとうございました