Athenaのコスト節約を考える

Transcript

1. # Athenaのコスト節約を考える Junki Ishigaki September 19, 2024
2. 自己紹介 石垣潤樹 / Junki Ishigaki - 所属 → 株式会社シーズ - やっていること → インフラエンジニア - やっていること → AWSとかさわってます - 好きなAWSサービス → Athena - 最近 → Amplify Gen2楽しい - 好き → ラーメン, 担々麺 2
3. 目次 - 今日のアプローチ - まとめ - Athenaの料金体系 - Athenaのパーティション化 - パーティション射影の話 3
4. 今日のアプローチ 4 5分LT →短い(自分でショート枠に申し込んでおいてあれですが...) →サービスをしぼりつつ、けど他にも応用できそうなヒントを 5分LT →短い →キーワードだけ拾ってもらえれば(勉強会は自分の中にイン デックスを作る場)
5. 今日のまとめ 5 ・コスト節約考える時に、料金体系理解すること大事 ↓ ・その上で、削れるところを削る。抑えれるところを抑える。
6. Athenaとは 6 →ざっくりいうと、S3のファイルにクエリ投げれます https://docs.aws.amazon.com/ja_jp/athena/latest/ug/what-is.html
7. Athenaの料金体系 7 https://aws.amazon.com/jp/athena/pricing/
8. パーティション化 8 ・コストがデータ量依存 ↓ ・スキャン対象をしぼる このノウハウはCloudWatch Logsとかにも使えますね Partition ↑ Part(分ける,部分) + -ion(名詞化の接尾語)
9. パーティション化のイメージ 9 toarusystem-hogehoge-bucket/ 2024-01-01.log 2024-01-02.log toarusystem-hogehoge-bucket/ 2024/1/1/ xx.log 2024/1/2/ xx.log 分析対象が巨大であればあるほど効いてきます。
10. パーティション射影 10 ・分けてとは言うものの... 例えば2024/1/1で分けて、2024/1/2で分けて... 増えたら増えた分だけパーティション作成し直して... ↓ちょっとやってられない パーティション射影 ざっくりいうとパターンがあれば自動でパーティショニング可能です。
11. パーティション射影のイメージ 11 toarusystem-hogehoge-bucket/ 2024/1/1/ xx.log 2024/1/2/ xx.log 2024/1/3/ xx.log 2024/9/19/ xx.log }「ここのデータは日付で分 かれているデータですよ」 という事前定義 増えた分もパーティションは分かれている 状態なので、そのままこれをロードして使 える。
12. まとめ 〜これだけ覚えて帰る 12 AthenaはS3にクエリ投げれるサービス とにかくパーティショニング！ パーティション射影もあるよ！
13. 感想 13 今回改めてAthenaのドキュメント読み直しましたが、全部書 いてありました。 AWSさんありがとうございます。
14. ありがとうございました