やっぱりAmazon Athenaって便利だよね

やっぱりAmazon Athenaって便利だよね Mitsuo ほんまっすか！？！？

NAME: Mitsuo(みつお) COMPANY: アイレット株式会社クラウドインテグレーション事業部 INTEREST: 音楽鑑賞、演奏、体を動かすこと CREDENTIALS: 2022 -
2024 APN ALL AWS Certifications Engineer AWS Community Builder(Networking Content Delivery) iret テクニカルアンバサダー(Advanced) 自己紹介

勝手に宣伝 Amazon Athenaの概要はご存知な方ばかりだと思います。初学者向けのブログを書いてみたのでよろしければ！澤田先輩と優しく学ぶAmazon Athena https://iret.media/110241

というわけで早速 Amazon Athena が好きです！！

話す内容内容好きな所その１：簡単にログ分析が出来る好きな所その２：コストが安い（賛否両論あり）

簡単にログ分析が出来る S3に分析するデータを格納してクエリを実行するだけ！！クエリ実行の分析基盤を構築する必要無し！！！ ※ Federated Queryの説明はしません

簡単にログ分析が出来る Amazon Athenaを使うのはエンジニアだけではない！！！だからこそWeb UIが分かりやすいのは良い！

簡単にログ分析が出来る各AWSサービスから直接S3に保存出来る機能がある！！！ ※一部はCloudWatch LogsやData Firehoseを経由させる必要あり

簡単にログ分析が出来る代表的なサポート形式 CSV(カンマ区切りのデータ) TSV(タブ区切りのデータ) JSON(CloudTrailとか) Apache WebServerのログ形式 Apache Parquet AWSサービスが出力するログは大体がCSV、TSV、
JSONなんですよねというわけで分析するために加工を必要としないところがポイントです

簡単にログ分析が出来る厳密にはDDLクエリでAthenaで実行するためのテーブルを作るときにシリアライザ、デシリアライザ(SerDe)の指定をする事で Athenaでの読み取りを可能にします。英語圏向けでは「サーディ」というみたいですね。私の名前が「さわD」なので親近感がありますね！！親近感？？

簡単にログ分析が出来る [初学者向け]Amazon AthenaのSerDeを整理してみた（LazySimpleSerDeと OpenCSVSerDe編) https://iret.media/115196 例：OpenCSVSerdeを用いたCSVファイルのテーブル作成

簡単にログ分析が出来る例：JSON(CloudTrail証跡) のテーブル作成

簡単にログ分析が出来る公式がクエリを準備してくれている！！！ ALB CloudFront WAF

話す内容内容好きな所その１：スモールスタートにログ分析を始めることが出来る好きな所その２：コストが安い（賛否両論あり）

コストが安い（賛否両論あり）スキャンしたデータ量に応じて、1TB5USD課金される！

コストが安い（賛否両論あり）スキャン量が多ければ課金料金結構行きませんか？うおおおおおお！ CloudTrailの証跡3年分を全部スキャンしてしまった！！！！！！ ※この発言はフィクションであり写真の方とは一切関係がございません

コストが安い（賛否両論あり）クエリの書き方を工夫すればスキャンする範囲を制限することが可能

コストが安い（賛否両論あり）ワークグループ単位でクエリのスキャン量に上限を設定出来る最小制限は10MBだけど、 KB単位で細かく設定出来る配慮もあるのいいですよね (保存時、最小制限だと、 1024KBに置換される模様)

まとめ・ Amazon Athenaは実行基盤が不要でお手頃に分析が可能なサービス・とりあえずS3にデータを保存しておけばなんとかなる・スキャン量に応じた課金のため、比較的安く利用出来る・クエリの書き方だけ注意（最低限パーティショニングをしよう！）

おしまいアイレット株式会社 Mitsuo

出ます！！！！！！

やっぱりAmazon Athenaって便利だよね

やっぱりAmazon Athenaって便利だよね

Mitsuo

More Decks by Mitsuo

Other Decks in Technology

Featured

Transcript