Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
やっぱりAmazon Athenaって便利だよね
Search
Mitsuo
October 15, 2024
Technology
0
7
やっぱりAmazon Athenaって便利だよね
Amazon Athenaを触ったことがない方向けの紹介資料です。当資料を通して、少しでもAmazon Athenaを好きになってくれれば嬉しいです。
Mitsuo
October 15, 2024
Tweet
Share
More Decks by Mitsuo
See All by Mitsuo
S3上のログを分析したいだけなのに
mitsuo_sys
1
210
独自ドメインをRoute 53に移管してみた
mitsuo_sys
1
400
Other Decks in Technology
See All in Technology
飲食店予約台帳を支えるインタラクティブ UI 設計と実装
siropaca
7
1.6k
リーダブルテストコード 〜メンテナンスしやすい テストコードを作成する方法を考える〜 #DevSumi #DevSumiB / Readable test code
nihonbuson
11
6.8k
Amazon S3 Tablesと外部分析基盤連携について / Amazon S3 Tables and External Data Analytics Platform
nttcom
0
120
Datadogとともにオブザーバビリティを布教しよう
mego2221
0
130
室長と気ままに学ぶマイクロソフトのビジネスアプリケーションとビジネスプロセス
ryoheig0405
0
350
Datadog APM におけるトレース収集の流れ及び Retention Filters のはなし / datadog-apm-trace-retention-filters
k6s4i53rx
0
330
2024.02.19 W&B AIエージェントLT会 / AIエージェントが業務を代行するための計画と実行 / Algomatic 宮脇
smiyawaki0820
10
1.6k
SA Night #2 FinatextのSA思想/SA Night #2 Finatext session
satoshiimai
1
130
OpenID Connect for Identity Assurance の概要と翻訳版のご紹介 / 20250219-BizDay17-OIDC4IDA-Intro
oidfj
0
160
関東Kaggler会LT: 人狼コンペとLLM量子化について
nejumi
3
540
ユーザーストーリーマッピングから始めるアジャイルチームと並走するQA / Starting QA with User Story Mapping
katawara
0
170
TAMとre:Capセキュリティ編 〜拡張脅威検出デモを添えて〜
fujiihda
1
180
Featured
See All Featured
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
29
2.2k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.2k
YesSQL, Process and Tooling at Scale
rocio
171
14k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
132
33k
Typedesign – Prime Four
hannesfritz
40
2.5k
Rails Girls Zürich Keynote
gr2m
94
13k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.7k
Navigating Team Friction
lara
183
15k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.4k
KATA
mclloyd
29
14k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Transcript
やっぱりAmazon Athenaって便利だよね Mitsuo ほんまっすか!?!?
NAME: Mitsuo(みつお) COMPANY: アイレット株式会社 クラウドインテグレーション事業部 INTEREST: 音楽鑑賞、演奏、体を動かすこと CREDENTIALS: 2022 -
2024 APN ALL AWS Certifications Engineer AWS Community Builder(Networking Content Delivery) iret テクニカルアンバサダー(Advanced) 自己紹介
勝手に宣伝 Amazon Athenaの概要はご存知な方ばかりだと思います。 初学者向けのブログを書いてみたのでよろしければ! 澤田先輩と優しく学ぶAmazon Athena https://iret.media/110241
というわけで早速 Amazon Athena が好きです!!
話す内容 内容 好きな所その1:簡単にログ分析が出来る 好きな所その2:コストが安い(賛否両論あり)
話す内容 内容 好きな所その1:簡単にログ分析が出来る 好きな所その2:コストが安い(賛否両論あり)
簡単にログ分析が出来る S3に分析するデータを格納してクエリを実行するだけ!! クエリ実行の分析基盤を構築する必要無し!!! ※ Federated Queryの説明はしません
簡単にログ分析が出来る S3に分析するデータを格納してクエリを実行するだけ!! クエリ実行の分析基盤を構築する必要無し!!! ※ Federated Queryの説明はしません
簡単にログ分析が出来る Amazon Athenaを使うのは エンジニアだけではない!!! だからこそWeb UIが分かりやすいのは良い!
簡単にログ分析が出来る 各AWSサービスから直接S3に保存出来る機能がある!!! ※一部はCloudWatch LogsやData Firehoseを経由させる必要あり
簡単にログ分析が出来る 代表的なサポート形式 CSV(カンマ区切りのデータ) TSV(タブ区切りのデータ) JSON(CloudTrailとか) Apache WebServerのログ形式 Apache Parquet AWSサービスが出力するログは大体がCSV、TSV、
JSONなんですよね というわけで分析するために 加工を必要としないところがポイントです
簡単にログ分析が出来る 厳密にはDDLクエリでAthenaで実行するための テーブルを作るときに シリアライザ、デシリアライザ(SerDe)の指定をする事で Athenaでの読み取りを可能にします。 英語圏向けでは「サーディ」というみたいですね。 私の名前が「さわD」なので親近感がありますね!! 親近感??
簡単にログ分析が出来る [初学者向け]Amazon AthenaのSerDeを整理してみた(LazySimpleSerDeと OpenCSVSerDe編) https://iret.media/115196 例:OpenCSVSerdeを用いたCSVファイルのテーブル作成
簡単にログ分析が出来る 例:JSON(CloudTrail証跡) のテーブル作成
簡単にログ分析が出来る 公式がクエリを準備してくれている!!! ALB CloudFront WAF
話す内容 内容 好きな所その1:スモールスタートにログ分析を始めることが出来る 好きな所その2:コストが安い(賛否両論あり)
コストが安い(賛否両論あり) スキャンしたデータ量に応じて、1TB5USD課金される!
コストが安い(賛否両論あり) スキャン量が多ければ課金料金結構行きませんか? うおおおおおお! CloudTrailの証跡3年分を 全部スキャンしてしまった!!!!!! ※この発言はフィクションであり写真の方とは一切関係がございません
コストが安い(賛否両論あり) クエリの書き方を工夫すればスキャンする範囲を制限することが可能
コストが安い(賛否両論あり) ワークグループ単位でクエリのスキャン量に上限を設定出来る 最小制限は10MBだけど、 KB単位で細かく設定出来る配慮もある のいいですよね (保存時、最小制限だと、 1024KBに置換される模様)
まとめ ・ Amazon Athenaは実行基盤が不要でお手頃に分析が可能なサービス ・ とりあえずS3にデータを保存しておけばなんとかなる ・ スキャン量に応じた課金のため、比較的安く利用出来る ・ クエリの書き方だけ注意(最低限パーティショニングをしよう!)
おしまい アイレット株式会社 Mitsuo
出ます!!!!!!