Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
やっぱりAmazon Athenaって便利だよね Mitsuo ほんまっすか!?!?
Slide 2
Slide 2 text
NAME: Mitsuo(みつお) COMPANY: アイレット株式会社 クラウドインテグレーション事業部 INTEREST: 音楽鑑賞、演奏、体を動かすこと CREDENTIALS: 2022 - 2024 APN ALL AWS Certifications Engineer AWS Community Builder(Networking Content Delivery) iret テクニカルアンバサダー(Advanced) 自己紹介
Slide 3
Slide 3 text
勝手に宣伝 Amazon Athenaの概要はご存知な方ばかりだと思います。 初学者向けのブログを書いてみたのでよろしければ! 澤田先輩と優しく学ぶAmazon Athena https://iret.media/110241
Slide 4
Slide 4 text
というわけで早速 Amazon Athena が好きです!!
Slide 5
Slide 5 text
話す内容 内容 好きな所その1:簡単にログ分析が出来る 好きな所その2:コストが安い(賛否両論あり)
Slide 6
Slide 6 text
話す内容 内容 好きな所その1:簡単にログ分析が出来る 好きな所その2:コストが安い(賛否両論あり)
Slide 7
Slide 7 text
簡単にログ分析が出来る S3に分析するデータを格納してクエリを実行するだけ!! クエリ実行の分析基盤を構築する必要無し!!! ※ Federated Queryの説明はしません
Slide 8
Slide 8 text
簡単にログ分析が出来る S3に分析するデータを格納してクエリを実行するだけ!! クエリ実行の分析基盤を構築する必要無し!!! ※ Federated Queryの説明はしません
Slide 9
Slide 9 text
簡単にログ分析が出来る Amazon Athenaを使うのは エンジニアだけではない!!! だからこそWeb UIが分かりやすいのは良い!
Slide 10
Slide 10 text
簡単にログ分析が出来る 各AWSサービスから直接S3に保存出来る機能がある!!! ※一部はCloudWatch LogsやData Firehoseを経由させる必要あり
Slide 11
Slide 11 text
簡単にログ分析が出来る 代表的なサポート形式 CSV(カンマ区切りのデータ) TSV(タブ区切りのデータ) JSON(CloudTrailとか) Apache WebServerのログ形式 Apache Parquet AWSサービスが出力するログは大体がCSV、TSV、 JSONなんですよね というわけで分析するために 加工を必要としないところがポイントです
Slide 12
Slide 12 text
簡単にログ分析が出来る 厳密にはDDLクエリでAthenaで実行するための テーブルを作るときに シリアライザ、デシリアライザ(SerDe)の指定をする事で Athenaでの読み取りを可能にします。 英語圏向けでは「サーディ」というみたいですね。 私の名前が「さわD」なので親近感がありますね!! 親近感??
Slide 13
Slide 13 text
簡単にログ分析が出来る [初学者向け]Amazon AthenaのSerDeを整理してみた(LazySimpleSerDeと OpenCSVSerDe編) https://iret.media/115196 例:OpenCSVSerdeを用いたCSVファイルのテーブル作成
Slide 14
Slide 14 text
簡単にログ分析が出来る 例:JSON(CloudTrail証跡) のテーブル作成
Slide 15
Slide 15 text
簡単にログ分析が出来る 公式がクエリを準備してくれている!!! ALB CloudFront WAF
Slide 16
Slide 16 text
話す内容 内容 好きな所その1:スモールスタートにログ分析を始めることが出来る 好きな所その2:コストが安い(賛否両論あり)
Slide 17
Slide 17 text
コストが安い(賛否両論あり) スキャンしたデータ量に応じて、1TB5USD課金される!
Slide 18
Slide 18 text
コストが安い(賛否両論あり) スキャン量が多ければ課金料金結構行きませんか? うおおおおおお! CloudTrailの証跡3年分を 全部スキャンしてしまった!!!!!! ※この発言はフィクションであり写真の方とは一切関係がございません
Slide 19
Slide 19 text
コストが安い(賛否両論あり) クエリの書き方を工夫すればスキャンする範囲を制限することが可能
Slide 20
Slide 20 text
コストが安い(賛否両論あり) ワークグループ単位でクエリのスキャン量に上限を設定出来る 最小制限は10MBだけど、 KB単位で細かく設定出来る配慮もある のいいですよね (保存時、最小制限だと、 1024KBに置換される模様)
Slide 21
Slide 21 text
まとめ ・ Amazon Athenaは実行基盤が不要でお手頃に分析が可能なサービス ・ とりあえずS3にデータを保存しておけばなんとかなる ・ スキャン量に応じた課金のため、比較的安く利用出来る ・ クエリの書き方だけ注意(最低限パーティショニングをしよう!)
Slide 22
Slide 22 text
おしまい アイレット株式会社 Mitsuo
Slide 23
Slide 23 text
出ます!!!!!!