Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Athenaで気軽に始める データ分析/athena-data-analytics
Search
marchin
August 31, 2023
Programming
0
560
Amazon Athenaで気軽に始める データ分析/athena-data-analytics
marchin
August 31, 2023
Tweet
Share
More Decks by marchin
See All by marchin
ブラックフライデーで購入したPixel9で、Gemini Nanoを動かしてみた
marchin1989
1
720
WebAPI開発のためのOpenAPI入門/entry-open-api
marchin1989
1
1.3k
AWS Glueではじめるデータレイク
marchin1989
0
620
やさしく入門するOAuth2.0/easy-entry-oauth
marchin1989
8
1.8k
1時間半で克服するJavaScriptの非同期処理/async_javascript_kokufuku
marchin1989
2
1.4k
自動テストでモックするって、なにそれ?おいしいの?/what_is_mocking
marchin1989
1
1.1k
たぶんもう怖くないGit/maybe-not-afraid-of-git-anymore
marchin1989
2
2.4k
モバイルアプリで機械学習入門/introduction-to-machine-learning-in-mobile-app
marchin1989
0
450
Other Decks in Programming
See All in Programming
Modern Angular with Signals and Signal Store:New Rules for Your Architecture @enterJS Advanced Angular Day 2025
manfredsteyer
PRO
0
160
第9回 情シス転職ミートアップ 株式会社IVRy(アイブリー)の紹介
ivry_presentationmaterials
1
250
「Cursor/Devin全社導入の理想と現実」のその後
saitoryc
0
620
生成AIコーディングとの向き合い方、AIと共創するという考え方 / How to deal with generative AI coding and the concept of co-creating with AI
seike460
PRO
1
340
なんとなくわかった気になるブロックテーマ入門/contents.nagoya 2025 6.28
chiilog
1
240
ペアプロ × 生成AI 現場での実践と課題について / generative-ai-in-pair-programming
codmoninc
0
110
Composerが「依存解決」のためにどんな工夫をしているか #phpcon
o0h
PRO
1
250
Kotlin エンジニアへ送る:Swift 案件に参加させられる日に備えて~似てるけど色々違う Swift の仕様 / from Kotlin to Swift
lovee
1
260
PipeCDのプラグイン化で目指すところ
warashi
1
230
エンジニア向け採用ピッチ資料
inusan
0
170
git worktree × Claude Code × MCP ~生成AI時代の並列開発フロー~
hisuzuya
1
520
データの民主化を支える、透明性のあるデータ利活用への挑戦 2025-06-25 Database Engineering Meetup#7
y_ken
0
330
Featured
See All Featured
Designing Experiences People Love
moore
142
24k
Gamification - CAS2011
davidbonilla
81
5.3k
Building Applications with DynamoDB
mza
95
6.5k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Designing for Performance
lara
609
69k
Adopting Sorbet at Scale
ufuk
77
9.4k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.5k
Facilitating Awesome Meetings
lara
54
6.4k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
46
9.6k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.4k
Rails Girls Zürich Keynote
gr2m
94
14k
Transcript
Amazon Athenaで 気軽に始めるデータ分析
自己紹介 名前 :阿部 真之 仕事 :株式会社ゆめみ。サーバーサイド、Androidのリードエンジニア 趣味 :コーヒー、ビール、アニメ、ゲーム、読書、etc… Twitter:@marchin_1989
前置き 対象者 - なにかしらデータ分析に関わる方 - AWS Athenaを触ったことがない方 前提とする知識 - AWSのサービスを少しでも触ったことがある方
- SQLを触ったことがある方
アジェンダ - Amazon Athenaとは - Amazon Athenaのデモ
Amazon Athenaとは
Amazon Athena - S3や、様々なデータソースに対して、SQLでクエリできるインタラクティブな分析サービス。 - サーバーレスでインフラ管理不要。 - 大規模データに対しても高速なクエリが可能。 - ユースケース
- アナリストやデータサイエンティストによるアドホックな分析 - S3にあげて、テーブル定義後、すぐクエリ可能。 - ログ分析 - S3に保存した、ログデータに対してクエリ - ETLパイプライン
デモ
デモ - AWSマネジメントコンソールの「クエリエディタ」からクエリを実行してみる。
デモ - 公式のチュートリアルを実施 - https://docs.aws.amazon.com/ja_jp/athena/latest/ug/getting-started.html - サンプルデータ - s3://athena-examples-ap-northeast-1/cloudfront/plaintext/ -
CFのアクセスログ
デモの流れ 1. クエリ結果保存用のS3バケットを指定する 2. データベースを作成する 3. テーブルを作成する 4. クエリする
1. クエリ結果保存用のS3バケットを指定する
2. データベースを作成する
3. テーブルを作成する
4. クエリする
その他 - 基本的にクエリのスキャン量で課金される。1 TB あたり5USD。 - スキャン量を削減することで、パフォーマンスが向上し、料金が安くなる。 - パーティション化 -
Hive形式(例: s3://bucketname/year=2023/month=05/day=08/…)のS3に対して、テーブル 作成時にパーティションを指定する。 - Federated Query - S3だけでなく、RDS、DynamoDBといった様々なデータソースに対してクエリを実行可能。 - S3のデータに対して、RDSのテーブルを結合してクエリできる。 - クエリエディタ以外でも、アプリケーションなどからJDBC経由、AWS SDK(API)経 由で実行可能。
まとめ - Amazon Athenaは、S3や、様々なデータソースに対して、SQLでクエリできるイン タラクティブな分析サービス。 - S3にデータを溜めておけば、気軽にデータ分析が始められる。
参考文献 ・YouTube, 【AWS Black Belt Online Seminar】Amazon Athena,https://www.youtube.com/watch?v=6FLkOE60Pfs,(2020/06/18) ・AWS, Amazon
Athena とは, https://docs.aws.amazon.com/ja_jp/athena/latest/ug/what-is.html