Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWSでデータ解析を始めたーい
Search
koara
September 16, 2023
Technology
0
300
AWSでデータ解析を始めたーい
四国クラウドお遍路 2023
koara
September 16, 2023
Tweet
Share
More Decks by koara
See All by koara
SST ( Serverless Stack Toolkit ) 使ってみた
ra1211
0
210
もめんと会 Momento Cache
ra1211
0
64
JAWS-UG 名古屋 AVAハンズオン+re:Inforceの復習
ra1211
0
110
JAWS ミート 2023
ra1211
0
62
JAWS-UG大阪 AWS re:Invent 2022 re:Cap
ra1211
0
110
20221112_四国クラウドお遍路.pdf
ra1211
0
310
Other Decks in Technology
See All in Technology
AIエージェント就活入門 - MCPが履歴書になる未来
eltociear
0
530
Figma + Storybook + PlaywrightのMCPを使ったフロントエンド開発
yug1224
9
2.8k
[CVPR2025論文読み会] Linguistics-aware Masked Image Modelingfor Self-supervised Scene Text Recognition
s_aiueo32
0
210
Yahoo!ニュースにおけるソフトウェア開発
lycorptech_jp
PRO
0
370
イオン店舗一覧ページのパフォーマンスチューニング事例 / Performance tuning example for AEON store list page
aeonpeople
2
300
帳票Vibe Coding
terurou
0
140
Preferred Networks (PFN) とLLM Post-Training チームの紹介 / 第4回 関東Kaggler会 スポンサーセッション
pfn
PRO
1
230
ソフトウェア エンジニアとしての 姿勢と心構え
recruitengineers
PRO
4
960
GitHub Copilot coding agent を推したい / AIDD Nagoya #1
tnir
3
4.6k
Understanding Go GC #coefl_go_jp
bengo4com
0
1.1k
サービスロボット最前線:ugoが挑むPhysical AI活用
kmatsuiugo
0
190
ECS モニタリング手法大整理
yendoooo
1
120
Featured
See All Featured
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
GraphQLとの向き合い方2022年版
quramy
49
14k
4 Signs Your Business is Dying
shpigford
184
22k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
Building an army of robots
kneath
306
46k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
183
54k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
Documentation Writing (for coders)
carmenintech
73
5k
Transcript
AWSでデータ分析を始めたーい クラウドお遍路 2023/09/16
Who am I ? { "name": "古賀巧", "X_id": "@koara__fftr", "age":
27, "career": [ “C”, ”C++”, ”C#”, ”JavaScript”, ”PHP”], "hobbies": ["音楽"], "certifications": [ ], "favorite_AWS_service": "AWS Lambda", "other": [ ] }
・はじめに ・データ分析の流れ ・AWSのデータ分析サービス ・Amazon AthenaでNo ETLで、分析してみる ・AWS Glue DataBrewでETLして、分析してみる ・まとめ
Contents
はじめに AWSを使いたい動機 オンプレで大量のデータを扱うためのリソースの調達や管理などが難しい したくない サクッと試して、今あるデータでどんなことをできるか知りたい 小さく作って、早く失敗して、改善していきたい
はじめに データ分析の流れ データ収集 蓄積・加工 可視化・分析
データ分析の流れ 1° 収集 データを集める 例) システムのアクセスログ IoTセンサーのデータ 購買履歴 音声データ SNSデータ
データ分析の流れ 部門や地域で サイロ化したデータを DLに集める 2°-1 蓄積・加工 DWH、DMに格納 分析しやすい形式に加工 ETL処理
データ分析の流れ Extraxt 2°-2 加工処理 データ分析全体の8割くらいを占める Transform Load Extraxt Load Transform
データを加工してから、書き出す →非構造化データにも対応 データを書き出してから、加工する
データ分析の流れ 2°で加工したデータを BIツールでの可視化や 機械学習の学習データとして活用 3° 可視化・分析
AWSのデータ分析サービス 収集 蓄積・加工 可視化・分析
Amazon AthenaでNo ETLで、分析してみる Amazon Athena サーバレスでインフラ管理不要 S3に保存・蓄積したログに対してSQLクエリを投げて データをロードせずに直接分析を行える
Amazon AthenaでNo ETLで、分析してみる 1°データをS3に保存する サポートしているデータ形式 Apache Parquet ORC CloudTrail ログ
CSV、TSV JSON など 行指向データ 行ごとにデータを保存 特定の列を扱う場合でも、行全体を読み込む必要がある 列指向データ 列ごとにデータを保存 特定の列だけ扱う処理では、行全体を読み込む必要がない
Amazon AthenaでNo ETLで、分析してみる 2°「データベース」と「テーブル」の作成 データベース・・・テーブルをグループにまとめる テーブル・・・列名、データ型などを定義 テーブル定義の作成 ・DDL(Data Define Language)で定義する
・Glue Crawlerで自動作成 列名やデータ型を推測して、作成してくれる
Amazon AthenaでNo ETLで、分析してみる 3°SQLでクエリ クエリ結果はS3に自動保存 コンソールから履歴も確認できる ANSI標準のSQLが使える(標準のSQL)
Amazon AthenaでNo ETLで、分析してみる +α 横串検索(Federated Query) データコネクタを利用した、複数データソースに横断的なクエリを実行
Amazon Athenaのパフォーマンスチューニング その他 Amazon Athena のパフォーマンスチューニング Tips トップ 10 https://aws.amazon.com/jp/blogs/news/top-10-performance-tuning-tips-for-amazon-athena/
1° スキャンするデータ量を減らす →列指向データ(Apache Parquet、ORCなど)を使用する →データの圧縮(Snappy→圧縮/解凍が速い, LZOなど) 2° 小さいサイズをまとめる 128MB以上にする 3° データをパーティションで分割する 例)2023/09/13 /14 /15 Amazon Athena でのパーティション射影 https://docs.aws.amazon.com/ja_jp/athena/latest/ug/partition-projection.html
Amazon AthenaとAmazon Redshift Spectrum Amazon Athena サーバーレス スキャンしたデータ量で課金 (1TBあたり$5) クエリタイムアウト時間
:30分 Amazon Redshift Spectrum Redshift クラスタの管理が必要 クラスタの実行時間で課金 より大規模なデータや 複数テーブルのJOINなどの複雑なクエリを実行 パフォーマンスはより安定
簡単に(?) AWS Glue DataBrewでETLして、分析してみる AWS Glue DataBrew は視覚的なデータ準備ツール であり、データアナリストやデー タサイエンティストはデータをより簡単にクリーンアップおよび正規化し、分析や機
械学習 (ML) の準備をすることができます。250 を超える事前構築された変換から 選択して、コードを記述することなくデータ準備タスクを自動化 できます。異常のフィ ルタリング、標準形式へのデータの変換、無効な値の修正などのタスクを自動化で きます。データの準備が整ったら、 すぐに分析と ML プロジェクトに使用で きます。 実際に使用した分に対してのみ料金が発生します。前払いの義務はありません。 https://aws.amazon.com/jp/glue/features/databrew/
簡単に(?) AWS Glue DataBrewでETLして、分析してみる DataBrewプロジェクトを作成 DataBrew レシピにデータ加工処理を記録
簡単に(?) AWS Glue DataBrewでETLして、分析してみる 一旦、赤枠のデータ操作は無視してデータと向き合う (坐禅タイム
簡単に(?) AWS Glue DataBrewでETLして、分析してみる 列ごとに統計情報と それに対するレコメンドを確認できる
簡単に(?) AWS Glue DataBrewでETLして、分析してみる レシピはGUIで作成することを前提にしている
簡単に(?) AWS Glue DataBrewでETLして、分析してみる レシピからジョブを作成
簡単に(?) AWS Glue DataBrewでETLして、分析してみる 出力先を指定して、ジョブを実行 実行した結果をQuickSightで可視化(マニフェストファイルの作成が必要)
Glue Databrew Glue Studio データを可視化して GUIでETLジョブの作成 用意された変換処理が200種類以上 GUIとコード両方を使用可能 ETLジョブの作成、実行、実行状況の監視
用意された変換処理は 40個 2つを組み合わせて使用することも可能 Glue DataBrewでデータの傾向把握と用意された変換処理を行い Glue DataBrewで足りない部分はGlue Studioでコードを書いて実現
まとめ AWSを使うことで ・データアクセスの民主化 + ・ツールの民主化 ・分析スキルの民主化へ
ちょっと宣伝
ちょっと宣伝2