Amazon Athenaで気軽に始める データ分析/athena-data-analytics

Transcript

1. Amazon Athenaで 気軽に始めるデータ分析
2. 自己紹介 名前　：阿部 真之 仕事　：株式会社ゆめみ。サーバーサイド、Androidのリードエンジニア 趣味　：コーヒー、ビール、アニメ、ゲーム、読書、etc… Twitter：@marchin_1989
3. 前置き 対象者 - なにかしらデータ分析に関わる方 - AWS Athenaを触ったことがない方 前提とする知識 - AWSのサービスを少しでも触ったことがある方 - SQLを触ったことがある方
4. アジェンダ - Amazon Athenaとは - Amazon Athenaのデモ
5. Amazon Athenaとは
6. Amazon Athena - S3や、様々なデータソースに対して、SQLでクエリできるインタラクティブな分析サービス。 - サーバーレスでインフラ管理不要。 - 大規模データに対しても高速なクエリが可能。 - ユースケース - アナリストやデータサイエンティストによるアドホックな分析 - S3にあげて、テーブル定義後、すぐクエリ可能。 - ログ分析 - S3に保存した、ログデータに対してクエリ - ETLパイプライン
7. デモ
8. デモ - AWSマネジメントコンソールの「クエリエディタ」からクエリを実行してみる。
9. デモ - 公式のチュートリアルを実施 - https://docs.aws.amazon.com/ja_jp/athena/latest/ug/getting-started.html - サンプルデータ - s3://athena-examples-ap-northeast-1/cloudfront/plaintext/ - CFのアクセスログ
10. デモの流れ 1. クエリ結果保存用のS3バケットを指定する 2. データベースを作成する 3. テーブルを作成する 4. クエリする
11. 1. クエリ結果保存用のS3バケットを指定する
12. 2. データベースを作成する
13. 3. テーブルを作成する
14. 4. クエリする
15. その他 - 基本的にクエリのスキャン量で課金される。1 TB あたり5USD。 - スキャン量を削減することで、パフォーマンスが向上し、料金が安くなる。 - パーティション化 - Hive形式（例: s3://bucketname/year=2023/month=05/day=08/…）のS3に対して、テーブル 作成時にパーティションを指定する。 - Federated Query - S3だけでなく、RDS、DynamoDBといった様々なデータソースに対してクエリを実行可能。 - S3のデータに対して、RDSのテーブルを結合してクエリできる。 - クエリエディタ以外でも、アプリケーションなどからJDBC経由、AWS SDK（API）経 由で実行可能。
16. まとめ - Amazon Athenaは、S3や、様々なデータソースに対して、SQLでクエリできるイン タラクティブな分析サービス。 - S3にデータを溜めておけば、気軽にデータ分析が始められる。
17. 参考文献 ・YouTube, 【AWS Black Belt Online Seminar】Amazon Athena,https://www.youtube.com/watch?v=6FLkOE60Pfs,（2020/06/18） ・AWS, Amazon Athena とは, https://docs.aws.amazon.com/ja_jp/athena/latest/ug/what-is.html