$30 off During Our Annual Pro Sale. View Details »

Amazon Athenaで気軽に始める データ分析/athena-data-analytics

marchin
August 31, 2023

Amazon Athenaで気軽に始める データ分析/athena-data-analytics

marchin

August 31, 2023
Tweet

More Decks by marchin

Other Decks in Programming

Transcript

  1. Amazon Athenaで
    気軽に始めるデータ分析

    View Slide

  2. 自己紹介
    名前 :阿部 真之
    仕事 :株式会社ゆめみ。サーバーサイド、Androidのリードエンジニア
    趣味 :コーヒー、ビール、アニメ、ゲーム、読書、etc…
    Twitter:@marchin_1989

    View Slide

  3. 前置き
    対象者
    - なにかしらデータ分析に関わる方
    - AWS Athenaを触ったことがない方
    前提とする知識
    - AWSのサービスを少しでも触ったことがある方
    - SQLを触ったことがある方

    View Slide

  4. アジェンダ
    - Amazon Athenaとは
    - Amazon Athenaのデモ

    View Slide

  5. Amazon Athenaとは

    View Slide

  6. Amazon Athena
    - S3や、様々なデータソースに対して、SQLでクエリできるインタラクティブな分析サービス。
    - サーバーレスでインフラ管理不要。
    - 大規模データに対しても高速なクエリが可能。
    - ユースケース
    - アナリストやデータサイエンティストによるアドホックな分析
    - S3にあげて、テーブル定義後、すぐクエリ可能。
    - ログ分析
    - S3に保存した、ログデータに対してクエリ
    - ETLパイプライン

    View Slide

  7. デモ

    View Slide

  8. デモ
    - AWSマネジメントコンソールの「クエリエディタ」からクエリを実行してみる。

    View Slide

  9. デモ
    - 公式のチュートリアルを実施
    - https://docs.aws.amazon.com/ja_jp/athena/latest/ug/getting-started.html
    - サンプルデータ
    - s3://athena-examples-ap-northeast-1/cloudfront/plaintext/
    - CFのアクセスログ

    View Slide

  10. デモの流れ
    1. クエリ結果保存用のS3バケットを指定する
    2. データベースを作成する
    3. テーブルを作成する
    4. クエリする

    View Slide

  11. 1. クエリ結果保存用のS3バケットを指定する

    View Slide

  12. 2. データベースを作成する

    View Slide

  13. 3. テーブルを作成する

    View Slide

  14. 4. クエリする

    View Slide

  15. その他
    - 基本的にクエリのスキャン量で課金される。1 TB あたり5USD。
    - スキャン量を削減することで、パフォーマンスが向上し、料金が安くなる。
    - パーティション化
    - Hive形式(例: s3://bucketname/year=2023/month=05/day=08/…)のS3に対して、テーブル
    作成時にパーティションを指定する。
    - Federated Query
    - S3だけでなく、RDS、DynamoDBといった様々なデータソースに対してクエリを実行可能。
    - S3のデータに対して、RDSのテーブルを結合してクエリできる。
    - クエリエディタ以外でも、アプリケーションなどからJDBC経由、AWS SDK(API)経
    由で実行可能。

    View Slide

  16. まとめ
    - Amazon Athenaは、S3や、様々なデータソースに対して、SQLでクエリできるイン
    タラクティブな分析サービス。
    - S3にデータを溜めておけば、気軽にデータ分析が始められる。

    View Slide

  17. 参考文献
    ・YouTube, 【AWS Black Belt Online Seminar】Amazon
    Athena,https://www.youtube.com/watch?v=6FLkOE60Pfs,(2020/06/18)
    ・AWS, Amazon Athena とは,
    https://docs.aws.amazon.com/ja_jp/athena/latest/ug/what-is.html

    View Slide