データ分析基盤を作ってみよう　～性能測定編～

Slide 1

Slide 1 text

データ分析基盤を作ってみよう～性能測定編～ NRIネットコム TECH & DESIGN STUDY #46 2024年10月22日 NRIネットコム株式会社執行役員デジタルソリューション事業本部長クラウドテクニカルセンターセンター長佐々木拓郎

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

3 Copyright（C） NRI Netcom, Ltd. All rights reserved. データ分析と私① AWS 認定の廃止と開始のお知らせ | Amazon Web Services ブログ https://aws.amazon.com/jp/blogs/news/aws-certification-retirements-and-launches/ AWS 認定の廃止と開始のお知らせ 2024 年 4 月に、AWS Certified Data Analytics – Specialty (DAS)、 AWS Certified Database – Specialty (DBS)、AWS Certified: SAP on AWS – Specialty (PAS) の 3 つの AWS 認定を廃止します。テクノロジーの変化の速さを考慮して、私たちは常に認定を見直し、お客様のニーズにどの程度応えているかを評価しています。私たちは、Specialty の AWS 認定の数を減らし、Foundational、Associate、Professional の AWS 認定を強化することで、お客様により良いサービスを提供する機会があると考えています。発売日 2023/6/26

Slide 5

Slide 5 text

4 Copyright（C） NRI Netcom, Ltd. All rights reserved. データ分析と私② AWSの薄い本Ⅴ データ分析基盤を作ってみよう～性能測定編～ https://booth.pm/ja/items/5231829 技術同人誌も書いています AWSの薄い本Ⅲ データ分析基盤を作ってみよう～設計編～ https://booth.pm/ja/items/3059020

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

7 Copyright（C） NRI Netcom, Ltd. All rights reserved. 実際の活動をアーキテクチャに落とし込む（データ分析基盤の例）チャネル、施策接点データ集計・蓄積データ分析基盤広告メール SMS LINE SNS 検索外部キャンペーンモバイルアプリ公式SNS EC 商品ブランド BtoC会員 BtoB 会員 DL資料ウェビナー購買CV 加入CV CRM システム計測ツールデータレイク ETL DWH 分析システム BI ダッシュボード施策データ施策利用のためのマーケティングツール等の連携エンドユーザー接点・行動レイヤー計測、働き掛けレイヤーデータ活用の中枢レイヤー(分析基盤）データの施策活用送客CV リマケCV 申込CV 分析データデジマツール（特化型）デジマツール（ﾜﾝﾊﾟｯｹｰｼﾞ型）

Slide 9

Slide 9 text

8 Copyright（C） NRI Netcom, Ltd. All rights reserved. データ分析処理の一例目的に合わせて加工したデータをデータウェアハウスに格納して分析するリアルの世界での活動履歴オフラインデータ用途に応じてデータを編集 ETL 構造化したデータを保存する場所データウェアハウス Web等のオンライン上の活動履歴オンラインデータ生データクエリ分析・可視化機械学習加工済データ構造化の過程で、不要な情報が切り捨てられる POINT 生データを構造化する段階で、不要な情報が切り捨てられる別の切り口で分析する際には、元データの再連携が必要そのためには、データレイクが必要データレイクできるだけ元のままのデータを格納本日の主テーマ

Slide 10

Slide 10 text

9 Copyright（C） NRI Netcom, Ltd. All rights reserved. AWSのサービスに当てはめてアーキテクチャを考えていくそれぞれの構成要素に対応した、複数のサービスがある。オフラインデータオンラインデータデータレイクデータウェアハウスデータマート分析・可視化機械学習 ETL データ分析基盤リアルの世界での活動履歴 Web等のオンライン上の活動履歴 Amazon S3 Amazon EMR AWS Glue Amazon Athena Amazon Redshift Amazon Aurora Amazon Kinesis Amazon SageMaker Amazon QuickSight POINT データレイクとしてはS3を利用する。それ以外は、規模・用途に応じて使い分ける蓄積系収集系処理・分析系データをそのまま保存構造化したデータを保存用途に適したデータを抽出用途に応じてデータを編集整形されたデータで分析転送取得 AWS Lambda

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

13 Copyright（C） NRI Netcom, Ltd. All rights reserved. S3のデータをBIツールでダッシュボード化してみたい場合 AthenaとRedshiftの料金モデル ※他にも、料金モデルは幾つかある Amazon Athena Amazon Redshift ※インスタンスタイプは多数あるインスタンス課金 dc2.large $0.314/h 1TBのデータ読み取りごとに$5 SQLクエリ利用量/データ料に関わらずほぼ定額同時実行数はインスタンスサイズに依存レスポンスは RDBより遅い利用量/データ量で料金は大幅に変動同時実行数は AWS側にお任せレスポンスは数秒～数分

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

18 Copyright（C） NRI Netcom, Ltd. All rights reserved. 性能測定 Athenaの性能を測定してみたファイル数ファイルサイズ合計サイズ CSV （圧縮なし） CSV （GZIP圧縮） Parquet （Snappy圧縮） 1件 10GB 10GB 3.88秒 247.88秒エラー発生 10件 1GB 10GB 3.87秒 29.27秒 1.85秒 100件 100MB 10GB 3.57秒 4.48秒 1.85秒 1,000件 10MB 10GB 3.36秒 3.26秒 2.24秒 10,000件 1MB 10GB 4.07秒 4.17秒 2.76秒 100,000件 100KB 10GB 11.51秒 12.62秒 11.68秒 1,000,000件 10KB 10GB 92.95秒 91.38秒 76.35秒 10,000,000件 1KB 10GB 90.17秒 900秒超 900秒超著しく性能劣化するケースがある ※ファイル数については、おおよその目安の数

Slide 20

Slide 20 text

19 Copyright（C） NRI Netcom, Ltd. All rights reserved. S3のデータをBIツールでダッシュボード化してみたい場合 Amazon QuickSight Amazon Redshift AWS Glue 抽出＆変換格納クエリクエリ可視化ちょっとデータを測定しただけでも… Amazon Athena 抽出＆変換 Amazon S3 Athenaを使おうとしたら S3に置くデータの形式が重要なのがわかる他のサービスだったら？

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

23 Copyright（C） NRI Netcom, Ltd. All rights reserved. S3 Express One Zoneのスペック S3 標準ストレージとカタログスペックを比較してみる S3 標準ストレージ S3 Express One Zone 主な用途アクセス頻度の高いデータ向けの汎用ストレージ最もアクセス頻度が高いデータ向けの高性能ストレージ SLA 99.9% 99.9% 可用性 99.99% 99.95% 料金体系（東京リージョン） PUT、COPY、POST、LIST リクエスト (1,000 リクエストあたり) USD 0.0047 USD 0.0024 GET、SELECT、他のすべてのリクエスト (1,000 リクエストあたり) USD 0.00037 USD 0.00019 データ保存料最初の 50 TB/月 USD 0.025/GB USD 0.18/GB 標準ストレージに比べ半値 Express One Zoneに比べて1桁安い可用性は、標準ストレージの方が高い

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

26 Copyright（C） NRI Netcom, Ltd. All rights reserved. データレイクを細分化してみる RAWデータレイク・中間データレイク・構造化データレイク RAWデータレイク DBデータなど構造化データアクセスログなど半構造化データデータレイク SNS投稿テキストなど非構造化データ ETL（整形処理）データの形式を統一フォーマット処理重複や欠損値の除去クレンジング処理個人情報などの除去マスク処理 DBデータなど構造化データアクセスログなど半構造化データ構造化されたテキスト半構造化データ ETL（ビジネス加工）データ置換などビジネスロジック処理不要なカラムの除去などフィルタ処理データソースの属性結合エンリッチメント処理構造化データレイク顧客ごとのSNS反応履歴構造化データ Eコマースの購買履歴構造化データ実店舗の購買履歴構造化データ ETL（用途別加工）アプリ向けのデータ集約アプリ用処理古い情報のアーカイブアーカイブ用処理集計などの加工分析用処理 DWH データのフォーマットはバラバラで OK！データの意味そのものを変えるような加工はしない目的に応じて意味の改変も含めて加工したデータ

Slide 28

Slide 28 text

Slide 29

Slide 29 text

28 Copyright（C） NRI Netcom, Ltd. All rights reserved. データレイクを細分化してみる RAWデータレイク・中間データレイク・構造化データレイク RAWデータレイク DBデータなど構造化データアクセスログなど半構造化データデータレイク SNS投稿テキストなど非構造化データ ETL（整形処理）データの形式を統一フォーマット処理重複や欠損値の除去クレンジング処理個人情報などの除去マスク処理中間データレイク DBデータなど構造化データアクセスログなど半構造化データ構造化されたテキスト半構造化データ ETL（ビジネス加工）データ置換などビジネスロジック処理不要なカラムの除去などフィルタ処理データソースの属性結合エンリッチメント処理構造化データレイク顧客ごとのSNS反応履歴構造化データ Eコマースの購買履歴構造化データ実店舗の購買履歴構造化データ ETL（用途別加工）アプリ向けのデータ集約アプリ用処理古い情報のアーカイブアーカイブ用処理集計などの加工分析用処理 DWH データのフォーマットはバラバラで OK！データの意味そのものを変えるような加工はしない目的に応じて意味の改変も含めて加工したデータ大量のデータを保存する場合は、標準ストレージが適している中間処理で一時保存のみであれば、 Express One Zoneが適している運用設計次第。少量かつ高頻度の利用であれば、Express One Zoneが適している

Slide 30

Slide 30 text

Slide 31

Slide 31 text

30 Copyright（C） NRI Netcom, Ltd. All rights reserved. 性能測定① 小サイズの大量データでの測定結果 ⚫ EC2からデータアップロードとダウンロードの速さ ⚫ Athenaからクエリー実行した際のレスポンス時間 ⚫ APIリクエストのコスト比較（机上評価） ⚫ データは、10KBのファイルを70万個標準ストレージ Express One Zone 標準との比較アップロード時間 849.47秒 197.89秒 429% ダウンロード時間 1411.23秒 382.24秒 369% クエリ時間 75.91秒 52.30秒 145% API料金 $13.79 $2.74 500%

Slide 32

Slide 32 text

Slide 33

Slide 33 text

32 Copyright（C） NRI Netcom, Ltd. All rights reserved. 性能測定② 通常サイズのデータでの測定結果 ⚫ EC2からデータアップロードとダウンロードの速さ ⚫ Athenaからクエリー実行した際のレスポンス時間 ⚫ APIリクエストのコスト比較（机上評価） ⚫ データは、100MBのファイルを100個標準ストレージ Express One Zone 標準との比較アップロード時間 84.88秒 67.89秒 125% ダウンロード時間 79.77秒 79.81秒 100% クエリ時間 2.59秒 2.24秒 116% API料金 $0.001 $0.0002 500%

Slide 34

Slide 34 text

33 Copyright（C） NRI Netcom, Ltd. All rights reserved. 考察ストレージクラスの性能差より、まずはS3の特性を知ることが大事 ⚫S3は、オンラインストレージという特性上、オブジェクト１つの取得ごとに通信が発生する ⚫小さなサイズの大量のデータがある場合は、通信のオーバーヘッドに占める割合が高い ⚫小さなサイズのデータは、ファイルをまとめて圧縮すると格段に効率がよくなる ⚫設計の優先度としては、扱うデータの特性 > ストレージクラスカタログスペックを理解した上で、実際の性能を測定すると理解が深まる

Slide 35

Slide 35 text

Slide 36

Slide 36 text

35 Copyright（C） NRI Netcom, Ltd. All rights reserved. 性能測定の参照データ（おまけ） S3の性能測定の詳細については、こちらを参照 NRIネットコムのクラウドソリューション：検証レポート.：Athenaにおけるファイルサイズ https://cloud.nri-net.com/reports/aws-athena-performance-analysis-2310/