Azure Synapse Analytics 入門/jazug11

by TonyTonyKun

Slide 1

Slide 1 text

Azure Synapse Analytics 入門 2021.9.25 Japan Azure User Group 11周年イベント

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Azure Synapse Analytics とは？ Azure Synapse Analytics は、データのインジェスト → 分析 → 可視化のための開発やモニタリングを、統合して管理できるデータ分析プラットフォームです。 5 Copyright© 2021, JAZUG All Rights Reserved. 従来の Azure Data Platform Azure Synapse Analytics

Slide 6

Slide 6 text

Synapse Studio Azure Synapse Analytics を構成するリソース群をまとめて管理できるポータルサイトです。 Copyright© 2021, JAZUG All Rights Reserved. 6 Hub Description Data ・Synapse Analytics 内のデータベースや外部データソースにアクセスする。 Develop ・SQL Script、Notebook、Data flow を管理する。 Integrate ・Data Factory ライクなデータ統合パイプラインを管理する。 Monitor ・パイプラインやトリガーの実行状況を監視する。 Manage ・SQL Pool と Spark Pool のスペックやインスタンスを管理する。・権限の付与や閉域ネットワークなどのセキュリティを管理する。・Synapse Analytics のアーティファクトを Git Repository で管理する。

Slide 7

Slide 7 text

SQL Pool – Dedicated SQL Pool Massively Parallel Processing（MPP）による並列処理が可能なデータウェアハウスです。（旧称 SQL Data Warehouse） Copyright© 2021, JAZUG All Rights Reserved. 7 SQL Server がベースのデータウェアハウス T-SQL クエリを実行でき、SSMS など使い慣れたツールで管理できるスタースキーマと呼ばれる構造化されたリレーショナル形式でモデリングコンピューティングとストレージを分離したスケールアウトアーキテクチャ Compute Node は最大 60 個データは Azure Storage に配置され、容量は無制限パフォーマンスレベルは、DWU で指定するデータのパーティションやインデックスをチューニングして、効率的に並列処理させる

Slide 8

Slide 8 text

SQL Pool – Serverless SQL Pool Azure Data Lake Storage に格納したファイルに対して、T-SQL クエリを実行できる論理的なデータウェアハウスです。 Copyright© 2021, JAZUG All Rights Reserved. 8 T-SQL クエリを実行可能なエンドポイント OPENROWSET 関数でファイルを読み取り、スキーマの自動検出も可能対応ファイル形式は、CSV / JSON / Parquet クエリを最適化する Materialized View などはない事前に Compute Node がプロビジョニングされていないサーバーレスアーキテクチャ DQP が空いている Compute Node を探して、クエリを分割して実行する専用のローカルストレージをもたないクエリで返されるデータ量に基づいた課金（1日、 1週間、1か月で利用上限を設定可能）

Slide 9

Slide 9 text

Apache Spark Pool Spark を使ってデータをメモリにキャッシュし、並列分散処理によるパフォーマンスに優れた分析エンジンです。 Copyright© 2021, JAZUG All Rights Reserved. 9 ✓ Synapse Studio に Notebook が統合されており、Apache Spark クラスタを立ち上げてジョブを実行できる。 ✓ PySpark (Python) ✓ Spark (Scala) ✓ SparkSQL ✓ .NET for Apache Spark (C#) 。 ✓ DataFrame を Spark テーブルに格納すれば、T-SQL クエリを実行できる

Slide 10

Slide 10 text

Synapse Pipeline Azure Data Factory と同様に、データの移動や変換のステップを含んだパイプラインを作成し、トリガーでスケジューリングできる ETL ツールです。 Copyright© 2021, JAZUG All Rights Reserved. 10 Object Description Pipeline ・Activity が複数集まったもの・ワークフローを構築し、トリガー実行する Activity ・データ移動、データ変換、フロー制御の３種類・統合ランタイム（VM）で実行される Linked Service ・Activity から利用するデータストアの接続情報 Data Set ・接続先データストアのテーブルやファイル・Activity から Data Set に書き込みや読み取りする

Slide 11

Slide 11 text

Azure Synapse Link for Azure Cosmos DB Azure Cosmos DB と Azure Synapse Analytics をシームレスに統合できるサービスです。業務トランザクションデータに対して、システムのパフォーマンスに影響を与えず、リアルタイムに分析できる完全に分離された列指向な Azure Cosmos DB 分析ストア Copyright© 2021, JAZUG All Rights Reserved. 11

Slide 12

Slide 12 text

Slide 13

Slide 13 text

売上分析プラットフォーム各店舗の POS システムから売上データを収集し、全店舗のデータをまとめた横断的な売上分析を行う想定シナリオです。 Copyright© 2021, JAZUG All Rights Reserved. 13 各店舗の売上データは、日次単位で XML 形式のファイルがアップロードされる各店舗の顧客マスターは、バラバラのローカルコードが使われているため、標準顧客マスターのコードをマッピングする全店舗の売上データを集めて、顧客ごとの売上状況を分析する

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Batch Layer Batch Layer は、Data Lake から DWH を作る責務を持ちます。 Copyright© 2021, JAZUG All Rights Reserved. 17 ✓ Mapping Data Flow で Data Lake Storage Gen2 の Parquet から Dedicated SQL Pool に売上データを取り込むパイプラインを作成します。 ✓ 売上データを取り込む過程で、SQL Database の顧客マスターと突き合わせて、各店舗のローカルコードを標準コードに変換します。

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Serving Layer Serving Layer は、DWH から Data Mart を作る責務を持ちます。 Copyright© 2021, JAZUG All Rights Reserved. 19 Mapping Data Flow を使って、Dedicated SQL Pool の売上データから SQL Database に顧客別売上データを取り込むパイプラインを作成します。 Data Mart には、顧客別売上データが SQL Database の SalesByCustomer テーブルに蓄積されます。

Slide 20

Slide 20 text

Slide 21

Slide 21 text

まとめ Azure Synapse Analytics は、使い慣れた T-SQL や GUI だけでなく、Spark を組み合わせることもできる統合分析サービスです。データは構造化・非構造化を問わず一元管理データの収集・加工・蓄積をパイプラインで統合モニタリングでパイプラインの実行を監視 Azure Active Directory 認証によるセキュリティ強化 21 Copyright© 2021, JAZUG All Rights Reserved.

Slide 22

Slide 22 text

参考資料 Azure Synapse Analytics の公式ドキュメント https://docs.microsoft.com/ja-jp/azure/synapse-analytics/ Azure Synapse Analytics で分析ソリューションの統合を実現する https://docs.microsoft.com/ja-jp/learn/paths/realize-integrated- analytical-solutions-with-azure-synapse-analytics/ Azure Synapse Analytics を使って売上分析プラットフォームを作ってみた https://gooner.hateblo.jp/entry/2021/01/12/092320 22 Copyright© 2021, JAZUG All Rights Reserved.