CY2021 Updates for ADF & Synapse & Cosmos

Transcript

1. 一足早い 2021 年のアップデート総ざらい Azure Data Factory & Azure Synapse Analytics & Azure Cosmos DB 2021 年 9 月 22 日 Cloud Solution Architect - Microsoft Japan 中里 浩之 - Hiroyuki Nakazato - @nakazax
2. Notes  本スライドでは Azure Data Factory & Azure Synapse Analytics & Azure Cosmos DB の 2020 年 12 月から 2021 年 9 月までの更新情報 をまとめています  資料内で以下の略称で表記することがあります  Azure Data Factory – ADF / Data Factory  Azure Synapse Analytics – Synapse / Synapse Analytics  Azure Cosmos DB – Cosmos / Cosmos DB
3. Azure の更新情報の主な入手先  Azure の更新情報  https://azure.microsoft.com/ja-jp/updates/  メジャーな更新情報はここに随時掲載される  Microsoft Tech Community のブログ  https://techcommunity.microsoft.com/t5/custom/page/page-id/Blogs  各製品チームが管理するブログ、メジャーな更新情報の詳細、比較的小粒な更新情報がここ に掲載されることがある  Microsoft Base のブログ  https://www.microsoft.com/ja-jp/events/azurebase/blog/  Azure Weekly Update として週一回、更新情報がまとめて掲載される
4. Azure の更新情報の主な入手先  各サービスのスタジオの右上のリリース ノート / 更新プログラム  日々の機能改善はここに随時掲載される (Azure Purview もこのタイプ) Azure Data Factory Studio Azure Synapse Studio
5. 更新情報 – Data Factory & Synapse Analytics
6. 更新情報 – Data Factory & Synapse Analytics 2020 年 12 月 ～ 2021 年 3 月 サービス 種類 発表年月 更新概要 関連リンク ADF リージョンの更新 2020年12月 Data Factory の一般提供を Japan West を含む 5 つの追加リージョンで開始Azure updates Synapse 一般提供 2020年12月 SQL Database 及び Synapse の Azure Data Share のスナップショット 共有の一般提供を開始 Azure updates ADF & Synapse一般提供 2020年12月 Azure Data Factory のデータ フローの CDM 及び Delta Lake 対応の 一般提供を開始 Azure updates Synapse プレビュー機能 2020年12月 Azure Synapse Analytics のマネージド ID の追加サポートの パブリック プレビュー開始 Azure updates ADF リージョンの更新 2021年1月 Azure Data Factory の一般提供を 2 つの追加リージョンで開始 Azure updates ADF & Synapse一般提供 2021年2月 一般提供: Azure Data Factory と Azure Synapse のデータ フローが 予約インスタンスをサポート Microsoft Base Synapse 一般提供 2021年3月 Azure SQL の Microsoft サポート操作の監査の一般提供を開始 Azure updates Synapse 一般提供 2021年3月 Azure Synapse Link for Azure Cosmos DB: Azure Synapse サーバーレス SQL プールのサポートの一般提供開始 Microsoft Base Synapse 一般提供 2021年3月 Log Analytics と Event Hub への Azure SQL の監査の一般提供を開始 Azure updates Synapse 新機能 2021年3月 Azure Synapse Pathway の発表: データ ウェアハウス移行のターボチャージ – Microsoft Tech Community Microsoft Base Synapse プレビュー機能 2021年3月 パブリック プレビュー: Azure Synapse Analytics ワークスペース内での Azure Purview を使用した検索 Microsoft Base Synapse 一般提供 2021年3月 一般提供: Azure SQL と Azure Synapse Analytics の動的データ マスクに よる詳細なアクセス許可 Microsoft Base Pick up
7. Azure Data Factory のデータ フローの CDM 及び Delta Lake 対応の一般提供を開始 ADF & Synapse / 一般提供 / 2020 年 12 月発表 ADLS Gen2 で Delta Lake および共通データ モデル (CDM) 形式を有効にすること で、Azure Data Factory (ADF) は、新しい ETL ユース ケースのエキサイティング な領域を有効にしました。model.json ファイルとマニフェスト CDM ファイルを 読み取るか、CDM 形式で ADLS Gen2 にデータをシンクします。Delta Lake を使 用して ADLS Gen2 上のデータをアップサート、更新、削除、および挿入しま す。Delta Lake および CDM とも ADF のデータ フロー変換のすべての範囲のサ ポートが一般提供されます。 ドキュメント (CDM): Common Data Model 形式 - Azure Data Factory & Azure Synapse | Microsoft Docs ドキュメント (Delta Lake): Azure Data Factory での差分形式 - Azure Data Factory | Microsoft Docs
8. 一般提供: Azure Data Factory と Azure Synapse のデー タ フローが予約インスタンスをサポート ADF & Synapse / 一般提供 / 2021 年 2 月発表 ADF と Synapse でデータ フローを用いて構築される ETL (抽出、変換、読み込 み) パイプラインがより広範で複雑になる中、データ フロー用の予約インスタン ス料金オプションを使用して時間単位の予約を設定することが可能になりまし た。Azure ポータルで [予約] を選択し、Azure Data Factory で予約するデータ フ ローの種類として [メモリ最適化] と [汎用] から選択できます。この機能は一般 提供となっています。 発表: 一般提供: Azure Data Factory と Azure Synapse のデータ フローが予約インスタンスをサポート | Azure の更新情報 | Microsoft Azure ドキュメント: ADF と Synapse のデータ フローが予約インスタンス料金をサポート (microsoft.com)
9. Azure Synapse Link for Azure Cosmos DB: Azure Synapse サーバーレス SQL プールのサポートの一般提供開始 Synapse / 一般提供 / 2021 年 3 月発表 Azure Synapse Link の Azure Synapse サーバーレス SQL プールにより、Azure Cosmos DB データ でなじみのある分析 T-SQL クエリを実行し、充実したほぼリアルタイムのビジネス インテリ ジェンス (BI) ダッシュボードを構築できます。プレビュー版と比較して、2 倍から 3 倍の速さ で、Azure Cosmos DB データで分析 T-SQL クエリを実行できるようになりました。既に発表され ているとおり、Azure Synapse Analytics の Apache Spark の一般提供も開始されています。これ により、トランザクション ワークロードのパフォーマンスに影響を及ぼすことなく、Azure Cosmos DB データで ETL 以外の分析処理を実行するさまざまなオプションが提供されます。 発表: Azure Synapse Link for Azure Cosmos DB: Azure Synapse サーバーレス SQL プールのサポートの一般提供開始 | Azure の更新情報 | Microsoft Azure ドキュメント: Azure Synapse Link でサーバーレス SQL プールを使用して Azure Cosmos DB データのクエリを実行する – Azure Synapse Analytics | Microsoft Docs
10. Azure Synapse Pathway の発表: データ ウェアハウス 移行のターボチャージ – Microsoft Tech Community Synapse / 新機能 / 2021 年 3 月発表 Azure Synapse への移行エクスペリエンスを簡素化できるようにお客様を支援するために、Azure Synapse Pathway を発表いたします。数回クリックするだけで、移行元システムをスキャンし、 既存のスクリプトを自動的に TSQL に変換することができます。これまで数週間または数か月か かっていたことを数分で完了できるようになりました。Azure Synapse Pathway は、Teradata、 Snowflake、Netezza、AWS Redshift、SQL Server、および Google BigQuery からの移行をサポー トし、かつてないほど速く Azure Synapse での運用を開始できるようにします。 発表: Azure Data and AI でデータの力を利用する | Azure のブログと更新情報 | Microsoft Azure ドキュメント: Azure Synapse Pathway の発表: データ ウェアハウス移行のターボチャージ – Microsoft Tech Community
11. パブリック プレビュー: Azure Synapse Analytics ワー クスペース内での Azure Purview を使用した検索 Synapse / プレビュー機能 / 2021 年 3 月発表 Azure Synapse Analytics を使用しているデータ サイエンティストやデータ エン ジニアは、Synapse Studio 内でネイティブ Azure Purview を使用した検索機能を 活用し、必要なデータを簡単に見つけることができるようになりました。この統 合はパブリック プレビューの段階です。Azure Purview アカウントを Azure Synapse Analytics に接続して、今すぐ始めましょう。 発表: パブリック プレビュー: Azure Synapse Analytics ワークスペース内での Azure Purview を使用した検索 | Azure の更 新情報 | Microsoft Azure ドキュメント: Azure Purview を使用した Synapse でのデータの検出、接続、探索 – Azure Synapse Analytics | Microsoft Docs
12. 更新情報 – Data Factory & Synapse Analytics 2021 年 4 月 ～ 2021 年 9 月 サービス 種類 発表年月 更新概要 関連リンク ADF リージョンの更新 2021年4月 継続的なリージョンの拡大: Azure Data Factory の一般提供を 2 つの追加 リージョンで開始 Microsoft Base ADF プレビュー機能 2021年4月 Azure Data Factory でのクラスターの再利用 (パブリック プレビュー) に よってデータ フローの実行時間を短縮する Microsoft Base ADF リージョンの更新 2021年4月 Azure Data Factory で、2 つの新しい Azure リージョンでのデータ フロー の一般提供が開始されました Microsoft Base Synapse プレビュー機能 2021年5月 プライベート プレビュー: NVIDIA GPU Acceleration for Apache Spark™ in Azure Synapse Analytics Azure updates Synapse プレビュー機能 2021年5月 Azure Synapse Analytics で Apache Spark 3.0 サポートのパブリック プレ ビュー開始 Azure updates Synapse プレビュー機能 2021年5月 パブリック プレビュー: Azure Synapse Link for Dataverse の発表 Azure updates Synapse プレビュー機能 2021年6月 Azure Synapse Analytics で T-SQL を使用して Delta Lake ファイルのクエリ を実行する (パブリック プレビュー) Microsoft Base ADF & Synapse一般提供 2021年6月 Azure Data Factory と Azure Synapse を使用したデータ フローでの SQL Server のサポート Microsoft Base ADF & Synapse廃止機能 2021年8月 Azure Data Factory のコンピューティング最適化データ フローを 2024 年 8 月 31 日に廃止 Microsoft Base Synapse 一般提供 2021年9月 Azure Synapse Analytics で Apache Spark 3.1 の一般提供を開始 Azure updates Pick up
13. Azure Data Factory でのクラスターの再利用によって データ フローの実行時間を短縮する ADF / プレビュー機能 / 2021 年 4 月発表 データ フローは、Just-In-Time の Spark コンピューティングを使用して大規模に 実行される ADF のローコードの視覚的なデータ変換ツールです。このたび、 データ フロー アクティビティを実行する目的でクラスター環境を常時利用でき るようになりました。これにより、起動時間が極めて短くなります。 発表: Azure Data Factory でのクラスターの再利用 (パブリック プレビュー) によってデータ フローの実行時間を短縮する | Azure の更新情報 | Microsoft Azure ドキュメント: Azure Data Factory のデータ フローのパフォーマンス向上 (microsoft.com)
14. パブリック プレビュー: Azure Synapse Link for Dataverse の発表 Synapse / プレビュー機能 / 2021 年 5 月発表 Dataverse 内のデータは、分析が容易に表面化できる潜在的な洞察の金鉱です。Azure Synapse Link for Dataverse を使用して、ビジネス アプリケーションに流れ込むデータが分析ソリュー ションにも確実に流れるように、顧客が自動的に確認できるようになりました。これにより、お 客様は、個別のワークストリームではなく、ビジネスアプリケーションでデータを管理するのと 並行して高度な分析タスクを実行できます。 数回クリックするだけで、Power Apps または Dynamics 365 で作業している開発者は、 Dataverse 環境全体を Azure Synapse に提供できます。お客様は、ボタンをクリックして、Azure Synapse ワークスペース名を入力するだけです。また、シームレスなエクスペリエンスを実現す るために、開発者は Azure Synapse にアクセスするために Power Apps または Dynamics 365 ポータルから離れる必要はありません。[Azure Synapse Analytics ワークスペースに移動] をク リックするだけで、エンド ツー エンドの分析サービスで分析情報の検出を開始できます。 Microsoft Power Platform Blog Accelerate time to insight with Azure Synapse Link for Dataverse
15. Azure Synapse Analytics で T-SQL を使用して Delta Lake ファイルのクエリを実行する Synapse / プレビュー機能 / 2021 年 6 月発表 Azure Synapse Analytics のサーバーレス SQL プールを使用すると、Delta Lake 形式で保存されているデータ を読み取ることができます。Delta Lake は、Azure Synapse Analytics や Azure Databricks の Apache Spark プールを扱うデータ エンジニアによって一般的に使用されているビッグ データ形式です。Delta Lake 形式 により、データ エンジニアは、保証された ACID の一貫性をもってビッグ データ セットを更新できます。 Azure Synapse のサーバーレス SQL プールを使用すると、データ アナリストは、データの読み取りと分析 を行い、Power BI レポートを作成し、Delta Lake 形式で保存されているファイルから直接 Azure Analysis Service モデルにデータを読み込むことができます。サーバーレス SQL プール リソースは、Delta Lake 形式 で保存されているデータとレポートおよび分析ツールを結合します。これにより、データ アナリストおよ びエンジニアは、データのコピーや変換を行うことなく、Azure Synapse、Azure Databricks の Apache Spark プールとサーバーレス SQL プール間で簡単にデータを共有し、Delta Lake ファイルに基づいてリアル タイム レポートを作成できるようになります。 発表: Azure Synapse Analytics で T-SQL を使用して Delta Lake ファイルのクエリを実行する (パブリック プレビュー) | Azure の更新情報 | Microsoft Azure ドキュメント: サーバーレス SQL プールを使用して Delta Lake 形式のクエリを実行する (プレビュー) – Azure Synapse Analytics | Microsoft Docs
16. Azure Synapse Analytics で Apache Spark 3.1 の一般提 供を開始 Synapse / 一般提供 / 2021 年 9 月発表 Azure Synapse でビッグ データ分析を強化し、Azure Synapse ワークスペース内で直接利用でき る最新の Spark リリースのすべての新機能を使用できるようになりました。 このリリースでは、Spark ライブラリの更新に加えて、limit pushdown、最適化されたソート、 ブルーム フィルターの拡張機能など、Azure Synapse 専用のパフォーマンス拡張機能も追加され ています。 Azure Synapse アナリティクスで利用可能になったオープン ソースの Apache Spark 3.1.2 機能の 完全な一覧については、リリース ノートを参照してください。 リリース ノート Spark Release 3.1.2 | Apache Spark
17. Data Factory & Synapse Analytics スタジオの リリース ノート / 更新プログラムからのピックアップ
18. パイプライン アクティビティにデータ フローの出力 を書き込む ADF & Synapse / GA / 2021 年 5 月発表  データをフォルダーやデータベースに持続的に保持 することなく、データ フローの結果をパイプライ ン内のアクティビティに直接出力できるようになり ました。  マッピング データ フローでのシンク変換 - Azure Data Factory & Azure Synapse | Microsoft Docs Synapse Studio
19. 複数の PBI ワークスペースの Synapse Studio サポート Synapse / GA / 2021 年 6 月発表  Synapse Studio では、複数のPower BI ワークスペー スを追加できるようになりました。Synapse Studio で [管理] > [リンクされたサービス] に移動 し、 [新規] > [Power BI に接続] を選択して、複数の PBI ワークスペースを追加します。  マッピング データ フローでのシンク変換 - Azure Data Factory & Azure Synapse | Microsoft Docs Synapse Studio
20. Azure Data Factory マネージド VNET パブリック プレ ビューで利用可能な新しいリージョン ADF / プレビュー / 2021 年 7 月発表  東日本、西日本リージョンでもマネージド VNet のプレビュー利用が可能に  マネージド仮想ネットワークとマネージド プラ イベート エンドポイント - Azure Data Factory | Microsoft Docs Data Factory Studio
21. カスタム イベント トリガーは、高度なフィルターオ プションを使用して GA になりました ADF & Synapse / GA / 2021 年 8 月発表  Event Grid に投稿されたカスタム トピックに応答す るトリガーを作成できるようになりました。さら に、高度なフィルター処理を活用して、応答するイ ベントをきめ細かく制御できます。  Azure Data Factory でカスタム イベント トリガー を作成する - Azure Data Factory | Microsoft Docs Data Factory Studio
22. 更新情報 – Cosmos DB
23. 更新情報 – Cosmos DB 2021 年 1 月 ～ 2021 年 4 月 サービス 種類 発表年月 更新概要 リンク Cosmos DB 一般提供 2021年1月 単一リージョン書き込みの複数リージョンの可用性サポートの一般提供を開 始 Microsoft Base Cosmos DB 一般提供 2021年1月 PowerShell コマンドレットを使用した Azure Cosmos DB の管理機能の一般 提供を開始 Microsoft Base Cosmos DB 一般提供 2021年1月 Azure Cosmos DB での LIKE キーワードのサポートの一般提供を開始 Microsoft Base Cosmos DB 一般提供 2021年2月 Azure Cosmos DB で複合インデックスを使用する追加の方法の一般提供を 開始 Microsoft Base Cosmos DB 一般提供 2021年3月 Azure Cosmos DB API for MongoDB v4.0 の提供開始 – 今すぐアップグレー ドすべき 3 つの理由 Microsoft Base Cosmos DB & Synapse 一般提供 2021年3月 Azure Synapse Link for Azure Cosmos DB: Azure Synapse サーバーレス SQL プールのサポートの一般提供開始 Microsoft Base Cosmos DB プレビュー機能 2021年3月 Azure Cosmos DB の Azure Active Directory (AAD) によるロールベースのア クセス制御 (RBAC) のパブリック プレビューを開始 Microsoft Base Cosmos DB 廃止機能 2021年3月 2024 年 2 月 29 日までに Azure Cosmos DB Java SDK を更新してください Microsoft Base Cosmos DB プレビュー機能 2021年4月 Azure Cosmos DB 向けの Insights とブックのパブリック プレビューを開始 Microsoft Base
24. 更新情報 – Cosmos DB 2021 年 5 月 サービス 種類 発表年月 更新概要 リンク Cosmos DB 一般提供 2021年5月 MongoDB 用 Azure Cosmos DB API での Capacity Calculator の一般提供を 開始 Microsoft Base Cosmos DB 一般提供 2021年5月 Azure Cosmos DB サーバーレスの一般提供開始 Microsoft Base Cosmos DB プレビュー機能 2021年5月 Azure Cosmos DB のコスト最適化診断機能のパブリック プレビューを開始 Microsoft Base Cosmos DB プレビュー機能 2021年5月 Always Encrypted for Azure Cosmos DB のパブリック プレビューを開始 Microsoft Base Cosmos DB プレビュー機能 2021年5月 Azure Cosmos DB Linux エミュレーターのパブリック プレビューを開始 Microsoft Base Cosmos DB プレビュー機能 2021年5月 Azure Cosmos DB の部分的なドキュメント更新のプライベート プレビュー を開始 Microsoft Base Cosmos DB 価格の更新 2021年5月 Azure Cosmos DB の拡張 Free レベルの一般提供開始 Microsoft Base Cosmos DB プレビュー機能 2021年5月 Azure Cosmos DB 統合キャッシュのパブリック プレビューを開始 Azure updates Cosmos DB 一般提供 2021年5月 Azure Cosmos DB のロール ベースのアクセス制御 (RBAC) の一般提供を開 始 Azure updates
25. 更新情報 – Cosmos DB 2021 年 6 月 ～ 2021 年 9 月 サービス 種類 発表年月 更新概要 リンク Cosmos DB 一般提供 2021年6月 Azure Cosmos DB の診断ログのフル テキスト クエリの一般提供を開始 Microsoft Base Cosmos DB 一般提供 2021年7月 Azure Cosmos DB を使用したセッションおよびキャッシュ プロバイダーの 一般提供を開始 Microsoft Base Cosmos DB 一般提供 2021年7月 Azure Cosmos DB 向けの Insights とブックの一般提供を開始 Microsoft Base Cosmos DB 廃止機能 2021年8月 2024 年 8 月 31 日までに Java SDK 3.x を Java SDK 4.x に更新してくださ い Microsoft Base Cosmos DB 廃止機能 2021年8月 Azure Cosmos DB .NET SDK のバージョン 2.x を 2024 年 8 月 31 日に廃止 Microsoft Base Cosmos DB 廃止機能 2021年8月 Azure Cosmos DB Java SDK の Async 2.x バージョンを 2024 年 8 月 31 日 に廃止 Microsoft Base Cosmos DB 一般提供 2021年8月 Azure Cosmos DB: ポイントインタイム リストア機能を使用した継続的バッ クアップの一般提供を開始 Microsoft Base Cosmos DB プレビュー機能 2021年9月 Azure Cosmos DB: Azure Functions extension version 4.0 のパブリック プ レビューを開始 Azure updates
26. © Copyright Microsoft Corporation. All rights reserved.