CY2021 Updates for ADF & Synapse & Cosmos

Transcript

1. 一足早い 2021 年のアップデート総ざらい
   Azure Data Factory & Azure Synapse Analytics & Azure Cosmos DB
   2021 年 9 月 22 日
   Cloud Solution Architect - Microsoft Japan
   中里 浩之 - Hiroyuki Nakazato - @nakazax
   

   View Slide

2. Notes
    本スライドでは Azure Data Factory & Azure Synapse Analytics &
   Azure Cosmos DB の 2020 年 12 月から 2021 年 9 月までの更新情報
   をまとめています
    資料内で以下の略称で表記することがあります
    Azure Data Factory – ADF / Data Factory
    Azure Synapse Analytics – Synapse / Synapse Analytics
    Azure Cosmos DB – Cosmos / Cosmos DB
   

   View Slide

3. Azure の更新情報の主な入手先
    Azure の更新情報
    https://azure.microsoft.com/ja-jp/updates/
    メジャーな更新情報はここに随時掲載される
    Microsoft Tech Community のブログ
    https://techcommunity.microsoft.com/t5/custom/page/page-id/Blogs
    各製品チームが管理するブログ、メジャーな更新情報の詳細、比較的小粒な更新情報がここ
   に掲載されることがある
    Microsoft Base のブログ
    https://www.microsoft.com/ja-jp/events/azurebase/blog/
    Azure Weekly Update として週一回、更新情報がまとめて掲載される
   

   View Slide

4. Azure の更新情報の主な入手先
    各サービスのスタジオの右上のリリース ノート / 更新プログラム
    日々の機能改善はここに随時掲載される (Azure Purview もこのタイプ)
   Azure Data Factory Studio Azure Synapse Studio
   

   View Slide

5. 更新情報 – Data Factory & Synapse Analytics
   

   View Slide

6. 更新情報 – Data Factory & Synapse Analytics
   2020 年 12 月 ～ 2021 年 3 月
   サービス 種類 発表年月 更新概要 関連リンク
   ADF リージョンの更新 2020年12月 Data Factory の一般提供を Japan West を含む 5 つの追加リージョンで開始Azure updates
   Synapse 一般提供 2020年12月 SQL Database 及び Synapse の Azure Data Share のスナップショット
   共有の一般提供を開始 Azure updates
   ADF & Synapse一般提供 2020年12月 Azure Data Factory のデータ フローの CDM 及び Delta Lake 対応の
   一般提供を開始 Azure updates
   Synapse プレビュー機能 2020年12月 Azure Synapse Analytics のマネージド ID の追加サポートの
   パブリック プレビュー開始 Azure updates
   ADF リージョンの更新 2021年1月 Azure Data Factory の一般提供を 2 つの追加リージョンで開始 Azure updates
   ADF & Synapse一般提供 2021年2月
   一般提供: Azure Data Factory と Azure Synapse のデータ フローが
   予約インスタンスをサポート Microsoft Base
   Synapse 一般提供 2021年3月 Azure SQL の Microsoft サポート操作の監査の一般提供を開始 Azure updates
   Synapse 一般提供 2021年3月 Azure Synapse Link for Azure Cosmos DB: Azure Synapse サーバーレス SQL
   プールのサポートの一般提供開始 Microsoft Base
   Synapse 一般提供 2021年3月 Log Analytics と Event Hub への Azure SQL の監査の一般提供を開始 Azure updates
   Synapse 新機能 2021年3月 Azure Synapse Pathway の発表: データ ウェアハウス移行のターボチャージ
   – Microsoft Tech Community
   Microsoft Base
   Synapse プレビュー機能 2021年3月
   パブリック プレビュー: Azure Synapse Analytics ワークスペース内での
   Azure Purview を使用した検索 Microsoft Base
   Synapse 一般提供 2021年3月
   一般提供: Azure SQL と Azure Synapse Analytics の動的データ マスクに
   よる詳細なアクセス許可 Microsoft Base
   Pick up
   

   View Slide

7. Azure Data Factory のデータ フローの CDM 及び Delta
   Lake 対応の一般提供を開始
   ADF & Synapse / 一般提供 / 2020 年 12 月発表
   ADLS Gen2 で Delta Lake および共通データ モデル (CDM) 形式を有効にすること
   で、Azure Data Factory (ADF) は、新しい ETL ユース ケースのエキサイティング
   な領域を有効にしました。model.json ファイルとマニフェスト CDM ファイルを
   読み取るか、CDM 形式で ADLS Gen2 にデータをシンクします。Delta Lake を使
   用して ADLS Gen2 上のデータをアップサート、更新、削除、および挿入しま
   す。Delta Lake および CDM とも ADF のデータ フロー変換のすべての範囲のサ
   ポートが一般提供されます。
   ドキュメント (CDM): Common Data Model 形式 - Azure Data Factory & Azure Synapse | Microsoft Docs
   ドキュメント (Delta Lake): Azure Data Factory での差分形式 - Azure Data Factory | Microsoft Docs
   

   View Slide

8. 一般提供: Azure Data Factory と Azure Synapse のデー
   タ フローが予約インスタンスをサポート
   ADF & Synapse / 一般提供 / 2021 年 2 月発表
   ADF と Synapse でデータ フローを用いて構築される ETL (抽出、変換、読み込
   み) パイプラインがより広範で複雑になる中、データ フロー用の予約インスタン
   ス料金オプションを使用して時間単位の予約を設定することが可能になりまし
   た。Azure ポータルで [予約] を選択し、Azure Data Factory で予約するデータ フ
   ローの種類として [メモリ最適化] と [汎用] から選択できます。この機能は一般
   提供となっています。
   発表: 一般提供: Azure Data Factory と Azure Synapse のデータ フローが予約インスタンスをサポート | Azure の更新情報 |
   Microsoft Azure
   ドキュメント: ADF と Synapse のデータ フローが予約インスタンス料金をサポート (microsoft.com)
   

   View Slide

9. Azure Synapse Link for Azure Cosmos DB: Azure Synapse
   サーバーレス SQL プールのサポートの一般提供開始
   Synapse / 一般提供 / 2021 年 3 月発表
   Azure Synapse Link の Azure Synapse サーバーレス SQL プールにより、Azure Cosmos DB データ
   でなじみのある分析 T-SQL クエリを実行し、充実したほぼリアルタイムのビジネス インテリ
   ジェンス (BI) ダッシュボードを構築できます。プレビュー版と比較して、2 倍から 3 倍の速さ
   で、Azure Cosmos DB データで分析 T-SQL クエリを実行できるようになりました。既に発表され
   ているとおり、Azure Synapse Analytics の Apache Spark の一般提供も開始されています。これ
   により、トランザクション ワークロードのパフォーマンスに影響を及ぼすことなく、Azure
   Cosmos DB データで ETL 以外の分析処理を実行するさまざまなオプションが提供されます。
   発表: Azure Synapse Link for Azure Cosmos DB: Azure Synapse サーバーレス SQL プールのサポートの一般提供開始 |
   Azure の更新情報 | Microsoft Azure
   ドキュメント: Azure Synapse Link でサーバーレス SQL プールを使用して Azure Cosmos DB データのクエリを実行する –
   Azure Synapse Analytics | Microsoft Docs
   

   View Slide

10. Azure Synapse Pathway の発表: データ ウェアハウス
    移行のターボチャージ – Microsoft Tech Community
    Synapse / 新機能 / 2021 年 3 月発表
    Azure Synapse への移行エクスペリエンスを簡素化できるようにお客様を支援するために、Azure
    Synapse Pathway を発表いたします。数回クリックするだけで、移行元システムをスキャンし、
    既存のスクリプトを自動的に TSQL に変換することができます。これまで数週間または数か月か
    かっていたことを数分で完了できるようになりました。Azure Synapse Pathway は、Teradata、
    Snowflake、Netezza、AWS Redshift、SQL Server、および Google BigQuery からの移行をサポー
    トし、かつてないほど速く Azure Synapse での運用を開始できるようにします。
    発表: Azure Data and AI でデータの力を利用する | Azure のブログと更新情報 | Microsoft Azure
    ドキュメント: Azure Synapse Pathway の発表: データ ウェアハウス移行のターボチャージ – Microsoft Tech Community
    

    View Slide

11. パブリック プレビュー: Azure Synapse Analytics ワー
    クスペース内での Azure Purview を使用した検索
    Synapse / プレビュー機能 / 2021 年 3 月発表
    Azure Synapse Analytics を使用しているデータ サイエンティストやデータ エン
    ジニアは、Synapse Studio 内でネイティブ Azure Purview を使用した検索機能を
    活用し、必要なデータを簡単に見つけることができるようになりました。この統
    合はパブリック プレビューの段階です。Azure Purview アカウントを Azure
    Synapse Analytics に接続して、今すぐ始めましょう。
    発表: パブリック プレビュー: Azure Synapse Analytics ワークスペース内での Azure Purview を使用した検索 | Azure の更
    新情報 | Microsoft Azure
    ドキュメント: Azure Purview を使用した Synapse でのデータの検出、接続、探索 – Azure Synapse Analytics | Microsoft
    Docs
    

    View Slide

12. 更新情報 – Data Factory & Synapse Analytics
    2021 年 4 月 ～ 2021 年 9 月
    サービス 種類 発表年月 更新概要 関連リンク
    ADF リージョンの更新 2021年4月
    継続的なリージョンの拡大: Azure Data Factory の一般提供を 2 つの追加
    リージョンで開始 Microsoft Base
    ADF プレビュー機能 2021年4月 Azure Data Factory でのクラスターの再利用 (パブリック プレビュー) に
    よってデータ フローの実行時間を短縮する Microsoft Base
    ADF リージョンの更新 2021年4月 Azure Data Factory で、2 つの新しい Azure リージョンでのデータ フロー
    の一般提供が開始されました Microsoft Base
    Synapse プレビュー機能 2021年5月
    プライベート プレビュー: NVIDIA GPU Acceleration for Apache Spark™ in
    Azure Synapse Analytics
    Azure updates
    Synapse プレビュー機能 2021年5月 Azure Synapse Analytics で Apache Spark 3.0 サポートのパブリック プレ
    ビュー開始 Azure updates
    Synapse プレビュー機能 2021年5月 パブリック プレビュー: Azure Synapse Link for Dataverse の発表 Azure updates
    Synapse プレビュー機能 2021年6月 Azure Synapse Analytics で T-SQL を使用して Delta Lake ファイルのクエリ
    を実行する (パブリック プレビュー)
    Microsoft Base
    ADF & Synapse一般提供 2021年6月 Azure Data Factory と Azure Synapse を使用したデータ フローでの SQL
    Server のサポート Microsoft Base
    ADF & Synapse廃止機能 2021年8月 Azure Data Factory のコンピューティング最適化データ フローを 2024 年 8
    月 31 日に廃止 Microsoft Base
    Synapse 一般提供 2021年9月 Azure Synapse Analytics で Apache Spark 3.1 の一般提供を開始 Azure updates
    Pick up
    

    View Slide

13. Azure Data Factory でのクラスターの再利用によって
    データ フローの実行時間を短縮する
    ADF / プレビュー機能 / 2021 年 4 月発表
    データ フローは、Just-In-Time の Spark コンピューティングを使用して大規模に
    実行される ADF のローコードの視覚的なデータ変換ツールです。このたび、
    データ フロー アクティビティを実行する目的でクラスター環境を常時利用でき
    るようになりました。これにより、起動時間が極めて短くなります。
    発表: Azure Data Factory でのクラスターの再利用 (パブリック プレビュー) によってデータ フローの実行時間を短縮する
    | Azure の更新情報 | Microsoft Azure
    ドキュメント: Azure Data Factory のデータ フローのパフォーマンス向上 (microsoft.com)
    

    View Slide

14. パブリック プレビュー: Azure Synapse Link for
    Dataverse の発表
    Synapse / プレビュー機能 / 2021 年 5 月発表
    Dataverse 内のデータは、分析が容易に表面化できる潜在的な洞察の金鉱です。Azure Synapse
    Link for Dataverse を使用して、ビジネス アプリケーションに流れ込むデータが分析ソリュー
    ションにも確実に流れるように、顧客が自動的に確認できるようになりました。これにより、お
    客様は、個別のワークストリームではなく、ビジネスアプリケーションでデータを管理するのと
    並行して高度な分析タスクを実行できます。
    数回クリックするだけで、Power Apps または Dynamics 365 で作業している開発者は、
    Dataverse 環境全体を Azure Synapse に提供できます。お客様は、ボタンをクリックして、Azure
    Synapse ワークスペース名を入力するだけです。また、シームレスなエクスペリエンスを実現す
    るために、開発者は Azure Synapse にアクセスするために Power Apps または Dynamics 365
    ポータルから離れる必要はありません。[Azure Synapse Analytics ワークスペースに移動] をク
    リックするだけで、エンド ツー エンドの分析サービスで分析情報の検出を開始できます。
    Microsoft Power Platform Blog Accelerate time to insight with Azure Synapse Link for Dataverse
    

    View Slide

15. Azure Synapse Analytics で T-SQL を使用して Delta
    Lake ファイルのクエリを実行する
    Synapse / プレビュー機能 / 2021 年 6 月発表
    Azure Synapse Analytics のサーバーレス SQL プールを使用すると、Delta Lake 形式で保存されているデータ
    を読み取ることができます。Delta Lake は、Azure Synapse Analytics や Azure Databricks の Apache Spark
    プールを扱うデータ エンジニアによって一般的に使用されているビッグ データ形式です。Delta Lake 形式
    により、データ エンジニアは、保証された ACID の一貫性をもってビッグ データ セットを更新できます。
    Azure Synapse のサーバーレス SQL プールを使用すると、データ アナリストは、データの読み取りと分析
    を行い、Power BI レポートを作成し、Delta Lake 形式で保存されているファイルから直接 Azure Analysis
    Service モデルにデータを読み込むことができます。サーバーレス SQL プール リソースは、Delta Lake 形式
    で保存されているデータとレポートおよび分析ツールを結合します。これにより、データ アナリストおよ
    びエンジニアは、データのコピーや変換を行うことなく、Azure Synapse、Azure Databricks の Apache
    Spark プールとサーバーレス SQL プール間で簡単にデータを共有し、Delta Lake ファイルに基づいてリアル
    タイム レポートを作成できるようになります。
    発表: Azure Synapse Analytics で T-SQL を使用して Delta Lake ファイルのクエリを実行する (パブリック プレビュー) |
    Azure の更新情報 | Microsoft Azure
    ドキュメント: サーバーレス SQL プールを使用して Delta Lake 形式のクエリを実行する (プレビュー) – Azure Synapse
    Analytics | Microsoft Docs
    

    View Slide

16. Azure Synapse Analytics で Apache Spark 3.1 の一般提
    供を開始
    Synapse / 一般提供 / 2021 年 9 月発表
    Azure Synapse でビッグ データ分析を強化し、Azure Synapse ワークスペース内で直接利用でき
    る最新の Spark リリースのすべての新機能を使用できるようになりました。
    このリリースでは、Spark ライブラリの更新に加えて、limit pushdown、最適化されたソート、
    ブルーム フィルターの拡張機能など、Azure Synapse 専用のパフォーマンス拡張機能も追加され
    ています。
    Azure Synapse アナリティクスで利用可能になったオープン ソースの Apache Spark 3.1.2 機能の
    完全な一覧については、リリース ノートを参照してください。
    リリース ノート Spark Release 3.1.2 | Apache Spark
    

    View Slide

17. Data Factory & Synapse Analytics スタジオの
    リリース ノート / 更新プログラムからのピックアップ
    

    View Slide

18. パイプライン アクティビティにデータ フローの出力
    を書き込む
    ADF & Synapse / GA / 2021 年 5 月発表
     データをフォルダーやデータベースに持続的に保持
    することなく、データ フローの結果をパイプライ
    ン内のアクティビティに直接出力できるようになり
    ました。
     マッピング データ フローでのシンク変換 - Azure
    Data Factory & Azure Synapse | Microsoft Docs
    Synapse Studio
    

    View Slide

19. 複数の PBI ワークスペースの Synapse Studio サポート
    Synapse / GA / 2021 年 6 月発表
     Synapse Studio では、複数のPower BI ワークスペー
    スを追加できるようになりました。Synapse Studio
    で [管理] > [リンクされたサービス] に移動
    し、 [新規] > [Power BI に接続] を選択して、複数の
    PBI ワークスペースを追加します。
     マッピング データ フローでのシンク変換 - Azure
    Data Factory & Azure Synapse | Microsoft Docs
    Synapse Studio
    

    View Slide

20. Azure Data Factory マネージド VNET パブリック プレ
    ビューで利用可能な新しいリージョン
    ADF / プレビュー / 2021 年 7 月発表
     東日本、西日本リージョンでもマネージド VNet
    のプレビュー利用が可能に
     マネージド仮想ネットワークとマネージド プラ
    イベート エンドポイント - Azure Data Factory |
    Microsoft Docs
    Data Factory Studio
    

    View Slide

21. カスタム イベント トリガーは、高度なフィルターオ
    プションを使用して GA になりました
    ADF & Synapse / GA / 2021 年 8 月発表
     Event Grid に投稿されたカスタム トピックに応答す
    るトリガーを作成できるようになりました。さら
    に、高度なフィルター処理を活用して、応答するイ
    ベントをきめ細かく制御できます。
     Azure Data Factory でカスタム イベント トリガー
    を作成する - Azure Data Factory | Microsoft Docs
    Data Factory Studio
    

    View Slide

22. 更新情報 – Cosmos DB
    

    View Slide

23. 更新情報 – Cosmos DB
    2021 年 1 月 ～ 2021 年 4 月
    サービス 種類 発表年月 更新概要 リンク
    Cosmos DB 一般提供 2021年1月
    単一リージョン書き込みの複数リージョンの可用性サポートの一般提供を開
    始 Microsoft Base
    Cosmos DB 一般提供 2021年1月 PowerShell コマンドレットを使用した Azure Cosmos DB の管理機能の一般
    提供を開始 Microsoft Base
    Cosmos DB 一般提供 2021年1月 Azure Cosmos DB での LIKE キーワードのサポートの一般提供を開始 Microsoft Base
    Cosmos DB 一般提供 2021年2月 Azure Cosmos DB で複合インデックスを使用する追加の方法の一般提供を
    開始 Microsoft Base
    Cosmos DB 一般提供 2021年3月 Azure Cosmos DB API for MongoDB v4.0 の提供開始 – 今すぐアップグレー
    ドすべき 3 つの理由 Microsoft Base
    Cosmos DB
    & Synapse
    一般提供 2021年3月 Azure Synapse Link for Azure Cosmos DB: Azure Synapse サーバーレス
    SQL プールのサポートの一般提供開始 Microsoft Base
    Cosmos DB プレビュー機能 2021年3月 Azure Cosmos DB の Azure Active Directory (AAD) によるロールベースのア
    クセス制御 (RBAC) のパブリック プレビューを開始 Microsoft Base
    Cosmos DB 廃止機能 2021年3月 2024 年 2 月 29 日までに Azure Cosmos DB Java SDK を更新してください Microsoft Base
    Cosmos DB プレビュー機能 2021年4月 Azure Cosmos DB 向けの Insights とブックのパブリック プレビューを開始 Microsoft Base
    

    View Slide

24. 更新情報 – Cosmos DB
    2021 年 5 月
    サービス 種類 発表年月 更新概要 リンク
    Cosmos DB 一般提供 2021年5月 MongoDB 用 Azure Cosmos DB API での Capacity Calculator の一般提供を
    開始 Microsoft Base
    Cosmos DB 一般提供 2021年5月 Azure Cosmos DB サーバーレスの一般提供開始 Microsoft Base
    Cosmos DB プレビュー機能 2021年5月 Azure Cosmos DB のコスト最適化診断機能のパブリック プレビューを開始 Microsoft Base
    Cosmos DB プレビュー機能 2021年5月 Always Encrypted for Azure Cosmos DB のパブリック プレビューを開始 Microsoft Base
    Cosmos DB プレビュー機能 2021年5月 Azure Cosmos DB Linux エミュレーターのパブリック プレビューを開始 Microsoft Base
    Cosmos DB プレビュー機能 2021年5月 Azure Cosmos DB の部分的なドキュメント更新のプライベート プレビュー
    を開始 Microsoft Base
    Cosmos DB 価格の更新 2021年5月 Azure Cosmos DB の拡張 Free レベルの一般提供開始 Microsoft Base
    Cosmos DB プレビュー機能 2021年5月 Azure Cosmos DB 統合キャッシュのパブリック プレビューを開始 Azure updates
    Cosmos DB 一般提供 2021年5月 Azure Cosmos DB のロール ベースのアクセス制御 (RBAC) の一般提供を開
    始 Azure updates
    

    View Slide

25. 更新情報 – Cosmos DB
    2021 年 6 月 ～ 2021 年 9 月
    サービス 種類 発表年月 更新概要 リンク
    Cosmos DB 一般提供 2021年6月 Azure Cosmos DB の診断ログのフル テキスト クエリの一般提供を開始 Microsoft Base
    Cosmos DB 一般提供 2021年7月 Azure Cosmos DB を使用したセッションおよびキャッシュ プロバイダーの
    一般提供を開始 Microsoft Base
    Cosmos DB 一般提供 2021年7月 Azure Cosmos DB 向けの Insights とブックの一般提供を開始 Microsoft Base
    Cosmos DB 廃止機能 2021年8月 2024 年 8 月 31 日までに Java SDK 3.x を Java SDK 4.x に更新してくださ
    い Microsoft Base
    Cosmos DB 廃止機能 2021年8月 Azure Cosmos DB .NET SDK のバージョン 2.x を 2024 年 8 月 31 日に廃止 Microsoft Base
    Cosmos DB 廃止機能 2021年8月 Azure Cosmos DB Java SDK の Async 2.x バージョンを 2024 年 8 月 31 日
    に廃止 Microsoft Base
    Cosmos DB 一般提供 2021年8月 Azure Cosmos DB: ポイントインタイム リストア機能を使用した継続的バッ
    クアップの一般提供を開始 Microsoft Base
    Cosmos DB プレビュー機能 2021年9月 Azure Cosmos DB: Azure Functions extension version 4.0 のパブリック プ
    レビューを開始 Azure updates
    

    View Slide

26. © Copyright Microsoft Corporation. All rights reserved.
    

    View Slide