Microsoft Build 2022 Recap Party!! Azure のデータ & 分析サービス 注目アップデート / microsoft-build-2022-recap-azure-data-and-analytics

Transcript

1. Microsoft Build 2022 Recap Party!! Azure データ & 分析サービス 注⽬アップデート ⽇本マイクロソフト株式会社 クラウド ソリューション アーキテクト 中⾥ 浩之 ⾼橋 敬祐 太⽥ 智⾏ Microsoft MVP for Data Platform ⼩澤 真之
2. セッションの概要 Microsoft Build 2022 で発表された Azure のデータ & 分析サービスに関する 数多くのアップデートのうち、特に注⽬頂きたいアップデートを⽇本マイクロソフトの クラウド ソリューション アーキテクトと Microsoft MVP が持ち寄って語ります！
3. スピーカー紹介 ⽇本マイクロソフト株式会社 クラウド ソリューション アーキテクト 中⾥ 浩之 ⾼橋 敬祐 太⽥ 智⾏ Microsoft MVP for Data Platform ⼩澤 真之
4. Azure データ & 分析サービス Build アップデートを把握する 1. Microsoft Build 2022 Book of News ž Microsoft 公式のアップデートのガイド、まずは⼿引きとして 2. Build でのアップデートに関連するドキュメント集 ž Build 前後で更新された 800+ (!!) の公式ドキュメントのリンク 3. Build ⽇本語セッション - Azure データ & 分析サービス 最新アップデート ž CSA 中⾥の Build ⽇本語セッション、事前収録のため⼤体半分ぐらいのアップデートをカバー 4. SE の雑記 (engineer-memo.com) ž MVP ⼩澤さんのブログ、SQL Server 系の技術を中⼼にフレッシュ & 詳細な情報が満載 5. Microsoft Build 2022 Updates on Azure Data & AI at a glance ž CSA ⾼橋さん作成、Data & AI の Build アップデートの全体像が⼀枚で把握できるマップ
5. RBAC suport for MongoDB API Point-in-time restore Continuous backup 16MB limit per document in API for MongoDB Improved 30-day free trial (GA) Hierarchical partition keys Redistribute throughput across partitions Azure Metrics Advisor Azure Bot Service Azure Form Recognizer (Preview) Azure OpenAI (Preview) Azure Cognitive Service for Language Command Line Interface v2 (GA) Responsible AI Dashboard (Preview) AutoML Managed Endpoints (GA) The Python SDK v2 (Preview) GA SQL Managed Instance Business Critical service tier Ledger feature New JSON constructors and ISJSON enhancements Local development environment Updated input and output bindings in Azure Functions (Preview) Microsoft Graph Data Connect Azure Synapse Link for SQL No code stream processing (Preview) Flexible Server for business-critical workloads (GA) (Former Memory Optimized service tier) Data Policy for SQL DevOps access provisioning (Preview) Data Estate Insights (GA in July 1) Capabilities for Adobe Acrobat Microsoft Graph API for Purview Records Management Preview Datamart Auto-tuning capability (Preview) New document processing scenarios Streamlining patient Check-in Vaccine verification Insurance card and vaccine card prebuilt models Power Virtual Agents integration (Preview) Microsoft Graph Microsoft Build 2022 Updates on Azure Data & AI at a glance Open Source DB & NoSQL AI & ML Others SQL Server Family Created by Keisuke Takahashi, Contributed by Tomoyuki Oota (DATA) Azure Functions Azure Arc PII detection for conversations Rebranded Text Summarization to Document summarization (Preview) Conversation summarization (Preview) GA features Custom text classification Orchestration workflow Custom Named Entity Recognition (NER) Conversational language understanding 11 updates for custom text classification custom Named Entity Recognition (NER) conversational language understanding orchestration workflow Data splitting controls Ability to cancel training jobs Custom deployments can be named. You can have up to 10 deployments. Ability to swap deployments Enterprise readiness support Auto labeling (preview) for custom named entity recognition Training modes for conversational language understanding Ability to use free (F0) tier for Language resources Updated service limits Updated model life cycle to add training configuration versions Expanded regional availability Data explorer Model overview and fairness assessment Error Analysis Model interpretability Counterfactual What-If's Causal analysis Model debugging Business decision making When to use How to use YAML AML Studio Python Support for natural language processing Support for image tasks Generation of model's training codes Enhancements for product integration Enhancements for MLOps Preview Guide Guide Tutorial Guide SKU Monitoring Guide Training Models Configuring AutoML Building ML Pipelines Release note Guide Install and configuration Managing ML environment Training Models MLflow Tracking Known limitations FAQ Azure Synapse Link for SQL Server 2022 (Preview) Azure Synapse Link for Azure SQL Database (Preview) Guide Guide Change feed Management Overview Database Ledger Considerations and limitations Announcement Configuration How-tos Append-only ledger tables Updatable ledger tables Create & use Verification for tempering detection New JSON constructors ISJSON enhancements JSON_OBJECT JSON_ARRAY JSON_PATH_EXISTS ISJSON Announcement Concept Configuration Quickstart Create database project Publish to the local emulator How-tos Announcement Overview Input binding Output binding Announcement Release note What's new Analytics Availability Security Performance Management Language Tools SQL Machine Learning Services Azure Synapse Link for SQL Object storage integration Link to Azure SQL Managed Instance Contained availability group Distributed availability group Improved availability groups Improved backup metadata Microsoft Defender for Cloud integration Microsoft Purview integration Ledger Azure Active Directory authentication Always encrypted with secure enclaves New permissions & roles Granular Dynamic data UNMASKing Support for PFX certificates, symmetric key enhancements, and other crypto improvements Support MS-TDS 8.0 protocol Query Store on secondary replicas Query Store hints Memory grant feedback In-memory OLTP management Parameter sensitive plan optimization XML compression Improved optimization System page latch concurrency enhancements Buffer pool parallel scan Degree of parallelism (DOP) feedback Cardinality estimation feedback Optimized plan forcing Setup attached to Azure Max server memory calculations Accelerated Database Recovery (ADR) improvements Improved snapshot backup support Shrink database wait with low priority Asynchronous auto update statistics concurrency Backup and restore to S3 compatible object storage CREATE STATISTICS Time series functions JSON functions SELECT ... WINDOW clause Resumable add table constraints T-SQL functions Azure Data Studio Distributed Replay (separate download) SQL Server Management Studio v19.0 SqlPackage.exe v19 VS Code v1.67 Announcement Overview Limitations Features Transparent data encryption HA DR Service tiers Capabilities ...and more New Burstable compute instances for Azure Database for MySQL - Flexible Server Known issues Burst capacity FAQ FAQ FAQ Merge partiitions 1TB serverless container capacity Azure Teams with Industry Leaders Meta AMD Hugging Face Autoscale streaming units (Preview) AzureML integration (ML model as UDF) (GA) Microsoft Build 2022 Book of News Microsoft Docs updates and news following the Microsoft Build 2022 announcements! - Microsoft Tech Community References Distri Advisor Multi-col Distri table New MERGE command (GA) Cross-Subscription Restore Column-level encryption (GA) 13th Azure Data and AI Tech Lunch (Jun 9, 2022) Microsoft Build2022 Data & AI (Jun 13, 2022) Microsoft Build 2022 Recap Party!! (Jun 16, 2022) Related events (in Japan) Support for MongoDB data in the Azure Cosmos DB Linux desktop emulator Azure Cosmos DB Azure Applied AI Services Azure Cognitive Services Azure Machine Learning Azure Synapse Analytics SQL Server 2022 Azure Arc- enabled data services Azure Database for MySQL Microsoft Purview Stream Analytics Azure SQL Database Power BI Microsoft Build 2022 Updates on Azure Data&AI Microsoft Intelligent Data Platform
6. 各⾃の注⽬アップデート!! SQL Server 2022 Public Preview Microsoft Intelligent Data Platform & データマート (Power BI) Azure Stream Analytics アップデート 地道な UX の改善
7. 各⾃の注⽬アップデート!! SQL Server 2022 Public Preview Microsoft Intelligent Data Platform & データマート (Power BI) Azure Stream Analytics アップデート 地道な UX の改善
8. aka.ms/getsqlserver2022 https://aka.ms/sqlserver2022 • Download https://aka.ms/getsqlserver2022 • 製品情報スライド https://aka.ms/sqlserver2022decks • デモコンテンツ https://aka.ms/sqlserver2022demos • What's new in SQL Server 2022 (16.x) Preview https://docs.microsoft.com/en-us/sql/sql-server/what-s-new-in-sql-server-2022 • SQL Server 2022 (16.x) Preview release notes https://docs.microsoft.com/en-us/sql/sql-server/sql-server-2022-release-notes 製品情報
9. SQL Server 2022 の機能 SQL Server 2022 クエリインテリジェンスの搭載 セキュリティ スケーラビリティ 可⽤性 データ仮想化 オブジェクトストレージ T-SQL の拡張 クラウドとの接続
10. SQL Server 2022 クラウドとの接続 SQL Server 2022 Azure SQL Managed Instance (MI) Azure Synapse Analytics Microsoft Purview Azure Active Directory Microsoft Defender for SQL データの複製 フェイルオーバー データ変更 (Synapse Link) スキーマと ポリシー 認証 アセスメント アラート 分散型可⽤性グループ MI とのデータ連携で利⽤ セルフホスト 統合ランタイム Synapse Link で利⽤ Azure Arc Agent SQL Server の セットアップからも導⼊可能 Purview / AAD 認証 / Microsoft Defender for SQL で利⽤
11. 次世代のインテリジェントなクエリ処理 (IQP) Memory Grant Feedback Percentiles パーセンタイルベースの計算で増減を スムーズにする Memory Grant Feedback Persistence キャッシュアウト時もフィードバックを持続 Degree of Parallelism (DOP) feedback 特定のクエリに対してのDOP のフィード バック ループ 再コンパイルせずにクエリの DOP を調整 Optimized Plan Forcing 強制したプランのコンパイルステップの永続化 コンパイルのオーバーヘッドを削減 Parameter Sensitive Plan (PSP) Optimization 同⼀のパラメータ化されたステートメントに対して複数クエリプ ランをキャッシュ ü パラメータースニッフィングを救う術となる？ Cardinality Estimation (CE) feedback CE モデルの選択とクエリ実⾏のフィードバック ループ クエリヒントを使⽤して調整 + + クエリストア Seek Scan Seek Scan
12. 各⾃の注⽬アップデート!! SQL Server 2022 Public Preview Microsoft Intelligent Data Platform & データマート (Power BI) Azure Stream Analytics アップデート 地道な UX の改善
13. Microsoft Intelligent Data Platform 2022 年 5 ⽉ üデータベース・分析・ガバナンスを統合した 新しいプラットフォーム üデータ管理に費やす時間を短縮し イノベーションの加速とアジリティを実現
14. Microsoft Cloud との 連携による変⾰ üDynamics 365 / Microsoft 365 / Power Platform との統合により ビジネス ユーザーがデータのパワーを活⽤
15. Power BI 新機能: データマート ü 新しいセルフ サービス分析機能 ü 様々なデータ ソースからデータを読み取り、 Power Query で ETL を⾏い、フル マネー ジドのデータベースに格納して分析 ü 実態は Azure SQL Database で最⼤ 100GB をストア & SQL アクセスが可能 ü Power BI Premium ライセンスに付属 (Per Capacity, Per User 両者が対応) 2022 年 5 ⽉ (Learn more) https://docs.microsoft.com/ja-jp/power-bi/transform-model/datamarts/datamarts-overview
16. データマート (プレビュー) の 主な機能 データの取得と変換 • 各種データソースからのデータの取得 • Power Query エディターでの ETL • データのモデル化 (メジャー / リレーションシップ作成) • 系列 (リネージュ) の表⽰ データ分析 • SQL でのデータ分析 (SQL クエリ エディター / SSMS/ Azure Data Studio) • ノーコードでのデータ分析 (ビジュアル クエリ エディター) レポート作成 • ⾃動作成されるデータセットへの接続 • データマートの SQL エンドポイントへの接続 アクセス制御と管理 • データマートの共有 • ⾏レベル セキュリティ • 増分更新
17. 対応するデータソース (2022 年 5 ⽉時点)
18. SQL クエリ エディター
19. ビジュアル クエリ エディター
20. 各⾃の注⽬アップデート!! SQL Server 2022 Public Preview Microsoft Intelligent Data Platform & データマート (Power BI) Azure Stream Analytics アップデート 地道な UX の改善
21. Azure Stream Analytics の新機能概要
22. Azure Stream Analytics – Azure ML との統合 (GA) Azure ML Swagger 定義 ①モデルをデプロイ ・ローカル Web サービス ・Azure Kubernetes Service (AKS) ・Azure Container Instances (Azure portal のみサポート) ・Azure Machine Learning コンピューティング クラスター ・Azure Arc 対応 Kubernetes ②エンドポイントに 関連付け Azure Stream Analytics ジョブ SELECT udf.score(inputArray) INTO output FROM input WHERE ... ⑦SQL上で ML UDF の呼び出し ⑥⼊⼒データの処理 ⑧推論 結果 ⑨出⼒ ⑤取り込み ストリーミング⼊⼒データに対してリアルタイムのスコアリングと予測を⾏う機能が⼀般提供開始。 Azure Stream Analytics と Azure Machine Learning の統合 | Microsoft Docs ④ジョブを保存して開始 ③⼊⼒データを 配列または JSON に シリアライズする UDF または WITH句を作成
23. Azure Stream Analytics – コードなしストリーム処理 Azure Event Hubs クエリ⾔語を記述せずに Stream Analytics ジョブを開発できるエクスペリエンスがプレビュー提供開始。 ①ビューと作業ウィンドウで処理を定義 ・フィルター ・フィールドの管理 (追加/削除/名前変更) ・集計 (合計/最⼩/最⼤/平均) ・結合 (内部結合/左外部結合) ・グループ化 (パーセンタイル/標準偏差/etc.) ・和集合 ・配列の展開 Azure Stream Analytics を使⽤したコードなしストリーム処理 | Microsoft Docs ②データのプレビューで結果を確認 ④取り込み ⑤⼊⼒データの処理 ⑥出⼒ ③ジョブを保存して開始 Azure Stream Analytics ジョブ
24. Azure Stream Analytics – SU の⾃動スケーリング 最⼤数・最⼩数の指定に基づきSUを動的に調整できるカスタム⾃動スケーリングがプレビュー提供開始。 Azure Stream Analytics のストリーミング ユニットの⾃動スケーリング | Microsoft Docs スケールモード: ・メトリックに基づいてスケーリングする ・特定のストリーミングユニット数にスケーリングする [既定] のスケーリング条件: その他のスケーリング条件のいずれも⼀致しない ときに実⾏される "メトリックに基づいてスケーリングする" スケー ルルール設定例: SU 使⽤率が 75% を超えた場合に SU を 3 から 6 に増やす (スケールアウト) SU 使⽤率が 25% を下回った場合に SU を 6 から 3 に減らす (スケールイン) スケーリング条件を追加可能
25. 各⾃の注⽬アップデート!! SQL Server 2022 Public Preview Microsoft Intelligent Data Platform & データマート (Power BI) Azure Stream Analytics アップデート 地道な UX の改善
26. 地道な UX 改善 私的超厳選注⽬ポイント：地味だけど…”気の利いた” 機能強化をピックアップ！ Azure Cosmos DB ž 階層パーティションキー ž 物理パーティションスループット再分散 ž 物理パーティションマージ Azure Synapse Analytics 専⽤ SQL プール ž 複数カラムによるハッシュ分散 ž ディストリビューション アドバイザー ここ ここ
27. 専⽤ SQL プール：複数カラムによるハッシュ分散 均等でない分散 (スキュー) CREATE TABLE SalesTransactions ( WITH DISTRIBUTION = (HASH(ProductKey)) CREATE TABLE SalesTransactions ( WITH DISTRIBUTION = (HASH(ProductKey, RegionKey)) 均等な分散 均等な分散によりクエリ パフォーマンスが向上 クエリ パフォーマンスが遅いノードに⾜を引っ張られる üデータの偏りを減らし クエリ パフォーマンスを向上 ü他の DWH 製品からの 移⾏を⽤意に
28. 専⽤ SQL プール：ディストリビューション アドバイザー アドバイザーが Product カラムでの再分散をレコメンド Product Date of Sale Location … SELECT location, product FROM sales GROUP BY location, product ORDER BY location, product; SELECT location, COUNT(*) AS number_of_sales FROM sales WHERE product = ‘coffee’; Product Date of Sale Location … 選択したクエリや過去に実⾏ されたクエリ データを分析し、 パフォーマンスが向上するデータの ディストリビューション (分散) に 関する提案を提供
29. 階層パーティションキー Logical Partition Physical Partition 従来の課題
30. 階層パーティションキー Logical Partition Physical Partition 従来の課題
31. 階層パーティションキー Azure Cosmos DB での階層パーティション キー (プレビュー) | Microsoft Docs Logical Partition Physical Partition
32. 物理パーティションスループット再分散 Partition 5 30,000 RU/s 5000 RU/s 5000 RU/s 5000 RU/s 従来の課題 プロビジョニングされたスループットは物理パーティションで均等配分される （データ分散の不均⼀は考慮されない）
33. 物理パーティションスループット再分散 Azure Cosmos DB のパーティション間でスループットを再分散する (プレビュー) | Microsoft Docs Partition 5 30,000 RU/s 8000 RU/s 2000 RU/s 5000 RU/s 物理パーティションごとのスループットを調整可能
34. 物理パーティションマージ Partition 5 Partition 5 20,000 RU/s 4000 RU/s 4000 RU/s 4000 RU/s 物理パーティションの削除は未サポート （＝パフォーマンス効率の悪い物理パーティションを削除できない） 従来の課題
35. 物理パーティションマージ Partition 5 Partition 5 Azure Cosmos DB でパーティションをマージする (プレビュー) | Microsoft Docs 物理パーティションをマージすることでパフォーマンス効率を改善！ 20,000 RU/s 4000 RU/s 4000 RU/s 4000 RU/s
36. 物理パーティションマージ Partition 4 Azure Cosmos DB でパーティションをマージする (プレビュー) | Microsoft Docs Physical Partition 物理パーティションをマージすることでパフォーマンス効率を改善！ 20,000 RU/s 5000 RU/s 5000 RU/s
37. © Copyright Microsoft Corporation. All rights reserved.