Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Microsoft Build 2022 Recap Party!! Azure のデータ & 分析サービス 注目アップデート / microsoft-build-2022-recap-azure-data-and-analytics

Microsoft Build 2022 Recap Party!! Azure のデータ & 分析サービス 注目アップデート / microsoft-build-2022-recap-azure-data-and-analytics

More Decks by Hiroyuki Nakazato / 中里 浩之

Other Decks in Technology

Transcript

  1. Microsoft Build 2022 Recap Party!!
    Azure データ & 分析サービス 注⽬アップデート
    ⽇本マイクロソフト株式会社 クラウド ソリューション アーキテクト
    中⾥ 浩之 ⾼橋 敬祐 太⽥ 智⾏
    Microsoft MVP for Data Platform
    ⼩澤 真之

    View Slide

  2. セッションの概要
    Microsoft Build 2022 で発表された Azure のデータ & 分析サービスに関する
    数多くのアップデートのうち、特に注⽬頂きたいアップデートを⽇本マイクロソフトの
    クラウド ソリューション アーキテクトと Microsoft MVP が持ち寄って語ります!

    View Slide

  3. スピーカー紹介
    ⽇本マイクロソフト株式会社 クラウド ソリューション アーキテクト
    中⾥ 浩之 ⾼橋 敬祐 太⽥ 智⾏
    Microsoft MVP for Data Platform
    ⼩澤 真之

    View Slide

  4. Azure データ & 分析サービス Build アップデートを把握する
    1. Microsoft Build 2022 Book of News
    ž Microsoft 公式のアップデートのガイド、まずは⼿引きとして
    2. Build でのアップデートに関連するドキュメント集
    ž Build 前後で更新された 800+ (!!) の公式ドキュメントのリンク
    3. Build ⽇本語セッション - Azure データ & 分析サービス 最新アップデート
    ž CSA 中⾥の Build ⽇本語セッション、事前収録のため⼤体半分ぐらいのアップデートをカバー
    4. SE の雑記 (engineer-memo.com)
    ž MVP ⼩澤さんのブログ、SQL Server 系の技術を中⼼にフレッシュ & 詳細な情報が満載
    5. Microsoft Build 2022 Updates on Azure Data & AI at a glance
    ž CSA ⾼橋さん作成、Data & AI の Build アップデートの全体像が⼀枚で把握できるマップ

    View Slide

  5. RBAC suport for
    MongoDB API
    Point-in-time
    restore
    Continuous
    backup
    16MB limit per document
    in API for MongoDB
    Improved 30-day
    free trial (GA)
    Hierarchical
    partition keys
    Redistribute throughput
    across partitions
    Azure
    Metrics Advisor
    Azure Bot
    Service
    Azure Form
    Recognizer
    (Preview)
    Azure OpenAI
    (Preview)
    Azure Cognitive Service
    for Language
    Command Line
    Interface v2
    (GA)
    Responsible AI
    Dashboard
    (Preview)
    AutoML
    Managed Endpoints
    (GA)
    The Python
    SDK v2
    (Preview)
    GA
    SQL Managed Instance
    Business Critical
    service tier
    Ledger feature
    New JSON constructors
    and ISJSON enhancements
    Local development
    environment
    Updated input and output
    bindings in Azure Functions
    (Preview)
    Microsoft Graph
    Data Connect
    Azure Synapse Link
    for SQL
    No code
    stream processing
    (Preview)
    Flexible Server
    for business-critical workloads (GA)
    (Former Memory Optimized service tier)
    Data Policy
    for SQL DevOps
    access provisioning
    (Preview)
    Data Estate Insights
    (GA in July 1)
    Capabilities for
    Adobe Acrobat
    Microsoft Graph API
    for Purview Records
    Management
    Preview
    Datamart
    Auto-tuning
    capability
    (Preview)
    New document
    processing scenarios
    Streamlining patient
    Check-in
    Vaccine verification
    Insurance card
    and vaccine card prebuilt models
    Power Virtual Agents
    integration
    (Preview)
    Microsoft
    Graph
    Microsoft Build 2022 Updates on Azure Data & AI at a glance
    Open Source DB & NoSQL
    AI & ML
    Others
    SQL Server Family
    Created by Keisuke Takahashi, Contributed by Tomoyuki Oota (DATA)
    Azure
    Functions
    Azure
    Arc
    PII detection
    for conversations
    Rebranded Text Summarization
    to Document summarization
    (Preview)
    Conversation summarization
    (Preview)
    GA features
    Custom text classification
    Orchestration workflow
    Custom Named Entity Recognition (NER)
    Conversational language understanding
    11 updates for
    custom text classification
    custom Named Entity Recognition (NER)
    conversational language understanding
    orchestration workflow
    Data splitting controls
    Ability to cancel training jobs
    Custom deployments can be named.
    You can have up to 10 deployments.
    Ability to swap deployments
    Enterprise readiness support
    Auto labeling (preview) for
    custom named entity recognition
    Training modes for
    conversational language understanding
    Ability to use free (F0) tier
    for Language resources
    Updated service limits
    Updated model life cycle to
    add training configuration versions
    Expanded regional availability
    Data explorer
    Model overview and
    fairness assessment
    Error Analysis
    Model interpretability
    Counterfactual What-If's
    Causal analysis
    Model
    debugging
    Business
    decision
    making
    When
    to use
    How
    to use
    YAML
    AML Studio
    Python
    Support for
    natural language processing
    Support for
    image tasks
    Generation of
    model's training codes
    Enhancements for
    product integration
    Enhancements for
    MLOps
    Preview
    Guide
    Guide
    Tutorial
    Guide
    SKU
    Monitoring
    Guide
    Training
    Models
    Configuring
    AutoML
    Building
    ML Pipelines
    Release
    note
    Guide
    Install and
    configuration
    Managing ML
    environment
    Training
    Models
    MLflow
    Tracking
    Known limitations FAQ
    Azure Synapse Link
    for SQL Server 2022
    (Preview)
    Azure Synapse Link
    for Azure SQL Database
    (Preview)
    Guide
    Guide
    Change feed
    Management
    Overview
    Database Ledger
    Considerations
    and limitations
    Announcement
    Configuration
    How-tos
    Append-only
    ledger tables
    Updatable
    ledger tables
    Create & use
    Verification for
    tempering detection
    New JSON constructors
    ISJSON enhancements
    JSON_OBJECT
    JSON_ARRAY
    JSON_PATH_EXISTS
    ISJSON
    Announcement
    Concept
    Configuration
    Quickstart
    Create database
    project
    Publish to the
    local emulator
    How-tos
    Announcement
    Overview
    Input binding
    Output binding
    Announcement
    Release note
    What's new
    Analytics
    Availability
    Security
    Performance
    Management
    Language
    Tools
    SQL Machine
    Learning Services
    Azure Synapse Link for SQL
    Object storage integration
    Link to Azure SQL Managed Instance
    Contained availability group
    Distributed availability group
    Improved availability groups
    Improved backup metadata
    Microsoft Defender for Cloud integration
    Microsoft Purview integration
    Ledger
    Azure Active Directory authentication
    Always encrypted with secure enclaves
    New permissions & roles
    Granular Dynamic data UNMASKing
    Support for PFX certificates,
    symmetric key enhancements,
    and other crypto improvements
    Support MS-TDS 8.0 protocol
    Query Store on secondary replicas
    Query Store hints
    Memory grant feedback
    In-memory OLTP management
    Parameter sensitive plan optimization
    XML compression
    Improved optimization
    System page latch concurrency enhancements
    Buffer pool parallel scan
    Degree of parallelism (DOP) feedback
    Cardinality estimation feedback
    Optimized plan forcing
    Setup attached to Azure
    Max server memory calculations
    Accelerated Database Recovery (ADR) improvements
    Improved snapshot backup support
    Shrink database wait with low priority
    Asynchronous auto update statistics concurrency
    Backup and restore to S3 compatible object storage
    CREATE STATISTICS
    Time series functions
    JSON functions
    SELECT ... WINDOW clause
    Resumable add table constraints
    T-SQL functions
    Azure Data Studio
    Distributed Replay (separate download)
    SQL Server Management Studio v19.0
    SqlPackage.exe v19
    VS Code v1.67
    Announcement
    Overview
    Limitations
    Features
    Transparent
    data encryption
    HA
    DR
    Service tiers
    Capabilities
    ...and more
    New Burstable compute instances
    for Azure Database for MySQL
    - Flexible Server
    Known issues
    Burst capacity
    FAQ
    FAQ
    FAQ
    Merge
    partiitions
    1TB serverless
    container capacity
    Azure Teams
    with Industry
    Leaders
    Meta
    AMD
    Hugging Face
    Autoscale
    streaming units
    (Preview)
    AzureML integration
    (ML model as UDF)
    (GA)
    Microsoft Build 2022 Book of News
    Microsoft Docs updates and news following the Microsoft
    Build 2022 announcements! - Microsoft Tech Community
    References
    Distri Advisor
    Multi-col
    Distri table
    New MERGE
    command
    (GA)
    Cross-Subscription
    Restore
    Column-level
    encryption
    (GA)
    13th Azure Data and AI Tech Lunch (Jun 9, 2022)
    Microsoft Build2022 Data & AI (Jun 13, 2022)
    Microsoft Build 2022 Recap Party!! (Jun 16, 2022)
    Related events (in Japan)
    Support for MongoDB data
    in the Azure Cosmos DB
    Linux desktop emulator
    Azure
    Cosmos DB
    Azure
    Applied AI
    Services Azure
    Cognitive
    Services
    Azure
    Machine
    Learning
    Azure
    Synapse
    Analytics
    SQL Server
    2022
    Azure Arc-
    enabled data
    services
    Azure
    Database for
    MySQL
    Microsoft
    Purview
    Stream
    Analytics
    Azure SQL
    Database
    Power BI
    Microsoft
    Build 2022
    Updates
    on Azure
    Data&AI
    Microsoft
    Intelligent
    Data
    Platform

    View Slide

  6. 各⾃の注⽬アップデート!!
    SQL Server 2022 Public Preview
    Microsoft Intelligent Data Platform & データマート (Power BI)
    Azure Stream Analytics アップデート
    地道な UX の改善

    View Slide

  7. 各⾃の注⽬アップデート!!
    SQL Server 2022 Public Preview
    Microsoft Intelligent Data Platform & データマート (Power BI)
    Azure Stream Analytics アップデート
    地道な UX の改善

    View Slide

  8. aka.ms/getsqlserver2022
    https://aka.ms/sqlserver2022
    • Download
    https://aka.ms/getsqlserver2022
    • 製品情報スライド
    https://aka.ms/sqlserver2022decks
    • デモコンテンツ
    https://aka.ms/sqlserver2022demos
    • What's new in SQL Server 2022 (16.x) Preview
    https://docs.microsoft.com/en-us/sql/sql-server/what-s-new-in-sql-server-2022
    • SQL Server 2022 (16.x) Preview release notes
    https://docs.microsoft.com/en-us/sql/sql-server/sql-server-2022-release-notes
    製品情報

    View Slide

  9. SQL Server 2022 の機能
    SQL Server 2022
    クエリインテリジェンスの搭載
    セキュリティ
    スケーラビリティ
    可⽤性
    データ仮想化
    オブジェクトストレージ
    T-SQL の拡張
    クラウドとの接続

    View Slide

  10. SQL Server 2022 クラウドとの接続
    SQL Server 2022
    Azure SQL
    Managed Instance
    (MI)
    Azure Synapse
    Analytics Microsoft Purview Azure Active Directory
    Microsoft Defender
    for SQL
    データの複製
    フェイルオーバー
    データ変更
    (Synapse Link)
    スキーマと
    ポリシー 認証
    アセスメント
    アラート
    分散型可⽤性グループ
    MI とのデータ連携で利⽤
    セルフホスト
    統合ランタイム
    Synapse Link で利⽤
    Azure Arc Agent
    SQL Server の
    セットアップからも導⼊可能
    Purview / AAD 認証 / Microsoft
    Defender for SQL で利⽤

    View Slide

  11. 次世代のインテリジェントなクエリ処理 (IQP)
    Memory Grant Feedback Percentiles
    パーセンタイルベースの計算で増減を
    スムーズにする
    Memory Grant Feedback Persistence
    キャッシュアウト時もフィードバックを持続
    Degree of Parallelism (DOP) feedback
    特定のクエリに対してのDOP のフィード
    バック ループ
    再コンパイルせずにクエリの DOP を調整
    Optimized Plan Forcing
    強制したプランのコンパイルステップの永続化
    コンパイルのオーバーヘッドを削減
    Parameter Sensitive Plan (PSP)
    Optimization
    同⼀のパラメータ化されたステートメントに対して複数クエリプ
    ランをキャッシュ
    ü パラメータースニッフィングを救う術となる?
    Cardinality Estimation (CE) feedback
    CE モデルの選択とクエリ実⾏のフィードバック ループ
    クエリヒントを使⽤して調整
    + +
    クエリストア
    Seek
    Scan
    Seek
    Scan

    View Slide

  12. 各⾃の注⽬アップデート!!
    SQL Server 2022 Public Preview
    Microsoft Intelligent Data Platform & データマート (Power BI)
    Azure Stream Analytics アップデート
    地道な UX の改善

    View Slide

  13. Microsoft Intelligent
    Data Platform
    2022 年 5 ⽉
    üデータベース・分析・ガバナンスを統合した
    新しいプラットフォーム
    üデータ管理に費やす時間を短縮し
    イノベーションの加速とアジリティを実現

    View Slide

  14. Microsoft Cloud との
    連携による変⾰
    üDynamics 365 / Microsoft 365 /
    Power Platform との統合により
    ビジネス ユーザーがデータのパワーを活⽤

    View Slide

  15. Power BI 新機能:
    データマート
    ü 新しいセルフ サービス分析機能
    ü 様々なデータ ソースからデータを読み取り、
    Power Query で ETL を⾏い、フル マネー
    ジドのデータベースに格納して分析
    ü 実態は Azure SQL Database で最⼤
    100GB をストア & SQL アクセスが可能
    ü Power BI Premium ライセンスに付属
    (Per Capacity, Per User 両者が対応)
    2022 年 5 ⽉
    (Learn more)
    https://docs.microsoft.com/ja-jp/power-bi/transform-model/datamarts/datamarts-overview

    View Slide

  16. データマート
    (プレビュー) の
    主な機能
    データの取得と変換
    • 各種データソースからのデータの取得
    • Power Query エディターでの ETL
    • データのモデル化 (メジャー / リレーションシップ作成)
    • 系列 (リネージュ) の表⽰
    データ分析
    • SQL でのデータ分析 (SQL クエリ エディター / SSMS/ Azure Data Studio)
    • ノーコードでのデータ分析 (ビジュアル クエリ エディター)
    レポート作成
    • ⾃動作成されるデータセットへの接続
    • データマートの SQL エンドポイントへの接続
    アクセス制御と管理
    • データマートの共有
    • ⾏レベル セキュリティ
    • 増分更新

    View Slide

  17. 対応するデータソース (2022 年 5 ⽉時点)

    View Slide

  18. SQL クエリ エディター

    View Slide

  19. ビジュアル クエリ エディター

    View Slide

  20. 各⾃の注⽬アップデート!!
    SQL Server 2022 Public Preview
    Microsoft Intelligent Data Platform & データマート (Power BI)
    Azure Stream Analytics アップデート
    地道な UX の改善

    View Slide

  21. Azure Stream Analytics の新機能概要

    View Slide

  22. Azure Stream Analytics – Azure ML との統合 (GA)
    Azure ML
    Swagger 定義
    ①モデルをデプロイ
    ・ローカル Web サービス
    ・Azure Kubernetes Service (AKS)
    ・Azure Container Instances (Azure portal のみサポート)
    ・Azure Machine Learning コンピューティング クラスター
    ・Azure Arc 対応 Kubernetes
    ②エンドポイントに
    関連付け
    Azure Stream Analytics ジョブ
    SELECT udf.score(inputArray)
    INTO output
    FROM input
    WHERE ...
    ⑦SQL上で
    ML UDF
    の呼び出し
    ⑥⼊⼒データの処理
    ⑧推論
    結果
    ⑨出⼒
    ⑤取り込み
    ストリーミング⼊⼒データに対してリアルタイムのスコアリングと予測を⾏う機能が⼀般提供開始。
    Azure Stream Analytics と Azure Machine Learning の統合 | Microsoft Docs
    ④ジョブを保存して開始
    ③⼊⼒データを 配列または JSON に
    シリアライズする
    UDF または WITH句を作成

    View Slide

  23. Azure Stream Analytics – コードなしストリーム処理
    Azure
    Event Hubs
    クエリ⾔語を記述せずに Stream Analytics ジョブを開発できるエクスペリエンスがプレビュー提供開始。
    ①ビューと作業ウィンドウで処理を定義
    ・フィルター
    ・フィールドの管理 (追加/削除/名前変更)
    ・集計 (合計/最⼩/最⼤/平均)
    ・結合 (内部結合/左外部結合)
    ・グループ化 (パーセンタイル/標準偏差/etc.)
    ・和集合
    ・配列の展開
    Azure Stream Analytics を使⽤したコードなしストリーム処理 | Microsoft Docs
    ②データのプレビューで結果を確認
    ④取り込み ⑤⼊⼒データの処理 ⑥出⼒
    ③ジョブを保存して開始
    Azure
    Stream Analytics ジョブ

    View Slide

  24. Azure Stream Analytics – SU の⾃動スケーリング
    最⼤数・最⼩数の指定に基づきSUを動的に調整できるカスタム⾃動スケーリングがプレビュー提供開始。
    Azure Stream Analytics のストリーミング ユニットの⾃動スケーリング | Microsoft Docs
    スケールモード:
    ・メトリックに基づいてスケーリングする
    ・特定のストリーミングユニット数にスケーリングする
    [既定] のスケーリング条件:
    その他のスケーリング条件のいずれも⼀致しない
    ときに実⾏される
    "メトリックに基づいてスケーリングする" スケー
    ルルール設定例:
    SU 使⽤率が 75% を超えた場合に SU を
    3 から 6 に増やす (スケールアウト)
    SU 使⽤率が 25% を下回った場合に SU
    を 6 から 3 に減らす (スケールイン)
    スケーリング条件を追加可能

    View Slide

  25. 各⾃の注⽬アップデート!!
    SQL Server 2022 Public Preview
    Microsoft Intelligent Data Platform & データマート (Power BI)
    Azure Stream Analytics アップデート
    地道な UX の改善

    View Slide

  26. 地道な UX 改善
    私的超厳選注⽬ポイント:地味だけど…”気の利いた” 機能強化をピックアップ!
    Azure Cosmos DB
    ž 階層パーティションキー
    ž 物理パーティションスループット再分散
    ž 物理パーティションマージ
    Azure Synapse Analytics 専⽤ SQL プール
    ž 複数カラムによるハッシュ分散
    ž ディストリビューション アドバイザー
    ここ
    ここ

    View Slide

  27. 専⽤ SQL プール:複数カラムによるハッシュ分散
    均等でない分散
    (スキュー)
    CREATE TABLE
    SalesTransactions (
    WITH DISTRIBUTION =
    (HASH(ProductKey))
    CREATE TABLE
    SalesTransactions (
    WITH DISTRIBUTION =
    (HASH(ProductKey,
    RegionKey))
    均等な分散
    均等な分散によりクエリ パフォーマンスが向上
    クエリ パフォーマンスが遅いノードに⾜を引っ張られる
    üデータの偏りを減らし
    クエリ パフォーマンスを向上
    ü他の DWH 製品からの
    移⾏を⽤意に

    View Slide

  28. 専⽤ SQL プール:ディストリビューション アドバイザー
    アドバイザーが Product カラムでの再分散をレコメンド
    Product Date of Sale Location …
    SELECT
    location,
    product
    FROM sales
    GROUP BY location, product
    ORDER BY location, product;
    SELECT
    location,
    COUNT(*) AS number_of_sales
    FROM sales
    WHERE product = ‘coffee’;
    Product Date of Sale Location …
    選択したクエリや過去に実⾏
    されたクエリ データを分析し、
    パフォーマンスが向上するデータの
    ディストリビューション (分散) に
    関する提案を提供

    View Slide

  29. 階層パーティションキー
    Logical
    Partition
    Physical
    Partition
    従来の課題

    View Slide

  30. 階層パーティションキー
    Logical
    Partition
    Physical
    Partition
    従来の課題

    View Slide

  31. 階層パーティションキー
    Azure Cosmos DB での階層パーティション キー (プレビュー) | Microsoft Docs
    Logical
    Partition
    Physical
    Partition

    View Slide

  32. 物理パーティションスループット再分散
    Partition 5
    30,000 RU/s
    5000 RU/s 5000 RU/s 5000 RU/s
    従来の課題 プロビジョニングされたスループットは物理パーティションで均等配分される
    (データ分散の不均⼀は考慮されない)

    View Slide

  33. 物理パーティションスループット再分散
    Azure Cosmos DB のパーティション間でスループットを再分散する (プレビュー) | Microsoft Docs
    Partition 5
    30,000 RU/s
    8000 RU/s 2000 RU/s 5000 RU/s
    物理パーティションごとのスループットを調整可能

    View Slide

  34. 物理パーティションマージ
    Partition 5
    Partition 5
    20,000 RU/s
    4000 RU/s 4000 RU/s
    4000 RU/s
    物理パーティションの削除は未サポート
    (=パフォーマンス効率の悪い物理パーティションを削除できない)
    従来の課題

    View Slide

  35. 物理パーティションマージ
    Partition 5
    Partition 5
    Azure Cosmos DB でパーティションをマージする (プレビュー) | Microsoft Docs
    物理パーティションをマージすることでパフォーマンス効率を改善!
    20,000 RU/s
    4000 RU/s 4000 RU/s
    4000 RU/s

    View Slide

  36. 物理パーティションマージ
    Partition 4
    Azure Cosmos DB でパーティションをマージする (プレビュー) | Microsoft Docs
    Physical
    Partition
    物理パーティションをマージすることでパフォーマンス効率を改善!
    20,000 RU/s
    5000 RU/s 5000 RU/s

    View Slide

  37. © Copyright Microsoft Corporation. All rights reserved.

    View Slide