European Fabric Community Conference 2024 での個人的ピックアップ

Transcript

1. Microsoft MVP for Data Platform 永田 亮磨 (ZEAL CORPORATION) X: @ryomaru0825 Linkedin: ryoma-nagata-0825 Qiita: ryoma-nagata European Fabric Community Conference 2024 での個人的ピックアップ
2. 本日みなさんと話したいこと FabCon 今回も盛り上がってました。注目のアナウンスを解説します。  Arun 氏（Corporate Vice President, Azure Data–Microsoft）による サマリー  European Fabric Community Conference 2024: Building an AI-powered data platform | Microsoft Fabric Blog  サービス側 Blog  Fabric September 2024 Monthly Update | Microsoft Fabric Blog | Microsoft Fabric  Power BI September 2024 Feature Summary | Microsoft Power BI ブログ | Microsoft Power BI  AI の時代に責任を持ってデータをアクティブ化する、Microsoft Purview |Microsoft セキュリティ ブログ
3. 【Fabric】 コア機能のピックアップ  マルチテナント組織 (MTO) (パブリック プレビュー)  B2B コラボレーションでの Fabric 利用を正式にサポート  以前は Power BI オンリー。B2B ゲストユーザーでは一部の Fabric 機能（DFG2など）が正常に動作しないのは仕様とされていた  Terraform プロバイダ  Microsoft Fabric 用の新しい Terraform プロバイダーの発表 (パブリック プレビュー) |Microsoft Fabric ブログ |マイクロソフトファブリック  Experience Switcher の改善
4. 【Fabric】 セキュリティ・ガバナンス機能のピックアップ  アイテムのタグづけ  管理者により組織で利用可能なタグを発行し、データの識別に役立てる
5. 【Fabric】 セキュリティ・ガバナンス機能のピックアップ  Purview × Fabric の拡張  新しい価格モデル ロードマップ Microsoft Purview の秘密度ラベルを使用して保護 を適用することで、コンテンツへのアクセスを制限 する プレビュー開始の告知ブログ Announcement: Microsoft Purview Data Loss Prevention policies have been extended to Fabric lakehouses | Microsoft Power BI Blog | Microsoft Power BI
6. 【Fabric】 OneLake のピックアップ  ミラー化された Azure Databricks Unity Catalog  Unity Catalog のテーブル情報を Fabric に同期し、UC テーブルへのショートカットを生成する  Microsoft Fabric mirrored catalog from Azure Databricks (Preview) - Microsoft Fabric | Microsoft Learn  現状ネットワークファイアウォール設定したUnity catalog 用のストレージは不可  Demo
7. ミラー化された Azure Databricks Unity Catalog 補足 Databricks 側で外部データアクセスの設定が必要 Unity Catalog 内のデータへの外部アクセスを制御する - Azure Databricks | Microsoft Learn ファイアウォール設定された Unity Catalog 用ストレージは利用不可 Azure Databricks の Microsoft Fabric ミラー データベースでの制限事項 (プレビュー) - Microsoft Fabric |マイクロソフト ラーン
8. 【Fabric】 Warehouse/SQL分析エンドポイント のピックアップ  スキーマ対応レイクハウスでの SQL 分析エンドポイントの有効化 (パブリック プレ ビュー)  制限の多いレイクハウススキーマの制限解除その1的更新  英語版 MSLearn では記載が削除  Lakehouse schemas (Preview) - Microsoft Fabric | Microsoft Learn
9. 【Fabric】 Warehouse/SQL分析エンドポイント のピックアップ  VARCHAR(MAX) 型と VARBINARY(MAX) 型のサポート  Fabric Warehouse での大規模なデータ型の操作 |Microsoft Fabric ブログ |マイクロソフトファブリック  関連してクエリの履歴の8000文字制限も今後撤廃の可能性あり？
10. 【Fabric】 Data Engineering のピックアップ  Pipelines のノートブックの高コンカレンシー モード (パブリック プレビュー)  パイプラインでのノートブック実行時にはノートブックそれぞれでセッションが起動するため、同時に複数のノートブッ クを実行するとあっという間に同時Spark コア数制限にひっかかる  セッションを複数のノートブックアクティビティで共有することで消費コア数を低減  パイプライン内のノートブックの高コンカレンシー モードを構成する - Microsoft Fabric |マイクロソフト ラーン アクティビティごとではなく 5つのジョブごとにセッションが起動
11. 【Fabric】 Data Engineering のピックアップ  Spark ジョブの最大コア数の予約  ジョブ送信時にSpark プールの最大コア数に基づいてコア数が予約さ れる  既定では最小コア数のみを予約するため、最大コア数までスケールアップすることは保 証されていない。 運用上スケーリングが大事なジョブの性能を保護することができる（最大コア数での 予約はFabric リリース初期時点の仕様）  Microsoft Fabric のワークスペース管理設定 - Microsoft Fabric |マイクロソフト ラー ン  対話型セッションタイムアウト設定  対話型セッションで、ジョブが実行されていない場合のタイムアウト時 間を設定できる  セッション起動中はSpark コア数に基づいた CU 消費が発生するが、 タイムアウトは既定で20分となっており、手動でセッションを切断するこ とを忘れて多くの無駄遣いが発生しがち  Microsoft Fabric のワークスペース管理設定 - Microsoft Fabric |マ イクロソフト ラーン
12. 【Fabric】 Data Engineering のピックアップ  ランタイム 1.3 のネイティブ実行エンジン (パブリック プレビュー)  Databricks Photon と類似の改良をした Spark エンジンが追加コストなしで利用可能  https://learn.microsoft.com/fabric/data-engineering/native-execution-engine- overview?tabs=sparksql https://x.com/PawarBI/status/18388451360688090 10
13. 【Fabric】 Data Science のピックアップ  AI スキルの共有と発行チャネル  発行済みの AI スキルを他ユーザーに権限制御付きで共有可能に  作業中と発行済みのバージョンを切替えて、変更の確認
14. 【Fabric】 Real-time Intelligenceのピックアップ  EventstreamとManaged Private Endpointの統合  Evetstream はファイアウォールの背後の Event Hub にアクセスができなかったが、この機能によりセキュアアクセ スが提供され、エンタープライズでのリアルタイム分析が現実的になった
15. Managed Private Endpoint 補足  Managed Vnet を使用して Spark pool から 直接 Azure のサービスにプライベート接続することが 可能  Microsoft Fabric のマネージド仮想ネットワークの概要 - Microsoft Fabric | Microsoft Learn  マネージド Vnet が展開される条件は以下  ワークスペースでマネージドプライベートエンドポイントを作成する  Fabric テナントでプライベートリンクを有効にする Microsoft Fabric Microsoft Azure Storage ノートブック ノートブック Managed Vnet 有効な ワークスペース Managed Vnet 無効な ワークスペース マネージド仮想ネットワーク 共用の仮想ネットワーク マネージド プライベートエンドポイント Spark Pool Spark Pool Microsoft の管理するネットワーク Public IP にアクセス Private IP にアクセス Private endpoint を承認・作成 Azure PaaS Synapse Analytics Azure SQL DB
16. 【Fabric】 Real-time Intelligenceのピックアップ  KQLクエリでの アラート（Data Activator）  定期実行される KQL クエリの実行結果に基づいてアラート構成が可能に  https://learn.microsoft.com/fabric/data-activator/data-activator-alert-queryset  Databricks SQL でのアラートに近い機能
17. 【Fabric】 Real-time Intelligenceのピックアップ  多変量異常検出  プライベートプレビューから移行  多変量の異常検出 - Microsoft Fabric | Microsoft Learn
18. 【Fabric】 Data Factory のピックアップ  増分更新  設定した過去期間の範囲で洗い替えを行う（現実時間ベース）  例）直近1か月の設定→今月、先月で洗替  洗替のため削除の反映可能  Dataflow Gen2 の増分更新 - Microsoft Fabric |マイクロソフト ラーン  デモ（時間あれば）  Copy job  Data Factory でコピー ジョブ (プレビュー) を作成する方法 - Microsoft Fabric |マイクロソフト ラーン  copy 実行タイミングでレコードを取得する。 テーブルの変更イベントをストリーミングする cdc 技術 ではないため、 実行の間に発生した複数回の更新を完全に取得できるわけではない  対応する増分データ  新しい ファイル  更新日時をもつテーブル  前回のコピー時の最終更新日時を保持し、更新日時が前回を超えているデータのみ取得する  デモ（時間あれば）
19. 【Fabric】 Data Factory のピックアップ  Data Factory マウント  Azure Data Factory と同期されるアイテムにより、 Fabric 上で ADF パイプラインの管理が可能  Git 統合している ADF とはリンク不可  デモ  リモートパイプラインの拡張  Fabric パイプラインだけでなく、Synapse / ADF パイプラインの呼び出しが可能に
20. 【Power BI】 ピックアップ  組織アプリアイテムの追加  ワークスペースに複数のアプリを作成可能に  組織アプリではPowerBI レポートだけでなく、リアルタイムダッシュ ボードも追加可能  Get started with org apps (preview) - Power BI | Microsoft Learn 外観はワークスペースアプリと同じ
21. 【Power BI】 ピックアップ  メトリックハブ  春のFabConで発表され、今回のFabConEUで近日公開とアナウンス  https://youtu.be/BYob0cGW0Nk?si=tbGgHi6lVNOPFhnJ&t=5724 組織内に生成された セマンティックモデルによる 新しいサイロ モデル全体には多くの項目が 含まれており認知負荷が高い ×モデルを使いたいのではなく、 指標を気軽に分析したい 〇複数のモデルに散らばった指標をミニモデルとして集約 信頼できる”重要指標”をセット化し、簡単かつ正しく消費
22. Thank you !