Slide 1

Slide 1 text

【初級者向け】 Azure Stream Analytics × Power BI Microsoft MVP for Data Platform 2021 永田 亮磨 Twitter:@ryomaru0825 Linkedin:ryoma-nagata-0825 Qiita:qiita.com/ryoma-nagata

Slide 2

Slide 2 text

1. Stream Analytics 概要 2. Demo AGENDA

Slide 3

Slide 3 text

• デバイスなどから大量に流される時系列データを分析するサービス • 分析条件を使い慣れた SQL で記述 • Power BI やストレージ、DBなど豊富なアウトプットに対応 What’s Azure Stream Analytics https://docs.microsoft.com/ja-jp/azure/stream-analytics/stream-analytics- introduction クエリ、関数 アウトプット インプット

Slide 4

Slide 4 text

注目のUpdate • https://techcommunity.microsoft.com/t5/azure-data-explorer/adx-is-now- supported-as-output-for-azure-stream-analytics-job/ba-p/2923654 • Stream Analytics Jobの出力先としてAzure Data Explorerが選択でき るようになりました(Preview) ホットパス: ジョブベース、継続的分析処理 ウォームパス: オンデマンド、インタラクティブ分析処理

Slide 5

Slide 5 text

• Azure Stream Analytics でのソーシャル メディア分析 ハンズオン MS docsの内容をなるべく簡単に実行できるようにしました。 • ryoma-nagata/AzureStreamAnalytics-TwitterDemo (github.com) コードサンプル(デモ資材)の紹介 Power BI Service Microsoft Azure Stream Analytics Event Hub Twitter Client Core application Twitter Realtime Dataset Dashboard/Report 読みとり 送信 クエリ 送信 API利用

Slide 6

Slide 6 text

• Power BIのAPIに向かってPushすることでデータセットに保持される→可視化可能に なる • いくつかの制限事項あり 参考 • データセットごとに 1 時間あたり 1,000,000 行追加 • 保持時間制限(ストリーミングの安倍1時間 • SQL Databaseなどをかますパターンもあり(右図 リアルタイムデータセットについて Stream Analytics Realtime Dataset 送信 Stream Analytics Dataset(DirectQuery) 送信 Azure SQL 専用SQL Pool Synapse Link for Cosmos DB クエリ クエリ Dashboard/Report クエリ Dashboard/Report

Slide 7

Slide 7 text

• Azure Stream Analytics でのソーシャル メディア分析 | Microsoft Docs • コード サンプルを参照 | Microsoft Docs • 改めてPower BI データセットのストレージモードについて整理する – Qiita • Power BI Streaming dataflowsの位置づけを整理しつつ試してみる - Qiita 参考リンク