Power BI データフローを考える

Power BI データフローを考える
2022/10/15 Power BI勉強会にて発表した内容です。
https://powerbi.connpass.com/event/261249/

Transcript

1. データフローを考える🤔🤔
2. 須藤 明洋 すとう あきひろ 秋田県 出身 集英社 勤務 Power Platform 2021.04~ Python 2021.09~ Rugby 1991.04~ Kendama 2020.04~ Qiita @hanaseleb Twitter @hanaseleb1234 10/18～ Japan Power Platform Conference 2022 11/24 Azure Analytics Day 2022 Autumn 登壇します😁😁
3. データフローを考える🤔🤔
4. © Akihiro Sutoh Twitter @hanaseleb1234 3 大前提
5. © Akihiro Sutoh Twitter @hanaseleb1234 4 データフロー大好き😁😁🎉🎉
6. © Akihiro Sutoh Twitter @hanaseleb1234 5
7. © Akihiro Sutoh Twitter @hanaseleb1234 6
8. データフローとは（概要） © Akihiro Sutoh Twitter @hanaseleb1234 7
9. データフローとは © Akihiro Sutoh Twitter @hanaseleb1234 8 データフローとセルフサービスのデータ準備の概要 - Power BI | Microsoft Learn データの量は増え続けるので、データを整った形式のアクションにつながる情報に変換することが課題です。 大量のデータをアクションにつながる分析情報に迅速に変換できるよう、分析を行ったり、ビジュアル、レ ポート、ダッシュボードに設定したりする準備が整っているデータが必要です。 Power BI のビッグ データに対するセルフサービスのデータ準備を使用すると、ほんの数クリックでデータを Power BI の分析情報にできます。 → Power Query Online
10. 考えるきっかけ © Akihiro Sutoh Twitter @hanaseleb1234 9 💪💪😁😁
11. データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 10 💪💪😁😁 コミュニティで 「データフローはあまり使われていない」 という趣旨の会話があった🤔🤔
12. データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 11 💪💪😁😁 同時期、 データフローのプロパティに 「分析情報」をいうボタンを発見。
13. © Akihiro Sutoh Twitter @hanaseleb1234 12
14. © Akihiro Sutoh Twitter @hanaseleb1234 13
15. データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 14 💪💪😁😁 保存ボタンに注目😅😅
16. データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 15 💪💪😁😁 データフローのプロパティにある、 「分析情報」のボタンを押せないんですぅ お調べします、少々お待ち下さい。
17. データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 16 💪💪😁😁 数日後
18. データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 17 💪💪😁😁 ありがとうございます。どうでしたか！？ 調査結果が出まして、原因がわかりました。 そもそもデータフローに「分析情報」という機能は実 装予定がなく、ボタンが表示されてはいけないとのこ とでした。 すげーそんなことあるんですね笑😁😁
19. データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 18 💪💪😁😁 データマート データマートの概要 - Power BI | Microsoft Learn
20. データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 19 💪💪😁😁 本当に使われていないの？🤔🤔
21. データフローとは © Akihiro Sutoh Twitter @hanaseleb1234 20
22. データフローとは © Akihiro Sutoh Twitter @hanaseleb1234 21 データフローとセルフサービスのデータ準備の概要 - Power BI | Microsoft Learn • Power BI 内の多くのデータセットおよびレポートで共有できる再利用可能な変換ロジックを作成します。 • 基になるシステムに接続するのではなく、アナリストにデータフローへの接続を強制することで、信頼で きる単一の情報源を作成し、アクセスするデータと、データをレポート作成者に公開する方法を制御する ことができます。 • 大量のデータを処理して ETL を大規模に実行する場合、Power BI Premium を使用したデータフローはよ り効率的に拡張され、柔軟性が向上します。 データフローにより、さまざまなクラウドおよびオンプレミ スのソースがサポートされます。 • アナリストが基になるデータ ソースに直接アクセスするのを防ぎます。 レポート作成者はデータフローに 基づいて作成できるため、基になるデータソースへのアクセスを少数の個人にのみ許可し、アナリストが データフローにアクセスし、それに基づいて作成できるようにする方が便利な場合があります。 このアプ ローチを使用すると、基になるシステムへの負荷が削減され、管理者は、システムが更新から読み込まれ るタイミングをより細かく制御できます。
23. © Akihiro Sutoh Twitter @hanaseleb1234 22 データフローとセルフサービスのデータ準備の概要 - Power BI | Microsoft Learn
24. システム構成図 © Akihiro Sutoh Twitter @hanaseleb1234 23 💪💪😁😁
25. システム構成図 © Akihiro Sutoh Twitter @hanaseleb1234 24 変換処理 変換処理 変換処理 変換処理 同じような変換処理😭😭
26. システム構成図 © Akihiro Sutoh Twitter @hanaseleb1234 25 変換処理 信頼できる単一の情報源 データフロー 変換処理 変換処理 変換処理 変換処理
27. システム構成図 © Akihiro Sutoh Twitter @hanaseleb1234 26 データエンジニア データアナリスト ビジネスユーザー SQL ／ Python Power Query 接続回数をへらす データフロー 変換処理
28. システム構成図 © Akihiro Sutoh Twitter @hanaseleb1234 27 変換処理 データエンジニア データアナリスト ビジネスユーザー SQL ／ Python Power Query 接続回数をへらす 処理能力を下げることもできる？ ↓ コスト削減💪💪 データフロー
29. データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 28 データフローの Premium 機能 - Power BI | Microsoft Learn 拡張コンピューティング エンジンの使用 → CSVではなくSQL Databaseに保存 → joins や group by 演算など) を実行する計算テーブルのパフォーマンスが向上💪💪 💪💪😁😁
30. データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 29 データフローの Premium 機能 - Power BI | Microsoft Learn 計算対象エンティティ リンクされたエンティティ 計算列の追加ができる。 処理を段階に分けた実装が可能 データマートをPower BI Service内に 💪💪😁😁 メダリオンアーキテクチャ | Databricks
31. データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 30 データフローの Premium 機能 - Power BI | Microsoft Learn 増分更新 データフローで増分更新の設定が可能 データフローへのダイレクトクエリ 便利 データソースへのアクセス負荷軽減もできる。 💪💪😁😁
32. © Akihiro Sutoh Twitter @hanaseleb1234 31 💪💪😁😁 中小企業向けの最新データ ウェアハウス - Azure Architecture Center | Microsoft Learn
33. © Akihiro Sutoh Twitter @hanaseleb1234 32 💪💪😁😁 Azure Synapse を使用した分析のエンド ツー エンド - Azure Architecture Center | Microsoft Learn
34. 社内の組織・チームごとに要件は変わる © Akihiro Sutoh Twitter @hanaseleb1234 33 SQL ／ Python Power Query チームA データエンジニア データエンジニア ビジネスユーザー チームB ビジネスユーザー チームC ビジネスユーザー データアナリスト データアナリスト ビジネスユーザー ビジネスユーザー Power Query 柔軟な対応を構築できる💪💪 「さっ」とデータを出せる仕組みづくり😀😀 データマート
35. データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 34 💪💪😁😁 • 使っていないのはもったいない • Power BIの世界でのデータアーキテクチャを考える必要がある • Power BI Premiumだとより便利に、お得な構成を考えられるかも • Power BIを「可視化ツール」と捉えない Azure アーキテクチャ センター - Azure Architecture Center | Microsoft Learn
36. みんなで考えよう🎉🎉 Fin. 10/18~ Japan Power Platform Conference 2022 11/24 Azure Analytics Day 2022 Autumn も見てね😁😁