Power BI データフローを考える

Power BI データフローを考える
2022/10/15 Power BI勉強会にて発表した内容です。
https://powerbi.connpass.com/event/261249/

Transcript

1. データフローを考える🤔🤔
   

   View Slide

2. 須藤 明洋
   すとう あきひろ
   秋田県 出身
   集英社 勤務
   Power Platform 2021.04~
   Python 2021.09~
   Rugby 1991.04~
   Kendama 2020.04~
   Qiita @hanaseleb
   Twitter @hanaseleb1234
   10/18～ Japan Power Platform Conference 2022
   11/24 Azure Analytics Day 2022 Autumn 登壇します😁😁
   

   View Slide

3. データフローを考える🤔🤔
   

   View Slide

4. © Akihiro Sutoh Twitter @hanaseleb1234 3
   大前提
   

   View Slide

5. © Akihiro Sutoh Twitter @hanaseleb1234 4
   データフロー大好き😁😁🎉🎉
   

   View Slide

6. © Akihiro Sutoh Twitter @hanaseleb1234 5
   

   View Slide

7. © Akihiro Sutoh Twitter @hanaseleb1234 6
   

   View Slide

8. データフローとは（概要）
   © Akihiro Sutoh Twitter @hanaseleb1234 7
   

   View Slide

9. データフローとは
   © Akihiro Sutoh Twitter @hanaseleb1234 8
   データフローとセルフサービスのデータ準備の概要 - Power BI | Microsoft Learn
   データの量は増え続けるので、データを整った形式のアクションにつながる情報に変換することが課題です。
   大量のデータをアクションにつながる分析情報に迅速に変換できるよう、分析を行ったり、ビジュアル、レ
   ポート、ダッシュボードに設定したりする準備が整っているデータが必要です。
   Power BI のビッグ データに対するセルフサービスのデータ準備を使用すると、ほんの数クリックでデータを
   Power BI の分析情報にできます。
   → Power Query Online
   

   View Slide

10. 考えるきっかけ
    © Akihiro Sutoh Twitter @hanaseleb1234 9
    💪💪😁😁
    

    View Slide

11. データフローを考える🤔🤔
    © Akihiro Sutoh Twitter @hanaseleb1234 10
    💪💪😁😁
    コミュニティで
    「データフローはあまり使われていない」
    という趣旨の会話があった🤔🤔
    

    View Slide

12. データフローを考える🤔🤔
    © Akihiro Sutoh Twitter @hanaseleb1234 11
    💪💪😁😁
    同時期、
    データフローのプロパティに
    「分析情報」をいうボタンを発見。
    

    View Slide

13. © Akihiro Sutoh Twitter @hanaseleb1234 12
    

    View Slide

14. © Akihiro Sutoh Twitter @hanaseleb1234 13
    

    View Slide

15. データフローを考える🤔🤔
    © Akihiro Sutoh Twitter @hanaseleb1234 14
    💪💪😁😁
    保存ボタンに注目😅😅
    

    View Slide

16. データフローを考える🤔🤔
    © Akihiro Sutoh Twitter @hanaseleb1234 15
    💪💪😁😁
    データフローのプロパティにある、
    「分析情報」のボタンを押せないんですぅ
    お調べします、少々お待ち下さい。
    

    View Slide

17. データフローを考える🤔🤔
    © Akihiro Sutoh Twitter @hanaseleb1234 16
    💪💪😁😁
    数日後
    

    View Slide

18. データフローを考える🤔🤔
    © Akihiro Sutoh Twitter @hanaseleb1234 17
    💪💪😁😁
    ありがとうございます。どうでしたか！？
    調査結果が出まして、原因がわかりました。
    そもそもデータフローに「分析情報」という機能は実
    装予定がなく、ボタンが表示されてはいけないとのこ
    とでした。
    すげーそんなことあるんですね笑😁😁
    

    View Slide

19. データフローを考える🤔🤔
    © Akihiro Sutoh Twitter @hanaseleb1234 18
    💪💪😁😁
    データマート
    データマートの概要 - Power BI | Microsoft Learn
    

    View Slide

20. データフローを考える🤔🤔
    © Akihiro Sutoh Twitter @hanaseleb1234 19
    💪💪😁😁
    本当に使われていないの？🤔🤔
    

    View Slide

21. データフローとは
    © Akihiro Sutoh Twitter @hanaseleb1234 20
    

    View Slide

22. データフローとは
    © Akihiro Sutoh Twitter @hanaseleb1234 21
    データフローとセルフサービスのデータ準備の概要 - Power BI | Microsoft Learn
    • Power BI 内の多くのデータセットおよびレポートで共有できる再利用可能な変換ロジックを作成します。
    • 基になるシステムに接続するのではなく、アナリストにデータフローへの接続を強制することで、信頼で
    きる単一の情報源を作成し、アクセスするデータと、データをレポート作成者に公開する方法を制御する
    ことができます。
    • 大量のデータを処理して ETL を大規模に実行する場合、Power BI Premium を使用したデータフローはよ
    り効率的に拡張され、柔軟性が向上します。 データフローにより、さまざまなクラウドおよびオンプレミ
    スのソースがサポートされます。
    • アナリストが基になるデータ ソースに直接アクセスするのを防ぎます。 レポート作成者はデータフローに
    基づいて作成できるため、基になるデータソースへのアクセスを少数の個人にのみ許可し、アナリストが
    データフローにアクセスし、それに基づいて作成できるようにする方が便利な場合があります。 このアプ
    ローチを使用すると、基になるシステムへの負荷が削減され、管理者は、システムが更新から読み込まれ
    るタイミングをより細かく制御できます。
    

    View Slide

23. © Akihiro Sutoh Twitter @hanaseleb1234 22
    データフローとセルフサービスのデータ準備の概要 - Power BI | Microsoft Learn
    

    View Slide

24. システム構成図
    © Akihiro Sutoh Twitter @hanaseleb1234 23
    💪💪😁😁
    

    View Slide

25. システム構成図
    © Akihiro Sutoh Twitter @hanaseleb1234 24
    変換処理
    変換処理
    変換処理
    変換処理
    同じような変換処理😭😭
    

    View Slide

26. システム構成図
    © Akihiro Sutoh Twitter @hanaseleb1234 25
    変換処理
    信頼できる単一の情報源
    データフロー
    変換処理
    変換処理
    変換処理
    変換処理
    

    View Slide

27. システム構成図
    © Akihiro Sutoh Twitter @hanaseleb1234 26
    データエンジニア データアナリスト ビジネスユーザー
    SQL ／ Python Power Query
    接続回数をへらす
    データフロー
    変換処理
    

    View Slide

28. システム構成図
    © Akihiro Sutoh Twitter @hanaseleb1234 27
    変換処理
    データエンジニア データアナリスト ビジネスユーザー
    SQL ／ Python Power Query
    接続回数をへらす
    処理能力を下げることもできる？
    ↓
    コスト削減💪💪 データフロー
    

    View Slide

29. データフローを考える🤔🤔
    © Akihiro Sutoh Twitter @hanaseleb1234 28
    データフローの Premium 機能 - Power BI | Microsoft Learn
    拡張コンピューティング エンジンの使用
    → CSVではなくSQL Databaseに保存
    → joins や group by 演算など) を実行する計算テーブルのパフォーマンスが向上💪💪
    💪💪😁😁
    

    View Slide

30. データフローを考える🤔🤔
    © Akihiro Sutoh Twitter @hanaseleb1234 29
    データフローの Premium 機能 - Power BI | Microsoft Learn
    計算対象エンティティ
    リンクされたエンティティ
    計算列の追加ができる。
    処理を段階に分けた実装が可能
    データマートをPower BI Service内に
    💪💪😁😁 メダリオンアーキテクチャ | Databricks
    

    View Slide

31. データフローを考える🤔🤔
    © Akihiro Sutoh Twitter @hanaseleb1234 30
    データフローの Premium 機能 - Power BI | Microsoft Learn
    増分更新
    データフローで増分更新の設定が可能
    データフローへのダイレクトクエリ
    便利
    データソースへのアクセス負荷軽減もできる。
    💪💪😁😁
    

    View Slide

32. © Akihiro Sutoh Twitter @hanaseleb1234 31
    💪💪😁😁 中小企業向けの最新データ ウェアハウス - Azure Architecture Center | Microsoft Learn
    

    View Slide

33. © Akihiro Sutoh Twitter @hanaseleb1234 32
    💪💪😁😁 Azure Synapse を使用した分析のエンド ツー エンド - Azure Architecture Center | Microsoft Learn
    

    View Slide

34. 社内の組織・チームごとに要件は変わる
    © Akihiro Sutoh Twitter @hanaseleb1234 33
    SQL ／ Python Power Query
    チームA
    データエンジニア
    データエンジニア
    ビジネスユーザー
    チームB
    ビジネスユーザー
    チームC
    ビジネスユーザー
    データアナリスト
    データアナリスト ビジネスユーザー
    ビジネスユーザー
    Power Query
    柔軟な対応を構築できる💪💪
    「さっ」とデータを出せる仕組みづくり😀😀
    データマート
    

    View Slide

35. データフローを考える🤔🤔
    © Akihiro Sutoh Twitter @hanaseleb1234 34
    💪💪😁😁
    • 使っていないのはもったいない
    • Power BIの世界でのデータアーキテクチャを考える必要がある
    • Power BI Premiumだとより便利に、お得な構成を考えられるかも
    • Power BIを「可視化ツール」と捉えない
    Azure アーキテクチャ センター - Azure Architecture
    Center | Microsoft Learn
    

    View Slide

36. みんなで考えよう🎉🎉
    Fin.
    10/18~ Japan Power Platform Conference 2022
    11/24 Azure Analytics Day 2022 Autumn も見てね😁😁
    

    View Slide