Power BI データフローを考える 2022/10/15 Power BI勉強会にて発表した内容です。 https://powerbi.connpass.com/event/261249/
データフローを考える🤔🤔
View Slide
須藤 明洋すとう あきひろ秋田県 出身集英社 勤務Power Platform 2021.04~Python 2021.09~Rugby 1991.04~Kendama 2020.04~Qiita @hanaselebTwitter @hanaseleb123410/18~ Japan Power Platform Conference 202211/24 Azure Analytics Day 2022 Autumn 登壇します😁😁
© Akihiro Sutoh Twitter @hanaseleb1234 3大前提
© Akihiro Sutoh Twitter @hanaseleb1234 4データフロー大好き😁😁🎉🎉
© Akihiro Sutoh Twitter @hanaseleb1234 5
© Akihiro Sutoh Twitter @hanaseleb1234 6
データフローとは(概要)© Akihiro Sutoh Twitter @hanaseleb1234 7
データフローとは© Akihiro Sutoh Twitter @hanaseleb1234 8データフローとセルフサービスのデータ準備の概要 - Power BI | Microsoft Learnデータの量は増え続けるので、データを整った形式のアクションにつながる情報に変換することが課題です。大量のデータをアクションにつながる分析情報に迅速に変換できるよう、分析を行ったり、ビジュアル、レポート、ダッシュボードに設定したりする準備が整っているデータが必要です。Power BI のビッグ データに対するセルフサービスのデータ準備を使用すると、ほんの数クリックでデータをPower BI の分析情報にできます。→ Power Query Online
考えるきっかけ© Akihiro Sutoh Twitter @hanaseleb1234 9💪💪😁😁
データフローを考える🤔🤔© Akihiro Sutoh Twitter @hanaseleb1234 10💪💪😁😁コミュニティで「データフローはあまり使われていない」という趣旨の会話があった🤔🤔
データフローを考える🤔🤔© Akihiro Sutoh Twitter @hanaseleb1234 11💪💪😁😁同時期、データフローのプロパティに「分析情報」をいうボタンを発見。
© Akihiro Sutoh Twitter @hanaseleb1234 12
© Akihiro Sutoh Twitter @hanaseleb1234 13
データフローを考える🤔🤔© Akihiro Sutoh Twitter @hanaseleb1234 14💪💪😁😁保存ボタンに注目😅😅
データフローを考える🤔🤔© Akihiro Sutoh Twitter @hanaseleb1234 15💪💪😁😁データフローのプロパティにある、「分析情報」のボタンを押せないんですぅお調べします、少々お待ち下さい。
データフローを考える🤔🤔© Akihiro Sutoh Twitter @hanaseleb1234 16💪💪😁😁数日後
データフローを考える🤔🤔© Akihiro Sutoh Twitter @hanaseleb1234 17💪💪😁😁ありがとうございます。どうでしたか!?調査結果が出まして、原因がわかりました。そもそもデータフローに「分析情報」という機能は実装予定がなく、ボタンが表示されてはいけないとのことでした。すげーそんなことあるんですね笑😁😁
データフローを考える🤔🤔© Akihiro Sutoh Twitter @hanaseleb1234 18💪💪😁😁データマートデータマートの概要 - Power BI | Microsoft Learn
データフローを考える🤔🤔© Akihiro Sutoh Twitter @hanaseleb1234 19💪💪😁😁本当に使われていないの?🤔🤔
データフローとは© Akihiro Sutoh Twitter @hanaseleb1234 20
データフローとは© Akihiro Sutoh Twitter @hanaseleb1234 21データフローとセルフサービスのデータ準備の概要 - Power BI | Microsoft Learn• Power BI 内の多くのデータセットおよびレポートで共有できる再利用可能な変換ロジックを作成します。• 基になるシステムに接続するのではなく、アナリストにデータフローへの接続を強制することで、信頼できる単一の情報源を作成し、アクセスするデータと、データをレポート作成者に公開する方法を制御することができます。• 大量のデータを処理して ETL を大規模に実行する場合、Power BI Premium を使用したデータフローはより効率的に拡張され、柔軟性が向上します。 データフローにより、さまざまなクラウドおよびオンプレミスのソースがサポートされます。• アナリストが基になるデータ ソースに直接アクセスするのを防ぎます。 レポート作成者はデータフローに基づいて作成できるため、基になるデータソースへのアクセスを少数の個人にのみ許可し、アナリストがデータフローにアクセスし、それに基づいて作成できるようにする方が便利な場合があります。 このアプローチを使用すると、基になるシステムへの負荷が削減され、管理者は、システムが更新から読み込まれるタイミングをより細かく制御できます。
© Akihiro Sutoh Twitter @hanaseleb1234 22データフローとセルフサービスのデータ準備の概要 - Power BI | Microsoft Learn
システム構成図© Akihiro Sutoh Twitter @hanaseleb1234 23💪💪😁😁
システム構成図© Akihiro Sutoh Twitter @hanaseleb1234 24変換処理変換処理変換処理変換処理同じような変換処理😭😭
システム構成図© Akihiro Sutoh Twitter @hanaseleb1234 25変換処理信頼できる単一の情報源データフロー変換処理変換処理変換処理変換処理
システム構成図© Akihiro Sutoh Twitter @hanaseleb1234 26データエンジニア データアナリスト ビジネスユーザーSQL / Python Power Query接続回数をへらすデータフロー変換処理
システム構成図© Akihiro Sutoh Twitter @hanaseleb1234 27変換処理データエンジニア データアナリスト ビジネスユーザーSQL / Python Power Query接続回数をへらす処理能力を下げることもできる?↓コスト削減💪💪 データフロー
データフローを考える🤔🤔© Akihiro Sutoh Twitter @hanaseleb1234 28データフローの Premium 機能 - Power BI | Microsoft Learn拡張コンピューティング エンジンの使用→ CSVではなくSQL Databaseに保存→ joins や group by 演算など) を実行する計算テーブルのパフォーマンスが向上💪💪💪💪😁😁
データフローを考える🤔🤔© Akihiro Sutoh Twitter @hanaseleb1234 29データフローの Premium 機能 - Power BI | Microsoft Learn計算対象エンティティリンクされたエンティティ計算列の追加ができる。処理を段階に分けた実装が可能データマートをPower BI Service内に💪💪😁😁 メダリオンアーキテクチャ | Databricks
データフローを考える🤔🤔© Akihiro Sutoh Twitter @hanaseleb1234 30データフローの Premium 機能 - Power BI | Microsoft Learn増分更新データフローで増分更新の設定が可能データフローへのダイレクトクエリ便利データソースへのアクセス負荷軽減もできる。💪💪😁😁
© Akihiro Sutoh Twitter @hanaseleb1234 31💪💪😁😁 中小企業向けの最新データ ウェアハウス - Azure Architecture Center | Microsoft Learn
© Akihiro Sutoh Twitter @hanaseleb1234 32💪💪😁😁 Azure Synapse を使用した分析のエンド ツー エンド - Azure Architecture Center | Microsoft Learn
社内の組織・チームごとに要件は変わる© Akihiro Sutoh Twitter @hanaseleb1234 33SQL / Python Power QueryチームAデータエンジニアデータエンジニアビジネスユーザーチームBビジネスユーザーチームCビジネスユーザーデータアナリストデータアナリスト ビジネスユーザービジネスユーザーPower Query柔軟な対応を構築できる💪💪「さっ」とデータを出せる仕組みづくり😀😀データマート
データフローを考える🤔🤔© Akihiro Sutoh Twitter @hanaseleb1234 34💪💪😁😁• 使っていないのはもったいない• Power BIの世界でのデータアーキテクチャを考える必要がある• Power BI Premiumだとより便利に、お得な構成を考えられるかも• Power BIを「可視化ツール」と捉えないAzure アーキテクチャ センター - Azure ArchitectureCenter | Microsoft Learn
みんなで考えよう🎉🎉Fin.10/18~ Japan Power Platform Conference 202211/24 Azure Analytics Day 2022 Autumn も見てね😁😁