Tweet
Tweet

Slide 1

Slide 1 text

データフローを考える🤔🤔

Slide 2

Slide 2 text

須藤 明洋 すとう あきひろ 秋田県 出身 集英社 勤務 Power Platform 2021.04~ Python 2021.09~ Rugby 1991.04~ Kendama 2020.04~ Qiita @hanaseleb Twitter @hanaseleb1234 10/18～ Japan Power Platform Conference 2022 11/24 Azure Analytics Day 2022 Autumn 登壇します😁😁

Slide 3

Slide 3 text

データフローを考える🤔🤔

Slide 4

Slide 4 text

© Akihiro Sutoh Twitter @hanaseleb1234 3 大前提

Slide 5

Slide 5 text

© Akihiro Sutoh Twitter @hanaseleb1234 4 データフロー大好き😁😁🎉🎉

Slide 6

Slide 6 text

© Akihiro Sutoh Twitter @hanaseleb1234 5

Slide 7

Slide 7 text

© Akihiro Sutoh Twitter @hanaseleb1234 6

Slide 8

Slide 8 text

データフローとは（概要） © Akihiro Sutoh Twitter @hanaseleb1234 7

Slide 9

Slide 9 text

データフローとは © Akihiro Sutoh Twitter @hanaseleb1234 8 データフローとセルフサービスのデータ準備の概要 - Power BI | Microsoft Learn データの量は増え続けるので、データを整った形式のアクションにつながる情報に変換することが課題です。 大量のデータをアクションにつながる分析情報に迅速に変換できるよう、分析を行ったり、ビジュアル、レ ポート、ダッシュボードに設定したりする準備が整っているデータが必要です。 Power BI のビッグ データに対するセルフサービスのデータ準備を使用すると、ほんの数クリックでデータを Power BI の分析情報にできます。 → Power Query Online

Slide 10

Slide 10 text

考えるきっかけ © Akihiro Sutoh Twitter @hanaseleb1234 9 💪💪😁😁

Slide 11

Slide 11 text

データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 10 💪💪😁😁 コミュニティで 「データフローはあまり使われていない」 という趣旨の会話があった🤔🤔

Slide 12

Slide 12 text

データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 11 💪💪😁😁 同時期、 データフローのプロパティに 「分析情報」をいうボタンを発見。

Slide 13

Slide 13 text

© Akihiro Sutoh Twitter @hanaseleb1234 12

Slide 14

Slide 14 text

© Akihiro Sutoh Twitter @hanaseleb1234 13

Slide 15

Slide 15 text

データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 14 💪💪😁😁 保存ボタンに注目😅😅

Slide 16

Slide 16 text

データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 15 💪💪😁😁 データフローのプロパティにある、 「分析情報」のボタンを押せないんですぅ お調べします、少々お待ち下さい。

Slide 17

Slide 17 text

データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 16 💪💪😁😁 数日後

Slide 18

Slide 18 text

データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 17 💪💪😁😁 ありがとうございます。どうでしたか！？ 調査結果が出まして、原因がわかりました。 そもそもデータフローに「分析情報」という機能は実 装予定がなく、ボタンが表示されてはいけないとのこ とでした。 すげーそんなことあるんですね笑😁😁

Slide 19

Slide 19 text

データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 18 💪💪😁😁 データマート データマートの概要 - Power BI | Microsoft Learn

Slide 20

Slide 20 text

データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 19 💪💪😁😁 本当に使われていないの？🤔🤔

Slide 21

Slide 21 text

データフローとは © Akihiro Sutoh Twitter @hanaseleb1234 20

Slide 22

Slide 22 text

データフローとは © Akihiro Sutoh Twitter @hanaseleb1234 21 データフローとセルフサービスのデータ準備の概要 - Power BI | Microsoft Learn • Power BI 内の多くのデータセットおよびレポートで共有できる再利用可能な変換ロジックを作成します。 • 基になるシステムに接続するのではなく、アナリストにデータフローへの接続を強制することで、信頼で きる単一の情報源を作成し、アクセスするデータと、データをレポート作成者に公開する方法を制御する ことができます。 • 大量のデータを処理して ETL を大規模に実行する場合、Power BI Premium を使用したデータフローはよ り効率的に拡張され、柔軟性が向上します。 データフローにより、さまざまなクラウドおよびオンプレミ スのソースがサポートされます。 • アナリストが基になるデータ ソースに直接アクセスするのを防ぎます。 レポート作成者はデータフローに 基づいて作成できるため、基になるデータソースへのアクセスを少数の個人にのみ許可し、アナリストが データフローにアクセスし、それに基づいて作成できるようにする方が便利な場合があります。 このアプ ローチを使用すると、基になるシステムへの負荷が削減され、管理者は、システムが更新から読み込まれ るタイミングをより細かく制御できます。

Slide 23

Slide 23 text

© Akihiro Sutoh Twitter @hanaseleb1234 22 データフローとセルフサービスのデータ準備の概要 - Power BI | Microsoft Learn

Slide 24

Slide 24 text

システム構成図 © Akihiro Sutoh Twitter @hanaseleb1234 23 💪💪😁😁

Slide 25

Slide 25 text

システム構成図 © Akihiro Sutoh Twitter @hanaseleb1234 24 変換処理 変換処理 変換処理 変換処理 同じような変換処理😭😭

Slide 26

Slide 26 text

システム構成図 © Akihiro Sutoh Twitter @hanaseleb1234 25 変換処理 信頼できる単一の情報源 データフロー 変換処理 変換処理 変換処理 変換処理

Slide 27

Slide 27 text

システム構成図 © Akihiro Sutoh Twitter @hanaseleb1234 26 データエンジニア データアナリスト ビジネスユーザー SQL ／ Python Power Query 接続回数をへらす データフロー 変換処理

Slide 28

Slide 28 text

システム構成図 © Akihiro Sutoh Twitter @hanaseleb1234 27 変換処理 データエンジニア データアナリスト ビジネスユーザー SQL ／ Python Power Query 接続回数をへらす 処理能力を下げることもできる？ ↓ コスト削減💪💪 データフロー

Slide 29

Slide 29 text

データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 28 データフローの Premium 機能 - Power BI | Microsoft Learn 拡張コンピューティング エンジンの使用 → CSVではなくSQL Databaseに保存 → joins や group by 演算など) を実行する計算テーブルのパフォーマンスが向上💪💪 💪💪😁😁

Slide 30

Slide 30 text

データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 29 データフローの Premium 機能 - Power BI | Microsoft Learn 計算対象エンティティ リンクされたエンティティ 計算列の追加ができる。 処理を段階に分けた実装が可能 データマートをPower BI Service内に 💪💪😁😁 メダリオンアーキテクチャ | Databricks

Slide 31

Slide 31 text

データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 30 データフローの Premium 機能 - Power BI | Microsoft Learn 増分更新 データフローで増分更新の設定が可能 データフローへのダイレクトクエリ 便利 データソースへのアクセス負荷軽減もできる。 💪💪😁😁

Slide 32

Slide 32 text

© Akihiro Sutoh Twitter @hanaseleb1234 31 💪💪😁😁 中小企業向けの最新データ ウェアハウス - Azure Architecture Center | Microsoft Learn

Slide 33

Slide 33 text

© Akihiro Sutoh Twitter @hanaseleb1234 32 💪💪😁😁 Azure Synapse を使用した分析のエンド ツー エンド - Azure Architecture Center | Microsoft Learn

Slide 34

Slide 34 text

社内の組織・チームごとに要件は変わる © Akihiro Sutoh Twitter @hanaseleb1234 33 SQL ／ Python Power Query チームA データエンジニア データエンジニア ビジネスユーザー チームB ビジネスユーザー チームC ビジネスユーザー データアナリスト データアナリスト ビジネスユーザー ビジネスユーザー Power Query 柔軟な対応を構築できる💪💪 「さっ」とデータを出せる仕組みづくり😀😀 データマート

Slide 35

Slide 35 text

データフローを考える🤔🤔 © Akihiro Sutoh Twitter @hanaseleb1234 34 💪💪😁😁 • 使っていないのはもったいない • Power BIの世界でのデータアーキテクチャを考える必要がある • Power BI Premiumだとより便利に、お得な構成を考えられるかも • Power BIを「可視化ツール」と捉えない Azure アーキテクチャ センター - Azure Architecture Center | Microsoft Learn

Slide 36

Slide 36 text

みんなで考えよう🎉🎉 Fin. 10/18~ Japan Power Platform Conference 2022 11/24 Azure Analytics Day 2022 Autumn も見てね😁😁