$30 off During Our Annual Pro Sale. View Details »

Power BI のうらがわ

Akihiro Suto
August 06, 2022
Technology
2
470

Power BI のうらがわ

2nd Microsoft Data Analytics Day(Online)
https://sqlserver.connpass.com/event/251013/

での発表資料です。

Akihiro Suto

August 06, 2022
Tweet

More Decks by Akihiro Suto

See All by Akihiro Suto
プッシュデータセットを試してみよう
hanaseleb
0
330
レポートをつくる、その先の運用を考える🤔 Power BI Report Ops
hanaseleb
0
3.9k
Power BI データフローを考える
hanaseleb
1
1k
DAXクエリをDAX Studioでつくって、Power Automateで発射する💪
hanaseleb
1
1.9k
BIのPowerをAutomateする
hanaseleb
0
370
ゼロからはじめたPower BI
hanaseleb
1
600
Power Automateドリブンのチームマネジメント
hanaseleb
0
470
Power BI Report Ops
hanaseleb
0
520
Power BI ”を” 可視化しよう！
hanaseleb
0
530

Other Decks in Technology

See All in Technology
フロントエンドリアーキテクチャリングと開発チームのスキルトランスファーにおける9ヶ月間の奮闘記
wakamsha
5
3.9k
「極意本」サンプルコードをクラウド上で動かそう
upura
0
170
ミチビク株式会社エンジニアカンパニーデック
knsg16
0
2.1k
eBPF for the rest of us - Golab 2023
fedepaol
0
280
開発組織の体制づくり、いつやるか問題
akiroom
0
1.1k
Cloud Security Day 2023パネルディスカッション資料
coconala_engineer
0
140
実装がすべてではない、開発者の周りから考える Web プロダクトセキュリティ
oldbigbuddha
0
200
つくばチャレンジ2023EX with PLATEAU＠つくばセンター広場課題コース
tsukubachallenge
0
290
CI/CDプロセスの拡充からはじめる技術的負債の解消/Eliminate technical debt, starting with expanding CI/CD processes
onecareer_tech
0
130
LLMを活用した爆速アウトプットのすゝめ / bakusoku-outputs-with-llm
yuya4
8
3.6k
20年以上続くサービスの 管理画面リプレイスを行いながら 技術的負債と向き合った話
radkmb
0
2.1k
エンタープライズSaaSへの挑戦〜顧客の事業を成長させるプロダクトマネジメントとは？〜 / pmconf2023
route06
2
290

Featured

See All Featured
We Have a Design System, Now What?
morganepeng
41
6.4k
jQuery: Nuts, Bolts and Bling
dougneiner
57
6.9k
Building Your Own Lightsaber
phodgson
97
5.4k
4 Signs Your Business is Dying
shpigford
172
21k
Fantastic passwords and where to find them - at NoRuKo
philnash
34
2.2k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
24
2k
Being A Developer After 40
akosma
52
580k
KATA
mclloyd
13
11k
A designer walks into a library…
pauljervisheath
199
20k
Side Projects
sachag
450
39k
The Web Native Designer (August 2011)
paulrobertlloyd
78
2.7k
A better future with KSS
kneath
230
16k

Transcript

  1. View Slide

  2. 須藤 明洋
    すとう あきひろ
    秋田県 出身
    集英社 勤務
    Power BI 2021.04~
    Python 2021.09~
    Rugby 1991.04~
    Qiita @hanaseleb
    Twitter @hanaseleb1234

    View Slide

  3. 須藤 明洋
    すとう あきひろ
    秋田県 出身
    集英社 勤務
    Power BI 2021.04~
    Python 2021.09~
    Rugby 1991.04~
    Qiita @hanaseleb
    Twitter @hanaseleb1234

    View Slide

  4. Power BI の うらがわ🙃🙃

    View Slide

  5. ●
    Power BI Premium Workspace のみで検証可能です。
    ●
    たぶん、おそらく、ほぼ、どこか間違っています。
    ●
    あまり期待しないでください。
    ●
    It depends on you😁😁
    免責事項

    View Slide

  6. ●
    Power BI のうらがわで何が動いているかを知ろう😁😁
    ●
    それをできる限り触ってみよう🤩🤩
    Power BI の うらがわ🙃🙃

    View Slide

  7. ●
    Power BI Desktop
    ●
    Power BI Service
    ○
    Power BI Workspace
    ○
    Power BI Datamart
    ○
    Power BI Dataflows
    ○
    Power BI Dataset
    Power BI の うらがわ🙃🙃

    View Slide

  8. Dataflowのうらがわ

    View Slide

  9. View Slide

  10. View Slide

  11. View Slide

  12. データフローとセルフサービスのデータ準備の概要 -
    Power BI | Microsoft Docs

    View Slide

  13. View Slide

  14. View Slide

  15. View Slide

  16. View Slide

  17. View Slide

  18. View Slide

  19. View Slide

  20. View Slide

  21. ●
    Power BI Desktop
    ●
    Power BI Service
    ○
    Power BI Workspace
    ○
    Power BI Datamart
    ○
    Power BI Dataflows → Azure Data Lake Storage Gen2
    ○
    Power BI Dataset
    Power BI の うらがわ🙃🙃

    View Slide

  22. Datamartのうらがわ

    View Slide

  23. View Slide

  24. View Slide

  25. View Slide

  26. View Slide

  27. View Slide

  28. データマートの概要 - Power BI | Microsoft Docs

    View Slide

  29. データマートの概要 - Power BI | Microsoft Docs

    View Slide

  30. データマートの概要 - Power BI | Microsoft Docs

    View Slide

  31. データマートの概要 - Power BI | Microsoft Docs

    View Slide

  32. データマートの概要 - Power BI | Microsoft Docs

    View Slide

  33. データマートの概要 - Power BI | Microsoft Docs

    View Slide

  34. ●
    Power BI Desktop
    ●
    Power BI Service
    ○
    Power BI Workspace
    ○
    Power BI Datamart → Azure SQL Database
    ○
    Power BI Dataflows → Azure Data Lake Storage Gen2
    ○
    Power BI Dataset
    Power BI の うらがわ🙃🙃

    View Slide

  35. Power BI Desktopのうらがわ

    View Slide

  36. View Slide

  37. Power BI の う・ら・が・わ🙃🙃

    View Slide

  38. View Slide

  39. View Slide

  40. ●
    Power BI Desktop
    ●
    Power BI Service
    ○
    Power BI Workspace
    ○
    Power BI Datamart → Azure SQL Database
    ○
    Power BI Dataflows → Azure Data Lake Storage Gen2
    ○
    Power BI Dataset
    Power BI の うらがわ🙃🙃

    View Slide

  41. ●
    Power BI Desktop → SQL Server Analysis Services
    ●
    Power BI Service
    ○
    Power BI Workspace
    ○
    Power BI Datamart → Azure SQL Database
    ○
    Power BI Dataflows → Azure Data Lake Storage Gen2
    ○
    Power BI Dataset
    Power BI の うらがわ🙃🙃

    View Slide

  42. Analysis Servises🤔🤔

    View Slide

  43. ●
    Analysis Services は、意思決定サポートとビジネス分析で使用される
    分析データ エンジン (VertiPaq) です。 ビジネス インテリジェンス (BI)、
    データ分析、レポート アプリケーション (Power BI、Excel、Reporting
    Services、その他のデータ視覚化ツールなど) にエンタープライズ レベ
    ルのセマンティック データ モデル機能を提供します。 Analysis
    Services は、さまざまなプラットフォームで使用できます。
    Power BI と Analysis Servises
    Analysis Services とは | Microsoft Docs

    View Slide

  44. ●
    Analysis Services は、意思決定サポートとビジネス分析で使用される
    分析データ エンジン (VertiPaq) です。 ビジネス インテリジェンス (BI)、
    データ分析、レポート アプリケーション (Power BI、Excel、Reporting
    Services、その他のデータ視覚化ツールなど) にエンタープライズ レベ
    ルのセマンティック データ モデル機能を提供します。 Analysis
    Services は、さまざまなプラットフォームで使用できます。
    Power BI と Analysis Servises
    Analysis Services とは | Microsoft Docs
    🤔🤔

    View Slide

  45. ●
    Analysis Services は、意思決定サポートとビジネス分析で使用される
    分析データ エンジン (VertiPaq) です。 ビジネス インテリジェンス (BI)、
    データ分析、レポート アプリケーション (Power BI、Excel、Reporting
    Services、その他のデータ視覚化ツールなど) にエンタープライズ レベ
    ルのセマンティック データ モデル機能を提供します。 Analysis
    Services は、さまざまなプラットフォームで使用できます。
    Power BI と Analysis Servises
    Analysis Services とは | Microsoft Docs
    🤔🤔

    View Slide

  46. ● VertiPaq
    ○
    インメモリ
    ○
    列指向データベース
    Power BI と Analysis Servises

    View Slide

  47. ● VertiPaq
    ○
    インメモリ
    ○
    列指向データベース
    Power BI と Analysis Servises
    MicrosoftにおけるBIの歴史 - テクテク日記
    (hatenablog.com)

    View Slide

  48. ● VertiPaq
    ○
    インメモリ
    ○
    列指向データベース
    Power BI と Analysis Servises
    四半期
    2020_1Q
    2020_2Q
    2020_3Q
    2020_4Q
    2020_1Q
    2020_2Q
    2020_2Q
    2020_2Q
    2020_2Q
    2020_4Q
    2020_3Q
    2020_3Q
    2020_4Q
    2020_4Q
    2020_3Q
    2020_3Q
    2020_3Q
    …

    View Slide

  49. ●
    Semantic Data Models
    ○
    Semantic → 「意味、語義」
    ○
    データやコードなどの形式や構造と対比して、人間にとっての意味
    的な面を表す。
    Power BI と Analysis Servises
    Semantic data model - Wikipedia
    セマンティックとは - 意味をわかりやすく - IT用語辞典 e-Words

    View Slide

  50. ●
    Multidimensional
    ○
    多次元
    ○
    Cube
    ●
    Tabular
    ○
    表形式
    Tabular と Multidimensional の比較
    テーブルモデルAnalysis Services多次元モデルと多次元
    モデルの比較 | Microsoft Docs
    キューブ セル (Analysis Services - 多次元データ) |
    Microsoft Docs

    View Slide

  51. ●
    Multidimensional
    ○
    多次元
    ○
    Cube
    ●
    Tabular
    ○
    表形式
    Tabular と Multidimensional の比較
    テーブルモデルAnalysis Services多次元モデルと多次元
    モデルの比較 | Microsoft Docs
    キューブ セル (Analysis Services - 多次元データ) |
    Microsoft Docs

    View Slide

  52. ●
    切り口は事前計算
    ●
    計算結果をHD
    ●
    MDXクエリ
    Tabular と Multidimensional の比較
    MicrosoftにおけるBIの歴史 - テクテク日記
    (hatenablog.com)
    キューブ セル (Analysis Services - 多次元データ) |
    Microsoft Docs
    テーブルモデルAnalysis Services多次元モデルと多次元
    モデルの比較 | Microsoft Docs

    View Slide

  53. ●
    Tabular Model
    ●
    Tabular Object Model （TOM）
    ●
    JSON形式のModel.bim
    ●
    保存先はメモリ
    ●
    DAX
    Tabular と Multidimensional の比較

    View Slide

  54. ●
    Tabular Model
    ●
    Tabular Object Model （TOM）
    ●
    JSON形式のModel.bim
    ●
    保存先はメモリ
    ●
    DAX
    Tabular と Multidimensional の比較

    View Slide

  55. DEMO💪💪

    View Slide

  56. View Slide

  57. データとデータモデル

    View Slide

  58. View Slide

  59. View Slide

  60. View Slide

  61. View Slide

  62. View Slide

  63. View Slide

  64. ●
    データの実体
    ●
    データの定義 （データモデル）
    ●
    分離！
    データとデータモデル

    View Slide

  65. ●
    データの実体と
    ●
    データの定義 （データモデル）
    データとデータモデル

    View Slide

  66. ●
    データの実体と
    ●
    データの定義 （データモデル）
    データとデータモデル

    View Slide

  67. ●
    Power BI Desktop → SQL Server Analysis Services
    ●
    Power BI Service
    ○
    Power BI Workspace → Azure Analysis Servises
    ○
    Power BI Datamart → Azure SQL Database
    ○
    Power BI Dataflows → Azure Data Lake Storage Gen2
    ○
    Power BI Dataset → Azure Analysis Servises
    Power BI の うらがわ🙃🙃

    View Slide

  68. 列指向

    View Slide

  69. ●
    DAXのフィルター関数を使用するとき、テーブル全体をフィルターする
    のはなるべく避ける → 列を指定する
    ●
    日時列（DateTime）は本当に必要ですか？
    ●
    不要な列は消してください。
    ●
    本当に必要な列ですか？
    ●
    データモデルは列数が少ないほうがいい
    列指向

    View Slide

  70. ●
    列ごとにデータを保存
    ●
    必要な列だけ使用
    ●
    圧縮技術の紹介
    列指向

    View Slide

  71. 列指向
    四半期
    2020_1Q
    2020_2Q
    2020_3Q
    2020_4Q
    2020_1Q
    2020_2Q
    2020_2Q
    2020_2Q
    2020_2Q
    2020_4Q
    2020_3Q
    2020_3Q
    2020_4Q
    2020_4Q
    2020_3Q
    2020_3Q
    2020_3Q
    …

    View Slide

  72. 列指向
    四半期
    2020_1Q
    2020_2Q
    2020_3Q
    2020_4Q
    2020_1Q
    2020_2Q
    2020_2Q
    2020_2Q
    2020_2Q
    2020_4Q
    2020_3Q
    2020_3Q
    2020_4Q
    2020_4Q
    2020_3Q
    2020_3Q
    2020_3Q
    …
    四半期
    …
    2020_1Q
    2020_1Q
    2020_2Q
    2020_2Q
    2020_2Q
    2020_2Q
    2020_2Q
    2020_3Q
    2020_3Q
    2020_3Q
    2020_3Q
    2020_3Q
    2020_3Q
    2020_4Q
    2020_4Q
    2020_4Q
    2020_4Q
    並び替え

    View Slide

  73. 列指向
    四半期
    2020_1Q
    2020_2Q
    2020_3Q
    2020_4Q
    2020_1Q
    2020_2Q
    2020_2Q
    2020_2Q
    2020_2Q
    2020_4Q
    2020_3Q
    2020_3Q
    2020_4Q
    2020_4Q
    2020_3Q
    2020_3Q
    2020_3Q
    …
    四半期
    …
    2020_1Q
    2020_1Q
    2020_2Q
    2020_2Q
    2020_2Q
    2020_2Q
    2020_2Q
    2020_3Q
    2020_3Q
    2020_3Q
    2020_3Q
    2020_3Q
    2020_3Q
    2020_4Q
    2020_4Q
    2020_4Q
    2020_4Q
    並び替え 辞書作成
    四半期.ID 四半期
    0 2020_1Q
    1 2020_2Q
    2 2020_3Q
    3 2020_4Q

    View Slide

  74. 列指向
    四半期
    2020_1Q
    2020_2Q
    2020_3Q
    2020_4Q
    2020_1Q
    2020_2Q
    2020_2Q
    2020_2Q
    2020_2Q
    2020_4Q
    2020_3Q
    2020_3Q
    2020_4Q
    2020_4Q
    2020_3Q
    2020_3Q
    2020_3Q
    …
    四半期
    …
    2020_1Q
    2020_1Q
    2020_2Q
    2020_2Q
    2020_2Q
    2020_2Q
    2020_2Q
    2020_3Q
    2020_3Q
    2020_3Q
    2020_3Q
    2020_3Q
    2020_3Q
    2020_4Q
    2020_4Q
    2020_4Q
    2020_4Q
    並び替え 辞書作成
    四半期.ID 四半期
    0 2020_1Q
    1 2020_2Q
    2 2020_3Q
    3 2020_4Q
    四半期.ID
    …
    0
    0
    1
    1
    1
    1
    1
    2
    2
    2
    2
    2
    2
    3
    3
    3
    3

    View Slide

  75. 列指向
    四半期.ID 四半期
    0 2020_1Q
    1 2020_2Q
    2 2020_3Q
    3 2020_4Q
    四半期.ID
    …
    0
    0
    1
    1
    1
    1
    1
    2
    2
    2
    2
    2
    2
    3
    3
    3
    3

    View Slide

  76. 列指向
    四半期.ID 四半期
    0 2020_1Q
    1 2020_2Q
    2 2020_3Q
    3 2020_4Q
    四半期.ID
    …
    0
    0
    1
    1
    1
    1
    1
    2
    2
    2
    2
    2
    2
    3
    3
    3
    3

    View Slide

  77. 列指向
    四半期.ID 四半期
    0 2020_1Q
    1 2020_2Q
    2 2020_3Q
    3 2020_4Q
    四半期.ID
    …
    0
    0
    1
    1
    1
    1
    1
    2
    2
    2
    2
    2
    2
    3
    3
    3
    3
    四半期.ID Count
    0 250
    1 330
    2 552
    3 -

    View Slide

  78. 列指向
    四半期.ID 四半期
    0 2020_1Q
    1 2020_2Q
    2 2020_3Q
    3 2020_4Q
    四半期.ID Count
    0 250
    1 330
    2 552
    3 -

    View Slide

  79. View Slide

  80. View Slide

  81. View Slide

  82. ●
    列ごとにデータを保存
    ●
    必要な列だけ使用
    ●
    圧縮技術の紹介
    ●
    データの列数が少ないのはとても重要
    ●
    一意の数を持っている列をへらす努力
    ○
    DateTime列は最低でも分割する。
    列指向

    View Slide

  83. まとめ

    View Slide

  84. ●
    Azureの様々なサービスが組み合わさっている
    ●
    なんとかすれば触ることができる
    ●
    触るとPower BIと仲良くなれる （気がする）
    ●
    データ、データモデルは分離している
    ●
    データモデルは細く
    Power BI の うらがわ

    View Slide

  85. さいごに

    View Slide

  86. https://twitter.com/TacticsOgre_PR/

    View Slide

  87. 生まれ変わり！？🤔🤔

    View Slide

  88. 生まれ変わり！？🤔🤔

    View Slide

  89. 生まれ変わり！？🤔🤔

    View Slide

  90. せっかく夏なので、
    明日から、
    いや、明後日から、
    ダイエット始めます💪💪
    さいごに

    View Slide

  91. View Slide