Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Power BI Premiumでデータ準備！

0cc2ebc5781bcb2cae5f9ab7efa40ff2?s=47 Akihiro Suto
May 03, 2022
Technology
1
190

Power BI Premiumでデータ準備！

Power BI 勉強会GW合宿 2022第壱夜~夜のデータ準備~
https://powerbi.connpass.com/event/246419/
こちらで発表した内容です。

0cc2ebc5781bcb2cae5f9ab7efa40ff2?s=128

Akihiro Suto

May 03, 2022
Tweet

More Decks by Akihiro Suto

See All by Akihiro Suto
Power BI Report Ops
0cc2ebc5781bcb2cae5f9ab7efa40ff2?s=48 hanaseleb
0
170
Power BI ”を” 可視化しよう！
0cc2ebc5781bcb2cae5f9ab7efa40ff2?s=48 hanaseleb
0
150
[Power BI] 静的ABC分類を構築する。
0cc2ebc5781bcb2cae5f9ab7efa40ff2?s=48 hanaseleb
0
120
データ損失防止ポリシーを構成してみる。
0cc2ebc5781bcb2cae5f9ab7efa40ff2?s=48 hanaseleb
1
130
PyCaretでKaggleの回帰問題に取り組む
0cc2ebc5781bcb2cae5f9ab7efa40ff2?s=48 hanaseleb
0
45

Other Decks in Technology

See All in Technology
How We Foster Reliability in Diversity
Ed424b1e857828ce69b0fdf4c3291d2e?s=48 nari_ex
PRO
9
2.7k
⚡Lightdashを試してみた
2c6a9bc003b77685330cc9359b6fbbc4?s=48 k_data_analyst
0
210
ZOZOTOWNのProduction Readiness Checklistと信頼性向上の取り組み / Improvement the reliability of ZOZOTOWN with Production Readiness Checklist
08672189228a165c14ed8d896f9a4d3a?s=48 akitok_
5
1.7k
toilを解消した話
632368cb0b90fa711cec36a082a7e24e?s=48 asumaywy
0
200
Poolにおける足を止めないシステム基盤構築
F811665799e1139b63140b72f3e8631f?s=48 winebarrel
3
840
プロダクション環境の信頼性を損ねず観測する技術
3baceb46dfe36422370df30b8eab61d1?s=48 egmc
4
530
數據的多重宇宙 @ LINE Taiwan
2102a6b8760bd6f57f672805723dd83a?s=48 line_developers_tw
PRO
0
680
プロダクトグロースと技術のベースアップを両立させるRettyのアプリ開発スタイル / Achieve Product Growth and Tech Update
1a74617b91d2757b839b9cf3614648ce?s=48 imaizume
1
290
5分で完全理解するGoのiota
9c23bec5e8b0aa1d9458d40800987347?s=48 uji
3
2.1k
220521_SFN_品質文化試論と『LEADING QUALITY』/220521_SFN_Essay_of_Quality_Culture_and_LEADING_QUALITY
C8cde92274f0ca1ff9b046673d4f2d29?s=48 mkwrd
0
250
ITエンジニアを取り巻く環境とキャリアパス / A career path for Japanese IT engineers
D2322aa2c45d0190205b3ed8bfdd6717?s=48 takatama
0
590
CAMのサービス開発の歴史と共通基盤を使った 開発スタイルへの変遷について
62e3beb467ce4d447d1491263dcf8d46?s=48 ishikawa_pro
0
100

Featured

See All Featured
The Illustrated Children's Guide to Kubernetes
0438ae60cde4c7add6f9da48f28c15cc?s=48 chrisshort
14
35k
The Art of Programming - Codeland 2020
719435d98d452de7ac367c828266cf01?s=48 erikaheidi
31
5.8k
BBQ
761be20b5ebd271008bcee1244fc5b52?s=48 matthewcrist
74
7.9k
Learning to Love Humans: Emotional Interface Design
5f50f94346fbcb23706f0707169317a4?s=48 aarron
261
37k
Optimizing for Happiness
25c7c18223fb42a4c6ae1c8db6f50f9b?s=48 mojombo
365
63k
A Modern Web Designer's Workflow
8081b26e05bb4354f7d65ffc34cbbd67?s=48 chriscoyier
689
180k
Designing Dashboards & Data Visualisations in Web Apps
Fde6c3a50ca518a909ef35c22c0ee0e4?s=48 destraynor
224
49k
What’s in a name? Adding method to the madness
C0390e8b11079f8761c0cd3274ed61cb?s=48 productmarketing
11
1.5k
The Pragmatic Product Professional
1177e050db6bafe62885362edf6e3537?s=48 lauravandoore
19
2.9k
Making Projects Easy
C4de88ea47538e4594750e3861a341c8?s=48 brettharned
98
4.3k
5 minutes of I Can Smell Your CMS
465724d73fe3a92c0879fdfb43a3a6f3?s=48 philhawksworth
196
18k
Why Our Code Smells
20bfe76b3d6105641f879fe45cfc9272?s=48 bkeepers
PRO
324
54k

Transcript

  1. Power BI 勉強会 GW合宿 2022 第壱夜 夜のデータ準備

  2. 須藤 明洋 すとう あきひろ 秋田県 出身 集英社 勤務 Power BI

    2021.04~ Python 2021.09~ Rugby 1991.04~ Kendama 2020.04~

  3. Power BI Premiumでデータ準備

  4. • Power BI Premiumの一部機能をご紹介 ◦ 💎配置パイプライン ◦ 💎データフロー ◦ 💎高度なAI

    ◦ 💎機械学習 Power BI Premiumでデータ準備

  5. 配置パイプライン

  6. • BI 作成者は組織のコンテンツのライフサイクルを管理 ◦ 開発環境→テスト環境→プロダクション環境 ◦ パラメーターの管理 ◦ データベースの変更 配置パイプライン

  7. None
  8. None
  9. None
  10. None
  11. None
  12. None
  13. None
  14. None
  15. None
  16. None
  17. None
  18. None
  19. None
  20. None

  21. • 開発環境 100行 ◦ インポートしたときに作業しやすい • テスト環境 1,000,000行 ◦ 前年比など確認

    • 運用環境 1,000,000,000行 → 全データ 配置パイプライン

  22. • 開発環境 100行 ◦ インポートしたときに作業しやすい • テスト環境 1,000,000行 ◦ 前年比など確認

    • 運用環境 1,000,000,000行 → 全データ 配置パイプライン Power BI Desktop Power BI Service

  23. Dataflow

  24. • Power BI 内の多くのデータセットおよびレポートで共有できる再利用 可能な変換ロジックを作成できる。 ◦ Power Query Online •

    独自の Azure Data Lake Storage Gen 2 内にデータが公開される。 Dataflow
  25. None

  26. • データフローを使用することで、データソースに何度もアクセスされる ことを防ぐことができる。 → Azure Data Lake Storage Gen2 にアクセス

    Dataflow
  27. None
  28. None
  29. None

  30. • データフローを使用することで、データソースに何度もアクセスされる ことを防ぐことができる。 → Azure Data Lake Storage Gen2 にアクセス

    • アクセス負荷軽減 • セキュリティ • 権限設計 Dataflow

  31. Power BI Premium の Dataflow

  32. • 💎処理の高速化 • 💎増分更新 • 💎リンクテーブル • 💎計算テーブル Power BI

    Premium の Dataflow

  33. 💎処理の高速化

  34. • Power BI Pro ◦ ベスト エフォート • Power BI

    Premium ◦ 専用容量が割り当てられる →処理が早い 💎処理の高速化

  35. 💎処理の高速化 • Pro環境 • Premium環境 データ読込速度比較

  36. 💎処理の高速化 • Pro環境：更新時間の制限 ◦ 個々のエンティティのレベルで 2 時間 ◦ データフロー全体のレベルで 3

    時間
  37. None

  38. 💎処理の高速化 • Premium環境：更新時間の制限 ◦ データフロー全体のレベルで 24 時間

  39. None

  40. • 例が良くない ◦ すみません • 体感時間 ◦ 半分くらい 💎処理の高速化

  41. 💎増分更新

  42. • Datasetの増分更新 ◦ Proライセンスでも可能 • Dataflowの増分更新 ◦ Premiumライセンスが必要 💎増分更新

  43. • 更新が高速化される • 更新の信頼性が高くなる • リソースの使用が減る 💎増分更新

  44. None
  45. None
  46. None
  47. None

  48. 💎リンクテーブル＆💎計算テーブル

  49. • 💎リンクテーブル ◦ 既存のデータフローを参照する。 ◦ 複数のデータフロー内で再利用できるテーブルを作成する。 💎リンクテーブル＆💎計算テーブル

  50. None
  51. None
  52. None

  53. • 💎計算テーブル ◦ リンク テーブルを参照し、書き込み専用の方法でそのテーブルに 対して操作を実行する。 ◦ その結果として新しいテーブルが作成される。 💎リンクテーブル＆💎計算テーブル

  54. None
  55. None

  56. データフローを使用してデ ータ ウェアハウスを作成す るためのベスト プラクティ ス - Power Query |

    Microsoft Docs

  57. データフローを使用してデータ ウェアハウスを作成する ためのベスト プラクティス - Power Query | Microsoft Docs

  58. シナリオに沿って紹介 ◦ 夏のフェア 『ナツコミ』 ◦ Twitterの反応を可視化したい 💎リンクテーブル＆💎計算テーブル

  59. None
  60. None
  61. None

  62. データ前処理

  63. 高度なAI

  64. • テキストアナリティクス • 画像へのタグ付け 高度なAI

  65. • テキストアナリティクス 自然言語処理 ◦ 言語の特定 ◦ キーフレーズ抽出 ◦ 感情スコア 高度なAI

  66. None
  67. None
  68. None
  69. None
  70. None
  71. None

  72. データ前処理

  73. データ前処理

  74. • 更新のオーケストラレーション ◦ 同じワークスペースに存在する場合 ◦ 上流のデータが更新されると下流のリンクテーブル、計算テーブル は順次更新される。 💎リンクテーブル＆💎計算テーブル

  75. None
  76. None
  77. None
  78. None
  79. None
  80. None
  81. None
  82. None

  83. 機械学習

  84. • 経験からの学習により自動で改善するコンピューターアルゴリズム 機械学習 機械学習 - Wikipedia

  85. • Power BI のAutoML ◦ 二項分類 ◦ 多項分類 ◦ 回帰

    機械学習 データフローと共に Machine Learning と Cognitive Services を使用する - Power BI | Microsoft Docs

  86. DEMO Diamond データセット カラット カラーなどから 価格を予測する 機械学習 pycaret/pycaret: An open-source,

    low-code machine learning library in Python (github.com)
  87. None

  88. ほかにも、 • データフローへのダイレクトクエリ • ページ分割されたレポート • 最大48回更新 などなど Power BI

    Premium 便利！ Power BI Premium の機能。 - Power BI | Microsoft Docs

  89. ほかにも、 • データフローへのダイレクトクエリ • ページ分割されたレポート • 最大48回更新 などなど Power BI

    Premium 便利！ Power BI Premium の機能。 - Power BI | Microsoft Docs もう戻れない
  90. None