Fabric 移行時の躓きポイントと対応策

このPDFファイルは、2024年12月26日に行われたPower BI LT会 #7での発表資料です。主な内容は、Microsoft Fabricへの移行時に直面する可能性のある問題点とその対応策についてです。以下に概要をまとめます：

資料内のSQLクエリやコードは、以下のGitHubで公開しています。是非参考にしてください。
https://github.com/ohata-ds/fabric_knowledge/tree/main/PowerBI_LT_7

▼アジェンダ
・自己紹介
・躓きポイントと対応策
・・無料試用版の最大容量に達した
・・データストアの種類が多い
・・レイクハウスのSQLエンドポイントが読取専用

▼自己紹介
・大畑正利（おおはた まさとし）
・小売企業で働くデータサイエンティスト兼データエンジニア
・スキル: Power BI, SQL, Python, Power Platform, Microsoft Azure, streamlit

▼躓きポイントと対応策

１．無料試用版の最大容量に達した
・問題点: 無料試用版の容量制限に達すること
・対応策: 不要な試用版の容量をキャンセルする

２．データストアの種類が多い
・問題点: 多様なデータストアの選択に迷うこと
・対応策: 公開情報を参考に、自社に適したデータストアを選択する
・例: Microsoft Fabric 決定ガイドを利用

３．レイクハウスのSQLエンドポイントが読取専用
・問題点: SQLエンドポイントが読み取り専用であること
・対応策: ノートブック（Spark SQLやPySpark）を使用してCRUD操作を行う

▼まとめ
・無料試用版の容量問題は不要な容量をキャンセルすることで解決
・データストアの選択は公開情報を参考にする
・レイクハウスのSQLエンドポイントの制限はノートブックを活用して回避

この資料は、発表者の個人的な見解に基づいており、所属する企業や組織の立場を代表するものではありません。

Transcript

1. © 2024 Masatoshi Ohata Fabric 移行時の 躓きポイントと対応策 Masatoshi Ohata Power BI LT会 #7 2024-12-26
2. アジェンダ © 2024 Masatoshi Ohata • 自己紹介 • 躓き1:無料試用版の最大容量に達した • 躓き2:データストアの種類が多い • 躓き3:レイクハウスのSQLエンドポイントが読取専用 • まとめ 発言や資料はわたし個人の見解に基づくものであり、所属する企業や組織の立場、戦略、意見を 代表するものではありません。
3. Profile｜プロフィール 大畑 正利(おおはた まさとし) • 小売企業で働くデータサイエンティスト兼データエンジニア • マイブーム：キーボード配列の変更 （人差し指でAキーをタイプする快適さがたまりません） • @ohata_ds • スキル: #PowerBI, #SQL, #Python, #PowerPlatform, #MicrosoftAzure, #streamlit
4. 無料試用版の最大容量に達した © 2024 Masatoshi Ohata 躓きレベル：
5. 無料試用版の最大容量に達した(対応策) © 2024 Masatoshi Ohata 不要な試用版の容量をキャンセルする 躓きレベル：
6. • レイクハウス • ウェアハウス • Fabric SQL Database • Power BI データマート • イベントハウス データストアの種類が多い © 2024 Masatoshi Ohata 躓きレベル：
7. 公開情報を見て、自社に適したものを選択 • Microsoft Fabric 決定ガイド: ウェアハウスとレイクハウスの選択 • Microsoft Fabric 決定ガイド: データ ストアを選択する 個人的には、レイクハウスの方がFabricの良さを引き出せると思う。 （ウェアハウスを選んでも、MERGEなど多用しているコマンドが使えないから、工夫が必要な部分はレイクハウスと同じかなと） • T-SQL のセキュリティ、外部からのアクセス - Microsoft Fabric | Microsoft Learn • <抜粋> 現時点では、次のコマンドの一覧はサポートされていません、Warehouseに問題が発生する可能性があります。 • MERGE • 再帰クエリ • OPENROWSET • BULK LOAD データストアの種類が多い(対応策) © 2024 Masatoshi Ohata 躓きレベル：
8. レイクハウスのSQL分析エンドポイントが 読み取り専用 © 2024 Masatoshi Ohata 躓きレベル： 出典：レイクハウスの SQL 分析エンドポイントとは - Microsoft Fabric | Microsoft Learn
9. レイクハウスのSQL分析エンドポイントが 読み取り専用 © 2024 Masatoshi Ohata 躓きレベル： とりま、SQL分析エンドポイントでCRUD操作 「作成(Create)」「読み出し(Read)」「更新(Update)」「削除(Delete)」 １ 「読み出し(Read)」
10. レイクハウスのSQL分析エンドポイントが 読み取り専用 © 2024 Masatoshi Ohata 躓きレベル： とりま、SQL分析エンドポイントでCRUD操作 ２「作成(Create)」
11. レイクハウスのSQL分析エンドポイントが 読み取り専用 © 2024 Masatoshi Ohata 躓きレベル： とりま、SQL分析エンドポイントでCRUD操作 ３「更新(Update)」
12. レイクハウスのSQL分析エンドポイントが 読み取り専用 © 2024 Masatoshi Ohata 躓きレベル： とりま、SQL分析エンドポイントでCRUD操作 ４「削除(Delete)」
13. レイクハウスのSQL分析エンドポイントが 読み取り専用 © 2024 Masatoshi Ohata 躓きレベル： SQL分析エンドポイントでは「読み出し(Read)」しか出来ない。 うん、知ってた、、、。
14. レイクハウスのSQL分析エンドポイントが 読み取り専用(対応策) © 2024 Masatoshi Ohata 躓きレベル： ノートブックでOK
15. レイクハウスのSQL分析エンドポイントが 読み取り専用(対応策) © 2024 Masatoshi Ohata 躓きレベル： ノートブック (Spark SQL)で、CRUD操作
16. レイクハウスのSQL分析エンドポイントが 読み取り専用(対応策) © 2024 Masatoshi Ohata 躓きレベル： ノートブック (Spark SQL)で、MERGEコマンドを使ったアップサート
17. レイクハウスのSQL分析エンドポイントが 読み取り専用(対応策) © 2024 Masatoshi Ohata 躓きレベル： 何だったらノートブック (PySpark)は、4行でアップサート出来るから楽。 ① ② ③ ④
18. 参考情報： • Dataflow Gen2 でデータを段階的に蓄積するパターン - Microsoft Fabric |マイクロソフト ラーン • 緩やかに変化するディメンション タイプ 1 - Microsoft Fabric |マイクロソフト ラーン 英語情報は「SCD」のキーワードで検索すると見つかりやすい。 レイクハウスのSQL分析エンドポイントが 読み取り専用(対応策) © 2024 Masatoshi Ohata 躓きレベル：
19. • 無料試用版の最大容量に達した → 不要な試用版の容量をキャンセルする • データストアの種類多い → レイクハウスの方が Fabric の良さを引き出せると思う （工夫が必要な部分が出てくるけど） • レイクハウスのSQLエンドポイントが読み取り専用 → ノートブックでOK まとめ © 2024 Masatoshi Ohata 以上が、Fabric を3日ほど触ったナレッジです。 「そこ、違うよ」とか「こういう選択肢もあるよ」とか、ご意見大歓迎です！ @ohata_ds