Tweet
Tweet

Slide 1

Slide 1 text

© 2024 Masatoshi Ohata Fabric 移行時の 躓きポイントと対応策 Masatoshi Ohata Power BI LT会 #7 2024-12-26

Slide 2

Slide 2 text

アジェンダ © 2024 Masatoshi Ohata • 自己紹介 • 躓き1:無料試用版の最大容量に達した • 躓き2:データストアの種類が多い • 躓き3:レイクハウスのSQLエンドポイントが読取専用 • まとめ 発言や資料はわたし個人の見解に基づくものであり、所属する企業や組織の立場、戦略、意見を 代表するものではありません。

Slide 3

Slide 3 text

Profile｜プロフィール 大畑 正利(おおはた まさとし) • 小売企業で働くデータサイエンティスト兼データエンジニア • マイブーム：キーボード配列の変更 （人差し指でAキーをタイプする快適さがたまりません） • @ohata_ds • スキル: #PowerBI, #SQL, #Python, #PowerPlatform, #MicrosoftAzure, #streamlit

Slide 4

Slide 4 text

無料試用版の最大容量に達した © 2024 Masatoshi Ohata 躓きレベル：

Slide 5

Slide 5 text

無料試用版の最大容量に達した(対応策) © 2024 Masatoshi Ohata 不要な試用版の容量をキャンセルする 躓きレベル：

Slide 6

Slide 6 text

• レイクハウス • ウェアハウス • Fabric SQL Database • Power BI データマート • イベントハウス データストアの種類が多い © 2024 Masatoshi Ohata 躓きレベル：

Slide 7

Slide 7 text

公開情報を見て、自社に適したものを選択 • Microsoft Fabric 決定ガイド: ウェアハウスとレイクハウスの選択 • Microsoft Fabric 決定ガイド: データ ストアを選択する 個人的には、レイクハウスの方がFabricの良さを引き出せると思う。 （ウェアハウスを選んでも、MERGEなど多用しているコマンドが使えないから、工夫が必要な部分はレイクハウスと同じかなと） • T-SQL のセキュリティ、外部からのアクセス - Microsoft Fabric | Microsoft Learn • <抜粋> 現時点では、次のコマンドの一覧はサポートされていません、Warehouseに問題が発生する可能性があります。 • MERGE • 再帰クエリ • OPENROWSET • BULK LOAD データストアの種類が多い(対応策) © 2024 Masatoshi Ohata 躓きレベル：

Slide 8

Slide 8 text

レイクハウスのSQL分析エンドポイントが 読み取り専用 © 2024 Masatoshi Ohata 躓きレベル： 出典：レイクハウスの SQL 分析エンドポイントとは - Microsoft Fabric | Microsoft Learn

Slide 9

Slide 9 text

レイクハウスのSQL分析エンドポイントが 読み取り専用 © 2024 Masatoshi Ohata 躓きレベル： とりま、SQL分析エンドポイントでCRUD操作 「作成(Create)」「読み出し(Read)」「更新(Update)」「削除(Delete)」 １ 「読み出し(Read)」

Slide 10

Slide 10 text

レイクハウスのSQL分析エンドポイントが 読み取り専用 © 2024 Masatoshi Ohata 躓きレベル： とりま、SQL分析エンドポイントでCRUD操作 ２「作成(Create)」

Slide 11

Slide 11 text

レイクハウスのSQL分析エンドポイントが 読み取り専用 © 2024 Masatoshi Ohata 躓きレベル： とりま、SQL分析エンドポイントでCRUD操作 ３「更新(Update)」

Slide 12

Slide 12 text

レイクハウスのSQL分析エンドポイントが 読み取り専用 © 2024 Masatoshi Ohata 躓きレベル： とりま、SQL分析エンドポイントでCRUD操作 ４「削除(Delete)」

Slide 13

Slide 13 text

レイクハウスのSQL分析エンドポイントが 読み取り専用 © 2024 Masatoshi Ohata 躓きレベル： SQL分析エンドポイントでは「読み出し(Read)」しか出来ない。 うん、知ってた、、、。

Slide 14

Slide 14 text

レイクハウスのSQL分析エンドポイントが 読み取り専用(対応策) © 2024 Masatoshi Ohata 躓きレベル： ノートブックでOK

Slide 15

Slide 15 text

レイクハウスのSQL分析エンドポイントが 読み取り専用(対応策) © 2024 Masatoshi Ohata 躓きレベル： ノートブック (Spark SQL)で、CRUD操作

Slide 16

Slide 16 text

レイクハウスのSQL分析エンドポイントが 読み取り専用(対応策) © 2024 Masatoshi Ohata 躓きレベル： ノートブック (Spark SQL)で、MERGEコマンドを使ったアップサート

Slide 17

Slide 17 text

レイクハウスのSQL分析エンドポイントが 読み取り専用(対応策) © 2024 Masatoshi Ohata 躓きレベル： 何だったらノートブック (PySpark)は、4行でアップサート出来るから楽。 ① ② ③ ④

Slide 18

Slide 18 text

参考情報： • Dataflow Gen2 でデータを段階的に蓄積するパターン - Microsoft Fabric |マイクロソフト ラーン • 緩やかに変化するディメンション タイプ 1 - Microsoft Fabric |マイクロソフト ラーン 英語情報は「SCD」のキーワードで検索すると見つかりやすい。 レイクハウスのSQL分析エンドポイントが 読み取り専用(対応策) © 2024 Masatoshi Ohata 躓きレベル：

Slide 19

Slide 19 text

• 無料試用版の最大容量に達した → 不要な試用版の容量をキャンセルする • データストアの種類多い → レイクハウスの方が Fabric の良さを引き出せると思う （工夫が必要な部分が出てくるけど） • レイクハウスのSQLエンドポイントが読み取り専用 → ノートブックでOK まとめ © 2024 Masatoshi Ohata 以上が、Fabric を3日ほど触ったナレッジです。 「そこ、違うよ」とか「こういう選択肢もあるよ」とか、ご意見大歓迎です！ @ohata_ds