Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Microsoft Fabricを7ヶ月使ってわかったこと
Search
Shun Oshidari
February 26, 2024
Programming
2
600
Microsoft Fabricを7ヶ月使ってわかったこと
https://azure-ai-hub.connpass.com/event/306890/
Shun Oshidari
February 26, 2024
Tweet
Share
More Decks by Shun Oshidari
See All by Shun Oshidari
毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management
shun_oshidari
12
8.7k
Other Decks in Programming
See All in Programming
Next.js App Router
quramy
11
1.8k
Introducing Kotlin Multiplatform in an existing mobile app - Workshop Edition | AndroidMakers Paris
prof18
0
150
AppRouter Panel Talk
yosuke_furukawa
PRO
1
460
AmperとFleetを使ったAndroidアプリ
yoppie
0
250
Elm Form Validation
bkuhlmann
0
510
PHP8.3の機能を振り返る / Review of PHP 8.3 features
seike460
PRO
1
120
try! Swift Tokyo 初参加報告LT
hinakko2
0
230
try! Swift Tokyo 2024 参加報告 / try! Swift Tokyo 2024 Report
hironytic
0
220
Goのmultiple errorsについて (2024年4月版)
syumai
4
1.2k
業務ツールとして使うPostman
msys75
0
100
Code Reviews
bkuhlmann
4
900
使ってみよう Azure AI Document Intelligence
kosmosebi
2
360
Featured
See All Featured
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.1k
The Language of Interfaces
destraynor
151
23k
Agile that works and the tools we love
rasmusluckow
325
20k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
34
8.9k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
123
39k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
13
8.3k
How to train your dragon (web standard)
notwaldorf
75
5.2k
Thoughts on Productivity
jonyablonski
60
3.9k
How To Stay Up To Date on Web Technology
chriscoyier
782
250k
Bootstrapping a Software Product
garrettdimon
PRO
302
110k
Learning to Love Humans: Emotional Interface Design
aarron
267
39k
Principles of Awesome APIs and How to Build Them.
keavy
121
16k
Transcript
GLP is a registered trademark and trademark of GLP Pte.
Ltd in the US, Singapore, and other countries. Azureのデータ系プロダクトがワンストップSaaSとなって新登場! Microsoft Fabricを 7ヶ⽉使ってわかったこと ⽇本GLP DX推進部 忍⾜俊 2024-02-26
⾃⼰紹介:忍⾜ 俊(おしだり しゅん) l ⾮IT系企業の⼀⼈データエンジニア l DeNA、メルペイなどのスマホ系IT企業 で10年近くBigQueryを愛⽤ l 現職でデータ基盤構築中にMicrosoft
Fabricが発表、現在はFabricをベース としたデータ基盤を社内で拡⼤中 l キーボードは分割派、⾃宅に⼯作室が ある 2
会社紹介:⽇本GLP 3 社名 ⽇本GLP 事業内容 物流施設事業 データセンター事業 再⽣可能エネルギー事業 設⽴ 2009年
開発・運営する 施設の総床⾯積 約1,100万㎡(約333万坪) 総運⽤資産残⾼ (AUM) 約3兆9,680億円 テックな トピックス • 「gcp.com」ドメインを保有 • データセンターを開発中(合計900メガ ワットを供給予定) GLP ALFALINK 相模原 GLP ALFALINK 流⼭ 顔認証による⼊館 従業員ラウンジ 託児所の設置 先進的物流施設 GLP ALFALINKシリーズ
Copilotも 先⾏検証中! チーム紹介:DX推進部 4 渋滞情報 物流課題を施設の視点から テクノロジーで解決 Azure OpenAIを活⽤した 業務⽤ChatGPTの開発と導⼊
労働⼒不⾜ 物流クライシス ⻑時間待機 少⼈化・⾃動化
Microsoft Fabricとは? 5 l オフィシャルな説明はネットに溢れ ているので、あえて個⼈的な理解で ⾔語化すると、 l SynapseなどのAzureのデータ系プ ロダクトをSaaSにして、さらに
Power BIも加えて1つにしたもの l Microsoftが満を持して全⽅位全部⼊ りのデータ基盤SaaSを出してきた l ⼀⼈データ基盤でも何とかなる! ウェアハウス (For 構造化データ) レイクハウス (For ⾮構造化データ) BI・可視化 ノートブック ETL・データ連携 パイプライン (ジョブスケジューラー) Data Activation (検知・アラート・トリガー) 機械学習 MS365との連携 Azureとの連携 etc... 個⼈的視点で⾒たFabricの中⾝ Copilot リアルタイムDB
1. SaaS化されているため、⼀⼈でも容易に構築・運⽤できる 2. Power BIがシンプルに超優秀(Looker、Tableau、Looker Studio、Redash、Metabase、 Supersetなどの使⽤経験あり。「How to Power BI」というYouTubeチャンネルがとてもおすすめです)
3. ビジネスユーザーが持つExcelなどの既存資産や、同時期に話題になったAzure OpenAIなどと同じエコシステム内にいて、⾼い親和性が期待できそう 4. データ基盤界隈で標準となりつつあるdbtというフレームワークに、プレ ビュー発表段階ですでに対応していた(きちんとコミュニティを⾒ている) 5. Microsoftの注⼒度合いが感じられる開発スピード(多少不満があってもいず れ解決されそう) Microsoft Fabricを選んだ理由 6
Microsoft Fabricの活⽤例 ① 基本 7 外部SaaSのデータや社内Excelのデータなどを、Dataflow Gen2を使ってWarehouseへ集約。Azureのコンテ ナでdbtを動かしデータを加⼯整備。Power BIで可視化や、Excelでの直接接続に加え、Power BI経由で⾃動
更新されるグラフや表をPower Pointに配置。 外部SaaS Excelなどの ビジネスデータ Dataflow Gen2 Warehouse Power BI Power Point Excel Container Services データの加⼯整備 ETLツール 同じ認証基盤のため社 内資産の接続も安⼼ 無料で使える コネクタが多数 Preview発表時点で 業界標準のdbtの アダプタも存在 業界随⼀の表現⼒ と柔軟性で可視化 (グラフ・表) Power BIの表やグラフ はデータソースとの接 続したまま貼付け可能 Excelからウェアハ ウス上のテーブルに 直接続可能 BigQueryなどを 併存させることも可能
Microsoft Fabricの活⽤例 ② BI画⾯のデプロイ管理 8 Deployment pipelinesを使うと、Power BIの”画⾯”を開発→検証→本番とデプロイ管理可能。各段階のデプ ロイ時に接続先データソースを⾃動的に変更することも可能。 作成した
Power BI レポート Push 環境間の差分が明⽰ 選択したファイルだけ デプロイ実⾏ 各環境のBI画 ⾯イメージ 画⾯もデータも 切り替わる 開発環境 検証環境 本番環境
Microsoft Fabricの活⽤例 ③ 簡易AOAIの実⾏基盤 9 Notebook上でWarehouse/Lakehouseに保管された⽂章データをロードし、Azure OpenAIのGPTに要約を させてLakehouseに保存。要約データはPower BIなどのツールで閲覧できるようにしたり、チャットツール 等で配信してもよい。Azure
OpenAIエンドポイントのシークレットキーはAzure KeyVaultに保管。KeyVault はFabric上のユーザー資格情報でアクセス可能。 Warehouse Lakehouse Notebook KeyVault Azure OpenAI ⽂章データを ロード シークレットキー を取得 要約⽂章を 作成 Lakehouse 要約⽂章を 保存 Power BI チャット ⼀⾏サマリーをクリッ クしたら本⽂が表⽰さ れるようなUIが作成可 外部から収集し た公開情報や、 議事録や業界動 向を保管 Fabric上の資格情報を 使うので認証が不要 Notebook⾃体もスケジュール実⾏ 可能、Pipelineで制御してもよい
Microsoft Fabricの推しポイント 10 「Microsoft Fabricを選んだ理由」の内容に加えて 1. 広範囲に全⽅位のプロダクトが⼊っていて、ユースケースが広がっても新たな ツールを導⼊する頻度を減らせそう 2. Azure
OpenAI (GPT) の呼び出し環境としてクイックに利⽤できる(PoCレベ ルであればNotebook&スケジュール設定で⼗分) 3. エンタープライズに広く普及したMicrosoftエコシステムでさくっとデータ基 盤を⽴ち上げるナレッジを得られる(個⼈のキャリア視点)
Microsoft Fabricの今後の期待 11 1. ワークスペースID(AzureでいうマネージドID?)の導⼊(Q1 2024) →FabricからAzureに⼊る際にサービスプリンシパルが不要になる? 2. T-SQL構⽂の充実(BigQueryやSnowflakeで近年追加されてきた構⽂を取り⼊ れてほしい)
3. Copilotの発展(Fabricに限らずエコシステム全体の価値向上)