Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Microsoft Fabricを7ヶ月使ってわかったこと
Search
Shun Oshidari
February 26, 2024
Programming
3
1.5k
Microsoft Fabricを7ヶ月使ってわかったこと
https://azure-ai-hub.connpass.com/event/306890/
Shun Oshidari
February 26, 2024
Tweet
Share
More Decks by Shun Oshidari
See All by Shun Oshidari
毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management
shun_oshidari
12
9.6k
Other Decks in Programming
See All in Programming
理論と実務のギャップを超える
eycjur
0
140
Writing Better Go: Lessons from 10 Code Reviews
konradreiche
0
1.3k
ソフトウェア設計の実践的な考え方
masuda220
PRO
4
590
NixOS + Kubernetesで構築する自宅サーバーのすべて
ichi_h3
0
860
デミカツ切り抜きで面倒くさいことはPythonにやらせよう
aokswork3
0
240
Go Conference 2025: Goで体感するMultipath TCP ― Go 1.24 時代の MPTCP Listener を理解する
takehaya
9
1.7k
overlayPreferenceValue で実現する ピュア SwiftUI な AdMob ネイティブ広告
uhucream
0
180
After go func(): Goroutines Through a Beginner’s Eye
97vaibhav
0
390
Le côté obscur des IA génératives
pascallemerrer
0
150
その面倒な作業、「Dart」にやらせませんか? Flutter開発者のための業務効率化
yordgenome03
1
130
Goで実践するドメイン駆動開発 AIと歩み始めた新規プロダクト開発の現在地
imkaoru
4
850
株式会社 Sun terras カンパニーデック
sunterras
0
310
Featured
See All Featured
Thoughts on Productivity
jonyablonski
70
4.9k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.6k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
189
55k
The Art of Programming - Codeland 2020
erikaheidi
56
14k
Designing Experiences People Love
moore
142
24k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
GraphQLの誤解/rethinking-graphql
sonatard
73
11k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
Documentation Writing (for coders)
carmenintech
75
5.1k
GitHub's CSS Performance
jonrohan
1032
470k
Building Adaptive Systems
keathley
44
2.8k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
Transcript
GLP is a registered trademark and trademark of GLP Pte.
Ltd in the US, Singapore, and other countries. Azureのデータ系プロダクトがワンストップSaaSとなって新登場! Microsoft Fabricを 7ヶ⽉使ってわかったこと ⽇本GLP DX推進部 忍⾜俊 2024-02-26
⾃⼰紹介:忍⾜ 俊(おしだり しゅん) l ⾮IT系企業の⼀⼈データエンジニア l DeNA、メルペイなどのスマホ系IT企業 で10年近くBigQueryを愛⽤ l 現職でデータ基盤構築中にMicrosoft
Fabricが発表、現在はFabricをベース としたデータ基盤を社内で拡⼤中 l キーボードは分割派、⾃宅に⼯作室が ある 2
会社紹介:⽇本GLP 3 社名 ⽇本GLP 事業内容 物流施設事業 データセンター事業 再⽣可能エネルギー事業 設⽴ 2009年
開発・運営する 施設の総床⾯積 約1,100万㎡(約333万坪) 総運⽤資産残⾼ (AUM) 約3兆9,680億円 テックな トピックス • 「gcp.com」ドメインを保有 • データセンターを開発中(合計900メガ ワットを供給予定) GLP ALFALINK 相模原 GLP ALFALINK 流⼭ 顔認証による⼊館 従業員ラウンジ 託児所の設置 先進的物流施設 GLP ALFALINKシリーズ
Copilotも 先⾏検証中! チーム紹介:DX推進部 4 渋滞情報 物流課題を施設の視点から テクノロジーで解決 Azure OpenAIを活⽤した 業務⽤ChatGPTの開発と導⼊
労働⼒不⾜ 物流クライシス ⻑時間待機 少⼈化・⾃動化
Microsoft Fabricとは? 5 l オフィシャルな説明はネットに溢れ ているので、あえて個⼈的な理解で ⾔語化すると、 l SynapseなどのAzureのデータ系プ ロダクトをSaaSにして、さらに
Power BIも加えて1つにしたもの l Microsoftが満を持して全⽅位全部⼊ りのデータ基盤SaaSを出してきた l ⼀⼈データ基盤でも何とかなる! ウェアハウス (For 構造化データ) レイクハウス (For ⾮構造化データ) BI・可視化 ノートブック ETL・データ連携 パイプライン (ジョブスケジューラー) Data Activation (検知・アラート・トリガー) 機械学習 MS365との連携 Azureとの連携 etc... 個⼈的視点で⾒たFabricの中⾝ Copilot リアルタイムDB
1. SaaS化されているため、⼀⼈でも容易に構築・運⽤できる 2. Power BIがシンプルに超優秀(Looker、Tableau、Looker Studio、Redash、Metabase、 Supersetなどの使⽤経験あり。「How to Power BI」というYouTubeチャンネルがとてもおすすめです)
3. ビジネスユーザーが持つExcelなどの既存資産や、同時期に話題になったAzure OpenAIなどと同じエコシステム内にいて、⾼い親和性が期待できそう 4. データ基盤界隈で標準となりつつあるdbtというフレームワークに、プレ ビュー発表段階ですでに対応していた(きちんとコミュニティを⾒ている) 5. Microsoftの注⼒度合いが感じられる開発スピード(多少不満があってもいず れ解決されそう) Microsoft Fabricを選んだ理由 6
Microsoft Fabricの活⽤例 ① 基本 7 外部SaaSのデータや社内Excelのデータなどを、Dataflow Gen2を使ってWarehouseへ集約。Azureのコンテ ナでdbtを動かしデータを加⼯整備。Power BIで可視化や、Excelでの直接接続に加え、Power BI経由で⾃動
更新されるグラフや表をPower Pointに配置。 外部SaaS Excelなどの ビジネスデータ Dataflow Gen2 Warehouse Power BI Power Point Excel Container Services データの加⼯整備 ETLツール 同じ認証基盤のため社 内資産の接続も安⼼ 無料で使える コネクタが多数 Preview発表時点で 業界標準のdbtの アダプタも存在 業界随⼀の表現⼒ と柔軟性で可視化 (グラフ・表) Power BIの表やグラフ はデータソースとの接 続したまま貼付け可能 Excelからウェアハ ウス上のテーブルに 直接続可能 BigQueryなどを 併存させることも可能
Microsoft Fabricの活⽤例 ② BI画⾯のデプロイ管理 8 Deployment pipelinesを使うと、Power BIの”画⾯”を開発→検証→本番とデプロイ管理可能。各段階のデプ ロイ時に接続先データソースを⾃動的に変更することも可能。 作成した
Power BI レポート Push 環境間の差分が明⽰ 選択したファイルだけ デプロイ実⾏ 各環境のBI画 ⾯イメージ 画⾯もデータも 切り替わる 開発環境 検証環境 本番環境
Microsoft Fabricの活⽤例 ③ 簡易AOAIの実⾏基盤 9 Notebook上でWarehouse/Lakehouseに保管された⽂章データをロードし、Azure OpenAIのGPTに要約を させてLakehouseに保存。要約データはPower BIなどのツールで閲覧できるようにしたり、チャットツール 等で配信してもよい。Azure
OpenAIエンドポイントのシークレットキーはAzure KeyVaultに保管。KeyVault はFabric上のユーザー資格情報でアクセス可能。 Warehouse Lakehouse Notebook KeyVault Azure OpenAI ⽂章データを ロード シークレットキー を取得 要約⽂章を 作成 Lakehouse 要約⽂章を 保存 Power BI チャット ⼀⾏サマリーをクリッ クしたら本⽂が表⽰さ れるようなUIが作成可 外部から収集し た公開情報や、 議事録や業界動 向を保管 Fabric上の資格情報を 使うので認証が不要 Notebook⾃体もスケジュール実⾏ 可能、Pipelineで制御してもよい
Microsoft Fabricの推しポイント 10 「Microsoft Fabricを選んだ理由」の内容に加えて 1. 広範囲に全⽅位のプロダクトが⼊っていて、ユースケースが広がっても新たな ツールを導⼊する頻度を減らせそう 2. Azure
OpenAI (GPT) の呼び出し環境としてクイックに利⽤できる(PoCレベ ルであればNotebook&スケジュール設定で⼗分) 3. エンタープライズに広く普及したMicrosoftエコシステムでさくっとデータ基 盤を⽴ち上げるナレッジを得られる(個⼈のキャリア視点)
Microsoft Fabricの今後の期待 11 1. ワークスペースID(AzureでいうマネージドID?)の導⼊(Q1 2024) →FabricからAzureに⼊る際にサービスプリンシパルが不要になる? 2. T-SQL構⽂の充実(BigQueryやSnowflakeで近年追加されてきた構⽂を取り⼊ れてほしい)
3. Copilotの発展(Fabricに限らずエコシステム全体の価値向上)