Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Microsoft Fabricを7ヶ月使ってわかったこと
Search
Shun Oshidari
February 26, 2024
Programming
3
1.1k
Microsoft Fabricを7ヶ月使ってわかったこと
https://azure-ai-hub.connpass.com/event/306890/
Shun Oshidari
February 26, 2024
Tweet
Share
More Decks by Shun Oshidari
See All by Shun Oshidari
毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management
shun_oshidari
12
9.3k
Other Decks in Programming
See All in Programming
負債になりにくいCSSをデザイナとつくるには?
fsubal
10
2.4k
dbt Pythonモデルで実現するSnowflake活用術
trsnium
0
160
Domain-Driven Transformation
hschwentner
2
1.9k
ソフトウェアエンジニアの成長
masuda220
PRO
10
1.1k
ARA Ansible for the teams
kksat
0
150
富山発の個人開発サービスで日本中の学校の業務を改善した話
krpk1900
4
390
昭和の職場からアジャイルの世界へ
kumagoro95
1
380
DROBEの生成AI活用事例 with AWS
ippey
0
130
バックエンドのためのアプリ内課金入門 (サブスク編)
qnighy
8
1.8k
Formの複雑さに立ち向かう
bmthd
1
850
Pulsar2 を雰囲気で使ってみよう
anoken
0
240
動作確認やテストで漏れがちな観点3選
starfish719
6
1k
Featured
See All Featured
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.7k
Why Our Code Smells
bkeepers
PRO
336
57k
The Pragmatic Product Professional
lauravandoore
32
6.4k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
40
2k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.2k
Large-scale JavaScript Application Architecture
addyosmani
511
110k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
Optimizing for Happiness
mojombo
376
70k
Producing Creativity
orderedlist
PRO
344
39k
Product Roadmaps are Hard
iamctodd
PRO
50
11k
Practical Orchestrator
shlominoach
186
10k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Transcript
GLP is a registered trademark and trademark of GLP Pte.
Ltd in the US, Singapore, and other countries. Azureのデータ系プロダクトがワンストップSaaSとなって新登場! Microsoft Fabricを 7ヶ⽉使ってわかったこと ⽇本GLP DX推進部 忍⾜俊 2024-02-26
⾃⼰紹介:忍⾜ 俊(おしだり しゅん) l ⾮IT系企業の⼀⼈データエンジニア l DeNA、メルペイなどのスマホ系IT企業 で10年近くBigQueryを愛⽤ l 現職でデータ基盤構築中にMicrosoft
Fabricが発表、現在はFabricをベース としたデータ基盤を社内で拡⼤中 l キーボードは分割派、⾃宅に⼯作室が ある 2
会社紹介:⽇本GLP 3 社名 ⽇本GLP 事業内容 物流施設事業 データセンター事業 再⽣可能エネルギー事業 設⽴ 2009年
開発・運営する 施設の総床⾯積 約1,100万㎡(約333万坪) 総運⽤資産残⾼ (AUM) 約3兆9,680億円 テックな トピックス • 「gcp.com」ドメインを保有 • データセンターを開発中(合計900メガ ワットを供給予定) GLP ALFALINK 相模原 GLP ALFALINK 流⼭ 顔認証による⼊館 従業員ラウンジ 託児所の設置 先進的物流施設 GLP ALFALINKシリーズ
Copilotも 先⾏検証中! チーム紹介:DX推進部 4 渋滞情報 物流課題を施設の視点から テクノロジーで解決 Azure OpenAIを活⽤した 業務⽤ChatGPTの開発と導⼊
労働⼒不⾜ 物流クライシス ⻑時間待機 少⼈化・⾃動化
Microsoft Fabricとは? 5 l オフィシャルな説明はネットに溢れ ているので、あえて個⼈的な理解で ⾔語化すると、 l SynapseなどのAzureのデータ系プ ロダクトをSaaSにして、さらに
Power BIも加えて1つにしたもの l Microsoftが満を持して全⽅位全部⼊ りのデータ基盤SaaSを出してきた l ⼀⼈データ基盤でも何とかなる! ウェアハウス (For 構造化データ) レイクハウス (For ⾮構造化データ) BI・可視化 ノートブック ETL・データ連携 パイプライン (ジョブスケジューラー) Data Activation (検知・アラート・トリガー) 機械学習 MS365との連携 Azureとの連携 etc... 個⼈的視点で⾒たFabricの中⾝ Copilot リアルタイムDB
1. SaaS化されているため、⼀⼈でも容易に構築・運⽤できる 2. Power BIがシンプルに超優秀(Looker、Tableau、Looker Studio、Redash、Metabase、 Supersetなどの使⽤経験あり。「How to Power BI」というYouTubeチャンネルがとてもおすすめです)
3. ビジネスユーザーが持つExcelなどの既存資産や、同時期に話題になったAzure OpenAIなどと同じエコシステム内にいて、⾼い親和性が期待できそう 4. データ基盤界隈で標準となりつつあるdbtというフレームワークに、プレ ビュー発表段階ですでに対応していた(きちんとコミュニティを⾒ている) 5. Microsoftの注⼒度合いが感じられる開発スピード(多少不満があってもいず れ解決されそう) Microsoft Fabricを選んだ理由 6
Microsoft Fabricの活⽤例 ① 基本 7 外部SaaSのデータや社内Excelのデータなどを、Dataflow Gen2を使ってWarehouseへ集約。Azureのコンテ ナでdbtを動かしデータを加⼯整備。Power BIで可視化や、Excelでの直接接続に加え、Power BI経由で⾃動
更新されるグラフや表をPower Pointに配置。 外部SaaS Excelなどの ビジネスデータ Dataflow Gen2 Warehouse Power BI Power Point Excel Container Services データの加⼯整備 ETLツール 同じ認証基盤のため社 内資産の接続も安⼼ 無料で使える コネクタが多数 Preview発表時点で 業界標準のdbtの アダプタも存在 業界随⼀の表現⼒ と柔軟性で可視化 (グラフ・表) Power BIの表やグラフ はデータソースとの接 続したまま貼付け可能 Excelからウェアハ ウス上のテーブルに 直接続可能 BigQueryなどを 併存させることも可能
Microsoft Fabricの活⽤例 ② BI画⾯のデプロイ管理 8 Deployment pipelinesを使うと、Power BIの”画⾯”を開発→検証→本番とデプロイ管理可能。各段階のデプ ロイ時に接続先データソースを⾃動的に変更することも可能。 作成した
Power BI レポート Push 環境間の差分が明⽰ 選択したファイルだけ デプロイ実⾏ 各環境のBI画 ⾯イメージ 画⾯もデータも 切り替わる 開発環境 検証環境 本番環境
Microsoft Fabricの活⽤例 ③ 簡易AOAIの実⾏基盤 9 Notebook上でWarehouse/Lakehouseに保管された⽂章データをロードし、Azure OpenAIのGPTに要約を させてLakehouseに保存。要約データはPower BIなどのツールで閲覧できるようにしたり、チャットツール 等で配信してもよい。Azure
OpenAIエンドポイントのシークレットキーはAzure KeyVaultに保管。KeyVault はFabric上のユーザー資格情報でアクセス可能。 Warehouse Lakehouse Notebook KeyVault Azure OpenAI ⽂章データを ロード シークレットキー を取得 要約⽂章を 作成 Lakehouse 要約⽂章を 保存 Power BI チャット ⼀⾏サマリーをクリッ クしたら本⽂が表⽰さ れるようなUIが作成可 外部から収集し た公開情報や、 議事録や業界動 向を保管 Fabric上の資格情報を 使うので認証が不要 Notebook⾃体もスケジュール実⾏ 可能、Pipelineで制御してもよい
Microsoft Fabricの推しポイント 10 「Microsoft Fabricを選んだ理由」の内容に加えて 1. 広範囲に全⽅位のプロダクトが⼊っていて、ユースケースが広がっても新たな ツールを導⼊する頻度を減らせそう 2. Azure
OpenAI (GPT) の呼び出し環境としてクイックに利⽤できる(PoCレベ ルであればNotebook&スケジュール設定で⼗分) 3. エンタープライズに広く普及したMicrosoftエコシステムでさくっとデータ基 盤を⽴ち上げるナレッジを得られる(個⼈のキャリア視点)
Microsoft Fabricの今後の期待 11 1. ワークスペースID(AzureでいうマネージドID?)の導⼊(Q1 2024) →FabricからAzureに⼊る際にサービスプリンシパルが不要になる? 2. T-SQL構⽂の充実(BigQueryやSnowflakeで近年追加されてきた構⽂を取り⼊ れてほしい)
3. Copilotの発展(Fabricに限らずエコシステム全体の価値向上)