Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Azure Functionsを用いて データウェアハウスの一部を自動化
Search
supino
March 23, 2023
Programming
0
170
Azure Functionsを用いて データウェアハウスの一部を自動化
https://serverlesslt.connpass.com/event/276058/
supino
March 23, 2023
Tweet
Share
More Decks by supino
See All by supino
自分に合った武器を探す
supino0017
0
190
Other Decks in Programming
See All in Programming
コーンフレークから始める モデリング会話入門
ogurotakayuki
0
240
エンターテイメント業界で利用されるAWS
demuyan
0
200
Introduction for Open Source Swift Workshop
giginet
PRO
0
1k
try! Swift Tokyo 2024のLT枠に採択されたプロポーザルを出すときに考えていたこと
ski
0
330
HUIT新歓2024「競技プログラミング、やってみませんか?」
slephy2784
1
250
Folding Cheat Sheet #1
philipschwarz
PRO
0
210
Java 22 Overview
kishida
1
150
9年開発を牽引して見えてきた、共通化すべきものと個別でつくるもの ~プログラム言語~
shinout
1
640
Javaエンジニアのための Nodejs/Nuxt3入門
hidekatsu_izuno
0
250
#phpcon_odawara オープン・クローズドなテストフィクスチャを求めて / open closed test fixtures
77web
3
200
今の SmartHR にエンジニアで入社するとどうなるの?
daisukeshinoku
5
4.6k
try! Swift Tokyo 初参加報告LT
hinakko2
0
180
Featured
See All Featured
Visualization
eitanlees
135
14k
Designing Experiences People Love
moore
135
23k
Thoughts on Productivity
jonyablonski
57
3.8k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
501
140k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
352
28k
GraphQLの誤解/rethinking-graphql
sonatard
49
9.2k
Fontdeck: Realign not Redesign
paulrobertlloyd
75
4.9k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
74
41k
Debugging Ruby Performance
tmm1
69
11k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
8
8.3k
Building Your Own Lightsaber
phodgson
97
5.7k
Music & Morning Musume
bryan
40
5.5k
Transcript
Azure Functionsを用いて データウェアハウスの一部を自動化
課金基盤・POS・ECなどお金周りのプロダクト開発 社内ツールなど業務運用プロダクト開発 Freee・Kintoneなどクラウドサービスを利用した開発 医療ドメインのプロダクト開発 経歴 仕事 Webエンジニア 1. 自己紹介
業務システムからデータを抽出して、 BIツールを使用し分析・活用できる環境を整備。 抽出したデータをエンジニアがBatchでDBに登録していたが、 データウェアハウスの一部をAzure Functionsを用いて自動化。 概要 Azure FunctionsでBlobTriggerの実装時の ローカルテスト方法 背景
2. 概要
① 業務アプリケーション 業務 アプリケーション 各データをXMLファイルで出力 ZIP処理 Azure Blob Starageに アップロード
ZIPを解凍 各XMLファイルを DB登録 BIツール ② データウェアハウス ③ ビジネスインテリジェンス ① 業務システムからデータを抽出 ② 業務アプリケーションのクレンジングデータをSQLServerに一時的に格納 ③ BIツールを利用してユーザーがデータにアクセス 3. BIシステムのアーキテクチャ
ストレージアカウント Blobコンテナー BLOB BLOB BLOB BLOB BLOB リソースグループ Blobコンテナー BLOB
権限あり 権限なし 認証方法:Azure Active Directory 権限付与:ロールアクセス制限 RBAC, 条件での制限 ABAC 4. 認証とアクセス制限
Blobコンテナー ① Zip解凍 ② XMLデータをDB登録 5. システム構成 ① 特定のコンテナーにZIPファイルが置かれたら解凍する ②
解凍したファイル郡をDBに登録する
Blobコンテナー 業務システム抽出データ(ZIP)を Blobストレージに転送 ZIPファイルを解凍 各XMLを命名規則に従って 指定のコンテナに転送 6. Azure Functions Zip解凍
解凍されたXMLファイルを Blobストレージに転送 XML解析 DB登録 7. Azure Functions データ登録
ローカル環境設定 ローカルでのアプリケーションの動作確認が可能 ・Azure Blob ・Queue Storage ・Table Storage Azure FunctionsからのAzuriteの実行
Azurite オープンソース エミュレーター 8. Azurite Azuriteの実行
9. Azure Functions Localテスト Azuriteの機能によりAzureStorageをエミュレートし、ローカルで動作確認する
・業務や運用の一部分を自動化しやすい ・環境構築に時間がかからない ・他のAzureサービスとのバインド機能やトリガーで実装が簡易化 10. まとめ