Azure Functionsを用いてデータウェアハウスの一部を自動化

課金基盤・POS・ECなどお金周りのプロダクト開発社内ツールなど業務運用プロダクト開発 Freee・Kintoneなどクラウドサービスを利用した開発医療ドメインのプロダクト開発経歴仕事 Webエンジニア１. 自己紹介

業務システムからデータを抽出して、 BIツールを使用し分析・活用できる環境を整備。抽出したデータをエンジニアがBatchでDBに登録していたが、データウェアハウスの一部をAzure Functionsを用いて自動化。概要 Azure FunctionsでBlobTriggerの実装時のローカルテスト方法背景
2. 概要

① 業務アプリケーション業務アプリケーション各データをXMLファイルで出力 ZIP処理 Azure Blob Starageにアップロード
ZIPを解凍各XMLファイルを DB登録 BIツール ② データウェアハウス ③ ビジネスインテリジェンス ① 業務システムからデータを抽出 ② 業務アプリケーションのクレンジングデータをSQLServerに一時的に格納 ③ BIツールを利用してユーザーがデータにアクセス 3. BIシステムのアーキテクチャ

ストレージアカウント Blobコンテナー BLOB BLOB BLOB BLOB BLOB リソースグループ Blobコンテナー BLOB
権限あり権限なし認証方法：Azure Active Directory 権限付与：ロールアクセス制限 RBAC, 条件での制限 ABAC 4. 認証とアクセス制限

Blobコンテナー ① Zip解凍 ② XMLデータをDB登録５. システム構成 ① 特定のコンテナーにZIPファイルが置かれたら解凍する ②
解凍したファイル郡をDBに登録する

Blobコンテナー業務システム抽出データ(ZIP)を Blobストレージに転送 ZIPファイルを解凍各XMLを命名規則に従って指定のコンテナに転送 6. Azure Functions Zip解凍

解凍されたXMLファイルを Blobストレージに転送 XML解析 DB登録 7. Azure Functions データ登録

ローカル環境設定ローカルでのアプリケーションの動作確認が可能・Azure Blob ・Queue Storage ・Table Storage Azure FunctionsからのAzuriteの実行
Azurite オープンソースエミュレーター 8. Azurite 　Azuriteの実行

9. Azure Functions Localテスト Azuriteの機能によりAzureStorageをエミュレートし、ローカルで動作確認する

・業務や運用の一部分を自動化しやすい・環境構築に時間がかからない・他のAzureサービスとのバインド機能やトリガーで実装が簡易化 10. まとめ

Azure Functionsを用いてデータウェアハウスの一部を自動化

Azure Functionsを用いてデータウェアハウスの一部を自動化

supino

More Decks by supino

Other Decks in Programming

Featured

Transcript