Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20200125-DB-ETL
Search
yuina
January 25, 2020
Technology
1
680
20200125-DB-ETL
yuina
January 25, 2020
Tweet
Share
More Decks by yuina
See All by yuina
20250118_NGK2025S_dam
yuina1056
0
150
switchbot_qol.pdf
yuina1056
0
40
20240127_dam_replace
yuina1056
0
14
20200118-dam
yuina1056
0
400
20190909_damdrive
yuina1056
0
87
20190513_ORM_DBLINK
yuina1056
0
90
20190511_DBLINK
yuina1056
0
76
20181027_datapump
yuina1056
0
130
今から始めるOracleDatabase
yuina1056
0
63
Other Decks in Technology
See All in Technology
事業開発におけるDify活用事例
kentarofujii
4
1.2k
serverless team topology
_kensh
2
130
Introduction to Bill One Development Engineer
sansan33
PRO
0
300
AI時代の開発を加速する組織づくり - ブログでは書けなかったリアル
hiro8ma
1
240
ハノーファーメッセ2025で見た生成AI活用ユースケース.pdf
hamadakoji
0
370
混合雲環境整合異質工作流程工具運行關鍵業務 Job 的經驗分享
yaosiang
0
140
React19.2のuseEffectEventを追う
maguroalternative
2
590
旅で応援する✈️ NEWTが目指すコミュニティ支援とあたらしい旅行 / New Travel: Supporting by NEWT on Your Journey
mii3king
0
140
「魔法少女まどか☆マギカ Magia Exedra」のIPのキャラクターを描くための3Dルック開発
gree_tech
PRO
0
140
Data Hubグループ 紹介資料
sansan33
PRO
0
2.2k
エンタメとAIのための3Dパラレルワールド構築(GPU UNITE 2025 特別講演)
pfn
PRO
0
630
Findy Team+ QAチーム これからのチャレンジ!
findy_eventslides
0
500
Featured
See All Featured
Agile that works and the tools we love
rasmusluckow
331
21k
How GitHub (no longer) Works
holman
315
140k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
190
55k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
16
1.7k
Fireside Chat
paigeccino
40
3.7k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.5k
How STYLIGHT went responsive
nonsquared
100
5.8k
Writing Fast Ruby
sferik
629
62k
[RailsConf 2023] Rails as a piece of cake
palkan
57
5.9k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
132
19k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.2k
Transcript
第28回 中国地方DB勉強会 in 岡山 マイクロサービスをBIで可視化する
Copyright © PREVENT Inc. All rights reserved. 自己紹介 和田 菜月
(ゆいな) / @yuina1056 株式会社 PREVENT バックエンドエンジニア兼なんでも屋さん Ruby on Rails / Go / PostgreSQL DB勉強会 in 愛知 (主催) しがないラジオ sp.61a,b (ゲスト出演) #成し遂げたいam ep15,16 (ゲスト出演)
Copyright © PREVENT Inc. All rights reserved. 自己紹介 和田 菜月
(ゆいな) / @yuina1056 株式会社 PREVENT バックエンドエンジニア兼なんでも屋さん Ruby on Rails / Go / PostgreSQL DB勉強会 in 愛知 (主催) しがないラジオ sp.61a,b (ゲスト出演) #成し遂げたいam ep15,16 (ゲスト出演)
Copyright © PREVENT Inc. All rights reserved. 自己紹介
Copyright © PREVENT Inc. All rights reserved. 自己紹介 和田 菜月
(ゆいな) / @yuina1056 株式会社 PREVENT バックエンドエンジニア兼なんでも屋さん Ruby on Rails / Go / PostgreSQL DB勉強会 in 愛知 (主催) しがないラジオ sp.61a,b (ゲスト出演) #成し遂げたいam ep15,16 (ゲスト出演)
Copyright © PREVENT Inc. All rights reserved. 自己紹介 和田 菜月
(ゆいな) / @yuina1056 株式会社 PREVENT バックエンドエンジニア兼なんでも屋さん Ruby on Rails / Go / PostgreSQL DB勉強会 in 愛知 (主催) しがないラジオ sp.61a,b (ゲスト出演) #成し遂げたいam ep15,16 (ゲスト出演) ダムはいいぞ!!!
Copyright © PREVENT Inc. All rights reserved. 自己紹介 丸山ダム(岐阜)
Copyright © PREVENT Inc. All rights reserved. ある日のこと…
Copyright © PREVENT Inc. All rights reserved. ある日のこと… 社内に存在する情報を分析して 経営戦略を立てたい。
Copyright © PREVENT Inc. All rights reserved. ある日のこと… 社内に存在する情報を分析して 経営戦略を立てたい。
それならBIツール作りましょう!!!
Copyright © PREVENT Inc. All rights reserved. システム構成を考える
Copyright © PREVENT Inc. All rights reserved. システム構成を考える データソースとして PostgreSQL繋げられるじゃん!!!
Google Data Studioいいじゃん!!!
Copyright © PREVENT Inc. All rights reserved. システム構成予定 顧客管理システム Mystar-API
その他システム BI用DB GoogleDataStudio 1PTUHSF42-
Copyright © PREVENT Inc. All rights reserved. 各システムをBI用DBに繋ぐ 最初に思いついたこと・・・
Copyright © PREVENT Inc. All rights reserved. 各システムをBI用DBに繋ぐ 最初に思いついたこと・・・ FDWでBI用のDBに繋げばいいじゃん!!!!!
Copyright © PREVENT Inc. All rights reserved. 各システムをBI用DBに繋ぐ しかし問題が・・・
Copyright © PREVENT Inc. All rights reserved. 各システムをBI用DBに繋ぐ しかし問題が・・・ •
顧客管理システム、Mystar-APIには 個人情報、要配慮個人情報が含まれている。 →BIツールはGoogleDataStudioを使用するため 外部ツールに個人情報、要配慮個人情報を渡したくない。 • そのままFDWしてしまった場合、DBのリレーションを知っていないと 誰にでも分かるようには可視化できない →該当システム開発者orDB管理者への依存が強い • 今後、データサイエンスチームへ解析データセットとして渡したい →使用しているテーブルを非正規化した形で持たせておきたい
Copyright © PREVENT Inc. All rights reserved. 各システムをBI用DBに繋ぐ どうしたか?
Copyright © PREVENT Inc. All rights reserved. 各システムをBI用DBに繋ぐ どうしたか? ETL処理基盤の実装
Copyright © PREVENT Inc. All rights reserved. 各システムをBI用DBに繋ぐ 各システムへのDBアクセスは全てETL基盤から実施 顧客管理システム
Mystar-API その他システム ETL基盤 BI用DB
Copyright © PREVENT Inc. All rights reserved. 各システムをBI用DBに繋ぐ 各システムへのDBアクセスは全てETL基盤から実施 顧客管理システム
PostgreSQL Mystar-API mongoDB その他システム PostgreSQL ETL基盤 BI用DB #*༻%#ͱͷ %#-*/, ௨ৗଓ
Copyright © PREVENT Inc. All rights reserved. 各システムをBI用DBに繋ぐ RDBをDBLINKで接続した理由
Copyright © PREVENT Inc. All rights reserved. 各システムをBI用DBに繋ぐ RDBをDBLINKで接続した理由 •
Golangで実装したフルスクラッチのETL基盤 →使用ライブラリの都合上DBのコネクションを複数保持できない • ETL処理でデータを取得するタイミング以外は他システムと 接続している必要はない
Copyright © PREVENT Inc. All rights reserved. 各システムをBI用DBに繋ぐ ETL基盤で行っていること
Copyright © PREVENT Inc. All rights reserved. 各システムをBI用DBに繋ぐ ETL基盤で行っていること •
個人情報に当たる箇所の削除 →該当するカラムはDBからデータを取得するタイミングで対象から外す • JOINによるテーブルの非正規化 →BIで表示するために必要なデータを元のDBベースでJOIN 場合によってはBI用DBのテーブルにJOINして別テーブルへ • DB内データのクレンジング →stringで保持している日付データを本来のDate型、Datetime型へ statusの情報を日本語に変換 etc…
Copyright © PREVENT Inc. All rights reserved. 課題 • データ更新をかけるタイミングでupsertがうまく動かない
→元システムで入力内容を消去する等null更新をした時にupsertが うまく動作しない… • 仕組み上、BIのリアルタイム更新が行えない。 →FDWでやればリアルタイム更新はできるが、個人情報どうする?
Copyright © PREVENT Inc. All rights reserved. まとめ • ETL基盤自体をスクラッチで実装することはめったに無い
→とても良い経験になった • もっと良い方法がありそうな気がする →知見がある方と情報交換したい
Copyright © PREVENT Inc. All rights reserved. おわり