20200125-DB-ETL - Speaker Deck

20200125-DB-ETL

by yuina

Embed

Start on current slide

Slide 1

Slide 1 text

第28回中国地方DB勉強会 in 岡山マイクロサービスをBIで可視化する

Slide 2

Slide 2 text

Copyright © PREVENT Inc. All rights reserved. 自己紹介和田菜月 (ゆいな) / @yuina1056 株式会社 PREVENT バックエンドエンジニア兼なんでも屋さん Ruby on Rails / Go / PostgreSQL DB勉強会 in 愛知 (主催) しがないラジオ sp.61a,b (ゲスト出演) #成し遂げたいam ep15,16 (ゲスト出演)

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Copyright © PREVENT Inc. All rights reserved. 各システムをBI用DBに繋ぐしかし問題が・・・ • 顧客管理システム、Mystar-APIには  個人情報、要配慮個人情報が含まれている。  →BIツールはGoogleDataStudioを使用するため  外部ツールに個人情報、要配慮個人情報を渡したくない。 • そのままFDWしてしまった場合、DBのリレーションを知っていないと  誰にでも分かるようには可視化できない  →該当システム開発者orDB管理者への依存が強い • 今後、データサイエンスチームへ解析データセットとして渡したい  →使用しているテーブルを非正規化した形で持たせておきたい

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Copyright © PREVENT Inc. All rights reserved. 各システムをBI用DBに繋ぐ ETL基盤で行っていること • 個人情報に当たる箇所の削除  →該当するカラムはDBからデータを取得するタイミングで対象から外す • JOINによるテーブルの非正規化  →BIで表示するために必要なデータを元のDBベースでJOIN  場合によってはBI用DBのテーブルにJOINして別テーブルへ • DB内データのクレンジング  →stringで保持している日付データを本来のDate型、Datetime型へ  statusの情報を日本語に変換 etc…