Data Engineering Study #16/メタデータは地味だが役に立つ

by atama plus

Slide 1

Slide 1 text

メタデータは地味だが役に⽴つ内藤純 atama plus株式会社 2022/10/18

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

atama plusってどんな会社？

Slide 6

Slide 6 text

Slide 7

Slide 7 text

7 全国の塾・予備校に AI教材「atama＋」を提供。⼀⼈ひとりの「得意」「苦⼿」を分析し、学習をパーソナライズします。

Slide 8

Slide 8 text

Slide 9

Slide 9 text

なぜメタデータ管理が必要だったのか？【課題と背景】

Slide 10

Slide 10 text

ⓒ 2022 atama plus Inc. （旧）atama plusにおけるデータ基盤の実態 10 背景と課題：なぜメタデータ管理？とりあえず GDriveへ！プロダクトとりあえず転送！ほんの少しデータマート化外部データその場限りの分析が繰り返され、データ基盤はほぼ未開の地の状態ダッシュボード DWH ローカルで分析！・A塾_成績_old.xslx ・B塾_分析_v1.xslx ・A塾_分析_v2.xslx ・【最新】A塾_分析_v2.xslx ・20220401_C塾_分析_v2.xslx

Slide 11

Slide 11 text

ⓒ 2022 atama plus Inc. これまでのatama plusにおけるデータ活⽤基盤の実情 11 ● BigQueryは⼀応導⼊されているが定常的な利⽤者は社内で数名程度 ○ データの転送料⾦のほうが10倍くらいコストが⾼い状態 ● データウェアハウスはお気持ち程度だけある状態 ○ 数名の分析者だけが使う便利テーブル。当然ほぼみんな知らない ● データに関するドメイン知識は極⼀部の⼈に属⼈化している ○ 分析したくてもまず何がどこにあるのかわからない ● このような実態に対する問題意識の⽋如、及び統制する⼈が不在 ○ データエンジニアが採⽤できない！背景と課題：なぜメタデータ管理？

Slide 12

Slide 12 text

ⓒ 2022 atama plus Inc. これまでのatama plusにおけるデータ活⽤基盤の実情 12 背景と課題：なぜメタデータ管理？ ● データ活⽤をするためにはデータ基盤をもっと整えるべき ● 書き捨てのクエリ、アドホックなエクセル分析はやめてちゃんとナレッジ蓄積するべき ● ドメイン知識やデータ出し作業、分析業務が属⼈化しているのは組織としてスケールしないから標準化するような仕組みがあるべきデータ分析者の⼈

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

イケてるデータドリブンカンパニーになるためにやったこと

Slide 16

Slide 16 text

Slide 17

Slide 17 text

ⓒ 2022 atama plus Inc. 聞いてわかった社内でデータ活⽤を阻む壁 17 1. やりたい分析はあるけど必要なデータがどこにあるかわからん 2. データの定義がよくわからん 3. 品質担保されているのかよくわからん 4. テーブルJOINしまくるのめんどくせぇ 5. SQLの書き⽅がそもそもわからん 6. 他⼈の書いたクソ⻑いSQLとかまじでわからん 7. これセキュリティ的に⼤丈夫？？イケてるデータドリブンカンパニーになるためにやったこと

Slide 18

Slide 18 text

ⓒ 2022 atama plus Inc. 聞いてわかった社内でデータ活⽤を阻む壁 18 1. やりたい分析はあるけど必要なデータがどこにあるかわからん 2. データの定義がよくわからん 3. 品質担保されているのかよくわからん 4. テーブルJOINしまくるのめんどくせぇ 5. SQLの書き⽅がそもそもわからん 6. 他⼈の書いたクソ⻑いSQLとかまじでわからん 7. これセキュリティ的に⼤丈夫？？イケてるデータドリブンカンパニーになるためにやったことメタデータ管理の仕組みで解決できそうなことが結構ありそう

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text