Streamlitのデータカタログが社内にもたらした変化

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© GENDA Inc. 自己紹介【所属】株式会社GENDA データエンジニア【経歴】営業職　　　　　：4年データエンジニア：3年【発信】著書　　：Streamlit データ可視化入門ブログ　：https://qiita.com/Ayumu-y X（旧Twitter)：https://x.com/Yamaguchi_aaaaa Snowflake Squad：https://www.snowflake.com/en/snowflake-squad/ 山口歩夢

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© GENDA Inc. ● データの関連性を把握できる状態 ○ ER図でデータのリレーションを把握が可能 ○ データリネージでデータに問題が発生した際に、どこを修正するか瞬時に把握が可能 ● データ利活用が活発である状態 ○ 業務用語やデータの利用方法について把握が可能 ○ データやメタデータにアクセスするための方法が明確 ● データの品質を監視できる状態 ● データマートの作成者が把握できる状態 ○ オーナー情報の管理が可能多種多様な事業・データを横断的に活用するために以下のような状態を目指したいデータカタログ導入まで

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

© GENDA Inc. ● データカタログを使用する人全員に Snowflakeアカウントを作成する必要がある ● 一度起動するとWHが15分間稼働し続けるので高額になる恐れがある ○ 現在はWHが稼働し続ける時間を調整できるようになりました！これらの理由で見送りました Streamlit in Snowflakeでインフラをシンプルにすることも可能 Streamlitで開発したデータカタログ (システム設計 )

Slide 32

Slide 32 text

© GENDA Inc. name: "EMPLOYEES" comment: "従業員マスター " change_tracking: false columns: - name: "EMPLOYEE_ID" type: "NUMBER(38,0)" comment: "従業員 ID。このテーブルの主キー。 " nullable: false - name: "FIRST_NAME" type: "VARCHAR(50)" comment: "名前。 " nullable: true - name: "LAST_NAME" type: "VARCHAR(50)" comment: "苗字。 " nullable: true - name: "SALARY" type: "NUMBER(10,2)" comment: "給与。ドル単位で格納。 " nullable: true - name: "HIRE_DATE" type: "DATE" comment: "雇用した日。日本時間にて格納。 " nullable: true Streamlitで開発したデータカタログ (メタデータ定義フロー ) 【tables/[テーブル名 ].yaml】右図の例のように、 table毎にyamlでメタデータを記載しておく。このyamlをGitHubにpushしてmainにmergeすれば、 GitHub Actionsが走って$ terraform applyが実行されてメタデータが更新される。

Slide 33

Slide 33 text

Slide 34

Slide 34 text

© GENDA Inc. 導入結果 ● データカタログが非常に好評！ ○ これにより、社内でデータカタログとメタデータの重要性を理解してもらえた ● データカタログに新たに必要な機能を把握することに繋がった ● Streamlitの知見が得られた ○ これを活かして、便利なデータアプリをたくさん開発できた ● 開発チームがメタデータの情報を共有してくれるようになり、データマネジメントが捗るようになった ※メタデータの最新情報を共有

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

© GENDA Inc. 今後の展望 (データマネジメント ) 理想的なデータマネジメントに向けて更に進んでいきたい ● データの関連性を把握できる状態 ○ ER図でデータのリレーションを把握が可能 ○ データリネージでデータに問題が発生した際に、どこを修正するか瞬時に把握が可能 ● データ利活用が活発である状態 ○ 業務用語やデータの利用方法について把握が可能 ○ データやメタデータにアクセスするための方法が明確 ● データの品質を監視できる状態 ● データマートの作成者が把握できる状態 ○ オーナー情報の管理が可能