データカタログを自作したけど運用できなかった話＠TROCCOUG「データ活用を促進するデータカタログ・メタデータの活用術」

▼概要：
本資料は2024年5月24日、primeNumber社主催のTROCCOユーザ会における講演資料です

▼イベントURL：
TROCCO User GroupのSlack内にて展開

▼詳細：
データカタログを自作したものの、運用が軌道に乗らず失敗してしまった話について、その経緯と反省点をまとめた

Transcript

1. ©HR Force Inc. All rights reserved. データカタログを自作したけど 運用できなかった話 1 2024年5月24日@TROCCOUG「データ活用を促進するデータカタログ・メタデータの活用術」 すずき（@suzupappa）
2. ©HR Force Inc. All rights reserved. 自己紹介 鈴木 凌（すずき） 株式会社HR Force DS統括部 DXグループ Dataチーム リーダー Salesforce / Tableauシステム管理者 データエンジニア / アナリティクスエンジニア @suzupappa @suzupappa Ryo Suzuki 2
3. ©HR Force Inc. All rights reserved. 会社紹介 3
4. ©HR Force Inc. All rights reserved. はじめに 4
5. ©HR Force Inc. All rights reserved. はじめに 質問です 5
6. ©HR Force Inc. All rights reserved. はじめに データカタログ使ってますか？ 6
7. ©HR Force Inc. All rights reserved. はじめに 使っている人へ データカタログ使えてますか？ 7
8. ©HR Force Inc. All rights reserved. はじめに 使ってない人へ データカタログ欲しいですか？ 8
9. ©HR Force Inc. All rights reserved. はじめに 弊社、自作したけど、運用できませんでした・・・ 9
10. ©HR Force Inc. All rights reserved. はじめに そもそものきっかけ 10
11. ©HR Force Inc. All rights reserved. はじめに ビジネス側の人： どんなテーブルがあるか知りたいから 一覧表（データカタログ）が欲しい！作って！ 11
12. ©HR Force Inc. All rights reserved. はじめに ビジネス側の人： どんなテーブルがあるか知りたいから 一覧表（データカタログ）が欲しい！作って！ → わかった！やってみる！ 12
13. ©HR Force Inc. All rights reserved. データカタログ概要 13
14. ©HR Force Inc. All rights reserved. メタデータ カタログ概要 データカタログ概要 14
15. ©HR Force Inc. All rights reserved. データカタログ概要 SQL: show columns; で 取得したメタデータ 15
16. ©HR Force Inc. All rights reserved. データカタログ概要 16
17. ©HR Force Inc. All rights reserved. データカタログ概要 制作にかかった時間： ・2－3時間（それ以下？） なぜこの構成： ・Notionに情報を集約しようという動きがあった ・Notionのデータベース機能を活用してみたかった ・追加コストがかからず、最も手軽に構築できそうだった 17
18. ©HR Force Inc. All rights reserved. 問題点 18
19. ©HR Force Inc. All rights reserved. 問題点 ノリで始めてしまったこと 19
20. ©HR Force Inc. All rights reserved. 問題点 「ノリで始めてしまった」の言語化 ・データカタログを利用するユーザを明確にしていなかったこと ・誰が責任を持つのか（更新をするのか）を明確にしていなかったこと ・カタログに記載するテーブルやカラムのスコープを定めなかったこと ・最適なUI・UXを考慮しなかったこと 20
21. ©HR Force Inc. All rights reserved. 問題点 21 詳しい 詳しくない 使わない 使う データ エンジニア とか データ アナリスト とか マーケ とか セールス とか
22. ©HR Force Inc. All rights reserved. 問題点 22 詳しい 詳しくない 使わない 使う よく使う まあまあ 使う たまに 使う 使わない
23. ©HR Force Inc. All rights reserved. ビジネス側の人： どんなテーブルがあるか知りたいから 一覧表（データカタログ）が欲しい！作って！ 再掲 はじめに
24. ©HR Force Inc. All rights reserved. ビジネス側の人： どんなテーブルがあるか知りたいから 一覧表（データカタログ）が欲しい！作って！ → まあまあ使う 属性の人からの依頼・・・ 再掲 はじめに
25. ©HR Force Inc. All rights reserved. データカタログの利用者は、 たまに使う 属性の人 （弊社の場合） 再掲 はじめに
26. ©HR Force Inc. All rights reserved. 問題点 26 詳しい 詳しくない 使わない 使う よく使う まあまあ 使う たまに 使う 使わない
27. ©HR Force Inc. All rights reserved. 問題点 27 ほぼ全てのテーブルにカラム説明がはいっているので、 まあまあ使う 属性の人は見ない （弊社の場合） 27
28. ©HR Force Inc. All rights reserved. まとめ 28
29. ©HR Force Inc. All rights reserved. まとめ データカタログは社内向けのプロダクト 誰に届けるのか、どうやって届けるのか、考え抜こう
30. ©HR Force Inc. All rights reserved. さいごに 30
31. ©HR Force Inc. All rights reserved. さいごに 31 カジュアル面談、雑談、なんでもござれ もしくはＸでＤＭください
32. ©HR Force Inc. All rights reserved. おしまい