Slide 1

Slide 1 text

©HR Force Inc. All rights reserved. データカタログを自作したけど 運用しなかった話 1 2024年11月28日@Findy Lunch LT「データカタログ 事例から学ぶメタデータ管理の実態」 すずき(@suzupappa)

Slide 2

Slide 2 text

©HR Force Inc. All rights reserved. 自己紹介 鈴木 凌(すずき) 株式会社HR Force DS統括部 DXグループ Data / Opsチーム マネージャー データを使って事業を推進するお仕事 → データエンジニア / アナリティクスエンジニア → Salesforce / Tableauシステム管理者 @suzupappa @suzupappa Ryo Suzuki 2

Slide 3

Slide 3 text

©2024 HR Force Inc. リクルーティングクラブは、人事担当者のための成長志向型コミュニティです。 このサービスは、専門家による知識共有をはじめとし、会員同士の相互学習、経験共有、 そして専門的なスキル向上を通じて、人事プロフェッショナルの継続的な成長を支援します。 リクルーティングクラブとは? このサービスの目的は、企業の人事担当者が、より効果的かつ効率的に人材を確保できるよう 支援することです。具体的には、採用スキルの向上、業務の効率化、ネットワークの構築、 および採用活動のデータに基づく改善をコミュニティを通して目指します。 目的 新サービス「リクルーティングクラブ」のご紹介 サービスLPは こちらから

Slide 4

Slide 4 text

©HR Force Inc. All rights reserved. はじめに 4

Slide 5

Slide 5 text

©HR Force Inc. All rights reserved. はじめに 結論 5

Slide 6

Slide 6 text

©HR Force Inc. All rights reserved. はじめに データカタログを自作したけど、 運用をやめました・・・ 6

Slide 7

Slide 7 text

©HR Force Inc. All rights reserved. はじめに そもそも作成のきっかけ 7

Slide 8

Slide 8 text

©HR Force Inc. All rights reserved. はじめに ビジネス側の人: Snowflakeにどんなデータがあるか知りたいから 一覧表(データカタログ)が欲しい! そういうのがあったらデータ使う!! 8

Slide 9

Slide 9 text

©HR Force Inc. All rights reserved. はじめに ビジネス側の人: Snowflakeにどんなデータがあるか知りたいから 一覧表(データカタログ)が欲しい! そういうのがあったらデータ使う!! → わかった!やってみる! 9

Slide 10

Slide 10 text

©HR Force Inc. All rights reserved. データカタログ概要 10

Slide 11

Slide 11 text

©HR Force Inc. All rights reserved. メタデータ カタログ概要 データカタログ概要 11

Slide 12

Slide 12 text

©HR Force Inc. All rights reserved. データカタログ概要 SQL: show columns; で 取得したメタデータ 12

Slide 13

Slide 13 text

©HR Force Inc. All rights reserved. データカタログ概要 13

Slide 14

Slide 14 text

©HR Force Inc. All rights reserved. データカタログ概要 制作にかかった時間: ・2-3時間(それ以下?) なぜこの構成: ・当時、Notionに情報を集約しようという動きがあった ・Notionのデータベース機能で階層構造も作れ、要件も問題なさそうだった ・追加コストがかからず、最も手軽に構築できそうだった 14

Slide 15

Slide 15 text

©HR Force Inc. All rights reserved. データカタログ概要 ただし、数か月のうちにだんだんと衰退し、 最後は運用を終了することに 15

Slide 16

Slide 16 text

©HR Force Inc. All rights reserved. 問題点 16

Slide 17

Slide 17 text

©HR Force Inc. All rights reserved. 問題点 勢いで始めてしまったこと 17

Slide 18

Slide 18 text

©HR Force Inc. All rights reserved. 問題点 「勢いで始めてしまった」の言語化 ・カタログを利用するユーザを明確にしていなかったこと ・カタログのオーナーをビジネス側の人間にしなかったこと ・カタログに記載するテーブルやカラムのスコープを定めなかったこと ・利用者にとって最適なUI・UXを考慮しなかったこと 18

Slide 19

Slide 19 text

©HR Force Inc. All rights reserved. 問題点 「勢いで始めてしまった」の言語化 ・カタログを利用するユーザを明確にしていなかったこと ・カタログのオーナーをビジネス側の人間にしなかったこと ・カタログに記載するテーブルやカラムのスコープを定めなかったこと ・利用者にとって最適なUI・UXを考慮しなかったこと 19

Slide 20

Slide 20 text

©HR Force Inc. All rights reserved. 問題点 ~利用ユーザを明確にしていなかった~ 20 詳しい 詳しくない 使わない 使う データ エンジニ ア データ アナリス ト マーケ セールス データ基盤への理解度と「役割」

Slide 21

Slide 21 text

©HR Force Inc. All rights reserved. 問題点 21 詳しい 詳しくない 使わない 使う ほぼ毎日 使う まあまあ 使う たまに 使う ほとんど 使わない データ基盤への理解度と「頻度」

Slide 22

Slide 22 text

©HR Force Inc. All rights reserved. はじめに ビジネス側の人: Snowflakeにどんなテーブルがあるか知りたいから 一覧表(データカタログ)が欲しい!作って! 再掲

Slide 23

Slide 23 text

©HR Force Inc. All rights reserved. はじめに ビジネス側の人: Snowflakeにどんなテーブルがあるか知りたいから 一覧表(データカタログ)が欲しい!作って! 再掲

Slide 24

Slide 24 text

©HR Force Inc. All rights reserved. はじめに ビジネス側の人: Snowflakeにどんなテーブルがあるか知りたいから 一覧表(データカタログ)が欲しい!作って! 再掲 まあまあ使う 属性の人からの依頼・・・

Slide 25

Slide 25 text

©HR Force Inc. All rights reserved. 問題点 25 詳しい 詳しくない 使わない 使う ほぼ毎日 使う まあまあ 使う たまに 使う ほとんど 使わない データ基盤への理解度と「頻度」

Slide 26

Slide 26 text

©HR Force Inc. All rights reserved. 問題点 データカタログの利用者は、 たまに使う 属性の人

Slide 27

Slide 27 text

©HR Force Inc. All rights reserved. 問題点 27 詳しい 詳しくない 使わない 使う ほぼ毎日 使う まあまあ 使う たまに 使う ほとんど 使わない データ基盤への理解度と「頻度」

Slide 28

Slide 28 text

©HR Force Inc. All rights reserved. 問題点 28 ほぼ全てのテーブルにカラム説明がはいっているので、 まあまあ使う 属性の人は見ない 28

Slide 29

Slide 29 text

©HR Force Inc. All rights reserved. 問題点 「勢いで始めてしまった」の言語化 ・カタログを利用するユーザを明確にしていなかったこと ・カタログのオーナーをビジネス側の人間にしなかったこと ・カタログに記載するテーブルのスコープを定めなかったこと ・利用者にとって最適なUI・UXを考慮しなかったこと 29 再掲

Slide 30

Slide 30 text

©HR Force Inc. All rights reserved. まとめ 30

Slide 31

Slide 31 text

©HR Force Inc. All rights reserved. まとめ データカタログは社内向けのプロダクト 誰に届けるのか、どうやって届けるのか、考え抜こう

Slide 32

Slide 32 text

©HR Force Inc. All rights reserved. おしまい