Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データカタログ運用物語 〜令和6年夏の理想と現実〜
Search
kuro
July 26, 2024
Programming
1
300
データカタログ運用物語 〜令和6年夏の理想と現実〜
Cloud Operator Days2024で登壇した時のスライドです。
kuro
July 26, 2024
Tweet
Share
More Decks by kuro
See All by kuro
サプライチェーン攻撃に学ぶModuleの仕組みと セキュリティ対策
kuro_kurorrr
3
870
PipeCD と Bucketeer の Document MCP Serverを作って公開した話
kuro_kurorrr
0
130
近頃の気になるGo testingパッケージ
kuro_kurorrr
3
540
Go1.25からのGOMAXPROCS
kuro_kurorrr
2
1.4k
Go Modules: From Basics to Beyond / Go Modulesの基本とその先へ
kuro_kurorrr
0
160
最速Green Tea 🍵 Garbage Collector
kuro_kurorrr
4
840
fieldalignmentから見るGoの構造体
kuro_kurorrr
0
190
Go1.24 go vetとtestsアナライザ
kuro_kurorrr
2
1.2k
Go1.24で testing.B.Loopが爆誕
kuro_kurorrr
0
250
Other Decks in Programming
See All in Programming
複雑化したリポジトリをなんとかした話 pipenvからuvによるモノレポ構成への移行
satoshi256kbyte
1
760
ポスターセッション: 「まっすぐ行って、右!」って言ってラズパイカーを動かしたい 〜生成AI × Raspberry Pi Pico × Gradioの試作メモ〜
komofr
0
940
Conquering Massive Traffic Spikes in Ruby Applications with Pitchfork
riseshia
0
150
『毎日の移動』を支えるGoバックエンド内製開発
yutautsugi
2
180
プログラマのための作曲入門
cheebow
0
540
iOS 17で追加されたSubscriptionStoreView を利用して5分でサブスク実装チャレンジ
natmark
0
580
階層構造を表現するデータ構造とリファクタリング 〜1年で10倍成長したプロダクトの変化と課題〜
yuhisatoxxx
3
910
いま中途半端なSwift 6対応をするより、Default ActorやApproachable Concurrencyを有効にしてからでいいんじゃない?
yimajo
2
340
2分台で1500examples完走!爆速CIを支える環境構築術 - Kaigi on Rails 2025
falcon8823
3
3k
Your Perfect Project Setup for Angular @BASTA! 2025 in Mainz
manfredsteyer
PRO
0
120
CSC305 Lecture 03
javiergs
PRO
0
230
詳しくない分野でのVibe Codingで困ったことと学び/vibe-coding-in-unfamiliar-area
shibayu36
3
4.3k
Featured
See All Featured
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.5k
Why Our Code Smells
bkeepers
PRO
339
57k
Designing for Performance
lara
610
69k
The Straight Up "How To Draw Better" Workshop
denniskardys
237
140k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
19
1.2k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
9.7k
How STYLIGHT went responsive
nonsquared
100
5.8k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
RailsConf 2023
tenderlove
30
1.2k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.5k
Making the Leap to Tech Lead
cromwellryan
135
9.5k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
9
580
Transcript
データカタログ運用物語 〜令和6年夏の理想と現実〜 Cloud Operator Days Tokyo 2024 kuroda naoki
自己紹介 - 名前:kuroda naoki - 所属:株式会社サイバーエージェン トAI事業本部 プリズムパートナーカンパニー kuro @knkurokuro7
データカタログとは データカタログとは、データレイクなどからユーザーが取得したいデータを容易に取得できるよう にするために管理されているメタデータのカタログ。 引用: https://www.techtarge t.com/searchdataman agement/definition/da ta-catalog
データカタログとは - DataHubという LinkedIn製のOSSをホ スティング。 - EKS,Helm,OpenSear ch,MSK(Kafka),RDS を使ってホスティングし て、CI/CDには、
GitHub Actions ,Terraform等
データカタログとは メタデータを検索できる
データカタログで解決したい課題 - 散乱するメタデータ - 誰かが知っているテーブルの意味 - 使われているかどうかわからないカラム - データ抽出の際のコミュニケーションコスト -
DSはもちろんビジネスサイド、エンジニアの間でデータの知識に差 がある。
理想の形 1. データカタログをまずは見にいく習慣がある。 2. どこに何のデータがあるかわかる。 3. 過度なコミュニケーションコストがかかることなく、データに関する意思決定が行わ れる。 →まずはここさえ見ればデータのことはなんでもわかる形を目指す
当初の目論見 まずは使われることを目指して、 1. 明確なユースケース 2. メタデータが更新され続けていること の2つの要素があればなんとかなりそう?
1. 明確なユースケース 1.データ抽出の際にどのカラムを使えばいいのかを把握できるようなカタログとして使う。 - よく使うテーブルやカラムの中身がすぐにわかる。 - 同じような名前のカラムがあるときにその違いがわかる。 2. エンジニアがシステム開発の際にカラム同士の関係や使われ方を理解するために使う。 -
mysqlやdynamodb,snowflakeのカラムの意味や関係性を把握する。 3. 新しい人が入ってきた時にデータ理解のオンボーディング資料として使う。 4. あるデータに対して属人化しそうな特殊な意味が追加されたときにメモとして使う。
2. データが更新され続けていること 1. メタデータを人が更新するタイミングがあること。 - 作業のついでにメタデータを書き込んでもらう。 - 例えば)テーブルAは古いので2024年6月時点で使っていませ ん。カラムBにはこの抽出で使うデータが入ってます。 2.
メタデータがシステムが更新するタイミングがあること。 - システム的に毎日自動連携する。 - 例えば)Snowflakeのカラム情報をGitHub Actions で連携す る。
1. 明確なユースケース はある程度固まってるから、 2. メタデータが更新され続けていること に注力しよう!
施策①連携できるメタデータの幅を増やす - DataHubのメタデータ自動連携をGithubActionsで毎日実行。 - Snowflake,dbt,MySQL,DynamoDB、Business Glossary(DataHubでの用語集 みたいな感じのもの、カラムやテーブルに紐付けられる。)等を連携する。
施策②散らばったテーブルメタデータを取り込む - 外部から連携されるSnowflakeテーブルごとのExcelカラム情報がGoogleDrive だったり、Slackだったり、個人のローカルだったりに散らばっていた。 - それを、CSVに変換して、DataHubのCSV Ingestionという機能で連携。
これで使ってもらえる!→実際データ抽出の際に参照してもらった り。。。
それでも残る課題 最初は物珍しさと集約したテーブルメタデータのため多少使われていた が、徐々に使われなくなりつつある。。
それでも残る課題 実際にヒアリングしてみると、想定していたユースケースでは使い慣れた他のツールで 代替されている。 →定期的に必要な業務に組み込む =データカタログがないと成り立たない業務フロー
これからやりたいこと - データの鮮度をデータワークフローの中で管理する。 - 毎日データを連携するStep FunctionsでのETLフローがあり、 その中でクエリの履歴やカラムの更新情報を取得して、 DataHub APIで「deprecated」 tagを付与する。
これからやりたいこと
これからやりたいこと - 今まであまりできていなかった「不要なテーブルの棚卸し」という業務に組 み込むことでよりデータカタログを見に行く機会が増えるのではないか。 - ここまでを実際にやりたかったのですが、間に合わなかったので、またどこ かでお話しできれば。。
まとめ - ユースケースを定義して周知するだけではツールは使ってもらえな い。 - 他のツールでは代替できないような用途に使えるように、業務フ ローに組み込む。 - そもそも既にデータカタログ起点で、「どこで使えるのか」を考えてし まっている。→心底必要でないなら作らない方が良かったのかもし
れない。