Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
COMETA®開発の裏側をご紹介
Search
Manami Nakamura
October 11, 2024
Programming
0
100
COMETA®開発の裏側をご紹介
Data Engineering Study #25 データカタログの現在地 にてお話しした内容です。
https://forkwell.connpass.com/event/328066/
Manami Nakamura
October 11, 2024
Tweet
Share
More Decks by Manami Nakamura
See All by Manami Nakamura
Railsのマイグレーション、どこまで安全にできるか
mnmandahalf
0
5
よく考えずにRDSを暗号化したら辛かった話
mnmandahalf
0
8
Other Decks in Programming
See All in Programming
急速に利用拡大を続ける飲食店向けサービスで 店内端末同士のローカル通信を追加設定なしで実現した話
whatasoda
0
150
Vue SFCのtemplateでTypeScriptの型を活用しよう
tsukkee
3
1.2k
4年間変わらなかった YOUTRUSTのアーキテクチャ
daiki1003
2
710
メルカリ ハロ アプリの技術スタック
atsumo
2
910
OpenTelemetryでRailsのパフォーマンス分析を始めてみよう(KoR2024)
ymtdzzz
1
330
フロントエンドの現在地とこれから
koba04
10
4.7k
Universal Linksの実装方法と陥りがちな罠
kaitokudou
1
200
【YAPC::Hakodate 2024】TypeScriptエンジニアが感じたPerlのここが面白い
kimitashoichi
1
490
/←このスケジュール表に立ち向かう フロントエンド開発戦略 / A front-end development strategy to tackle a single-slash schedule.
nrslib
1
480
空間の中でアイドルとレッスンする技術 - 1st "Vision" / Spatial Lesson technologies with my idol - 1st "Vision"
banjun
PRO
0
260
学生の時に開催したPerl入学式をきっかけにエンジニアが組織に馴染むために勉強会を主催や仲間と参加して職能間の境界を越えていく
ohmori_yusuke
2
340
Modern Angular with Lightweight Stores: New Rules and Options
manfredsteyer
PRO
0
210
Featured
See All Featured
Designing on Purpose - Digital PM Summit 2013
jponch
114
6.9k
BBQ
matthewcrist
85
9.2k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Navigating Team Friction
lara
183
14k
Fashionably flexible responsive web design (full day workshop)
malarkey
404
65k
Unsuck your backbone
ammeep
668
57k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.2k
Designing the Hi-DPI Web
ddemaree
280
34k
Automating Front-end Workflow
addyosmani
1365
200k
Optimising Largest Contentful Paint
csswizardry
31
2.9k
A Tale of Four Properties
chriscoyier
156
22k
Fireside Chat
paigeccino
32
3k
Transcript
primeNumber Inc. © COMETA®開発の裏側をご紹介 2024.08 primeNumber Inc.
© primeNumber Inc. 2 中村愛美 株式会社primeNumber COMETAチーム Senior Manager X:
@mnmandahalf WHO AM I? 2015年にエンジニアとしてキャリアをスタート し、 toB向け基幹業務システム開発、toC向け Webアプリケーション開発、クラウドインフラ構 築、EM等を経験してきました。 2023年6月にprimeNumberに入社し、COMETA® 立ち上げ期の開発リードを担当。2024年5月より 発足したCOMETAチームEM。
INDEX © primeNumber Inc. 3 • COMETA®の概要 • エンジニア視点でご紹介するCOMETA®の特色 •
直近のリリースと今後について
© primeNumber Inc. 4 COMETA®の概要
© primeNumber Inc. 5 COMETA®とは • データの発見・理解・活用を促進するデータカタログSaaS • 散らばったデータを管理し、安全かつ効率的にデータを利用可能に します。
• 機能例 ◦ メタデータ検索 ◦ カラムリネージ ◦ クエリエディタ ◦ ER図 ◦ JOIN分析 ◦ 用語集
© primeNumber Inc. 6 COMETA®の構成要素 • ユーザーがメタデータを閲覧・登録するUI • メタデータを取り込むバッチ ◦
DWHのメタデータ取り込み ◦ TROCCO®で転送しているメタデータの自動生成 ◦ 検索インデックス生成 ◦ リネージ生成
© primeNumber Inc. 7 構成図 ※ 2024/08時点
© primeNumber Inc. 8 COMETA®の特色 エンジニア視点でご紹介する
© primeNumber Inc. 9 カラムレベルリネージ COMETAの特色 ①
© primeNumber Inc. 10 カラムレベルリネージ • BigQuery、Snowflakeともに、SQLパーサのライブラリを拡張して実装 • ASTを読み解く地道な作業の上に実現されている機能
© primeNumber Inc. 11 カラムレベルリネージ • 現在はTROCCO®データマート機能を利用の場合のみ対応 • SQLさえあればよいのでビューのリネージやdbtのビルド結果のSQLを 用いたカラムレベルリネージも今後拡充を予定
© primeNumber Inc. 12 ER図・JOIN分析機能 COMETAの特色 ②
© primeNumber Inc. 13 ER図 • リレーションを定義すると以下のような図をリアルタイムで表示可能 • 論理的なテーブル同士の関連を俯瞰できる •
分析者は、このテーブルに関連するテーブルは?という探し方ができる
© primeNumber Inc. 14 ER図 • リレーションのデータは現在3種類の生成方法に対応 ◦ 手動でカラム同士の関連をUIから登録 ◦
TROCCO®で転送している場合は、転送元のMySQLやPostgreSQLの 外部キー情報を取得して自動生成 ◦ カラム同士の関連をCSVに記載して一括インポート(new!) • クエリエディタでON句を記載した時の補完にも活用されます
© primeNumber Inc. 15 JOIN分析 • ER図のエッジをクリックすることで特定キーでJOINした結果が 視覚的に分析でき、適切な結合方法がわかる
© primeNumber Inc. 16 日本語検索対応 COMETAの特色 ③
© primeNumber Inc. 17 日本語検索対応 • Elasticsearchのプラグインで日本語あいまい検索を実現している ◦ (例)売り上げ /
売上 • 項目ごとに部分一致、kuromoji analyzer、n-gram等を使い分け • ユーザー辞書への対応など、まだまだカスタマイズの余地あり
© primeNumber Inc. 18 その他 • クエリエディタ(補完あり) • データプレビュー機能 なども特徴的ですが、時間の関係で割愛します😢
© primeNumber Inc. 19 直近のリリースと今後について
© primeNumber Inc. 20 直近3ヶ月のリリース • メタデータの登録状況や推移が確認できるダッシュボード機能 • 大量テーブルのメタデータ取り込みと画面のパフォーマンスチューニング •
用語集機能 • メタデータCSVエクスポート • ユーザー管理画面改善 • ERDの動線改善 • Snowflake日本語テーブル対応 • Tableau連携 • etc… 毎月大きめの機能リリースをコンスタントに行っています!
© primeNumber Inc. 21 今後について • 直近はdbt連携、DWHから取得するメタデータ強化、コネクタなしでデー タベースを追加する仕組みの追加等を予定 • 皆様の「こんな機能があったらいいな」の声をお待ちしています!
© primeNumber Inc. 22 We are hiring! • データカタログSaaSの開発に興味がある仲間も募集中です! •
PdM、デザイナ、CS、セールス一丸となり上流の要件/仕様策定から 携わることができます。 • エンジニアリングファーストな社風で、価値を生み出せる人が尊重され、 裁量を持てる文化です。 • 数少ない国産プロダクトとして、お客様と一緒に市場を成長させていく 楽しさがあります。 https://recruit.primenumber.co.jp/
Thank you!