COMETA®開発の裏側をご紹介

Data Engineering Study #25 データカタログの現在地 にてお話しした内容です。
https://forkwell.connpass.com/event/328066/

Transcript

1. primeNumber Inc. © COMETA®開発の裏側をご紹介 2024.08 primeNumber Inc.
2. © primeNumber Inc. 2 中村愛美 株式会社primeNumber COMETAチーム Senior Manager X: @mnmandahalf WHO AM I? 2015年にエンジニアとしてキャリアをスタート し、 toB向け基幹業務システム開発、toC向け Webアプリケーション開発、クラウドインフラ構 築、EM等を経験してきました。 2023年6月にprimeNumberに入社し、COMETA® 立ち上げ期の開発リードを担当。2024年5月より 発足したCOMETAチームEM。
3. INDEX © primeNumber Inc. 3 • COMETA®の概要 • エンジニア視点でご紹介するCOMETA®の特色 • 直近のリリースと今後について
4. © primeNumber Inc. 4 COMETA®の概要
5. © primeNumber Inc. 5 COMETA®とは • データの発見・理解・活用を促進するデータカタログSaaS • 散らばったデータを管理し、安全かつ効率的にデータを利用可能に します。 • 機能例 ◦ メタデータ検索 ◦ カラムリネージ ◦ クエリエディタ ◦ ER図 ◦ JOIN分析 ◦ 用語集
6. © primeNumber Inc. 6 COMETA®の構成要素 • ユーザーがメタデータを閲覧・登録するUI • メタデータを取り込むバッチ ◦ DWHのメタデータ取り込み ◦ TROCCO®で転送しているメタデータの自動生成 ◦ 検索インデックス生成 ◦ リネージ生成
7. © primeNumber Inc. 7 構成図 ※ 2024/08時点
8. © primeNumber Inc. 8 COMETA®の特色 エンジニア視点でご紹介する
9. © primeNumber Inc. 9 カラムレベルリネージ COMETAの特色 ①
10. © primeNumber Inc. 10 カラムレベルリネージ • BigQuery、Snowflakeともに、SQLパーサのライブラリを拡張して実装 • ASTを読み解く地道な作業の上に実現されている機能
11. © primeNumber Inc. 11 カラムレベルリネージ • 現在はTROCCO®データマート機能を利用の場合のみ対応 • SQLさえあればよいのでビューのリネージやdbtのビルド結果のSQLを 用いたカラムレベルリネージも今後拡充を予定
12. © primeNumber Inc. 12 ER図・JOIN分析機能 COMETAの特色 ②
13. © primeNumber Inc. 13 ER図 • リレーションを定義すると以下のような図をリアルタイムで表示可能 • 論理的なテーブル同士の関連を俯瞰できる • 分析者は、このテーブルに関連するテーブルは？という探し方ができる
14. © primeNumber Inc. 14 ER図 • リレーションのデータは現在3種類の生成方法に対応 ◦ 手動でカラム同士の関連をUIから登録 ◦ TROCCO®で転送している場合は、転送元のMySQLやPostgreSQLの 外部キー情報を取得して自動生成 ◦ カラム同士の関連をCSVに記載して一括インポート（new!） • クエリエディタでON句を記載した時の補完にも活用されます
15. © primeNumber Inc. 15 JOIN分析 • ER図のエッジをクリックすることで特定キーでJOINした結果が 視覚的に分析でき、適切な結合方法がわかる
16. © primeNumber Inc. 16 日本語検索対応 COMETAの特色 ③
17. © primeNumber Inc. 17 日本語検索対応 • Elasticsearchのプラグインで日本語あいまい検索を実現している ◦ （例）売り上げ / 売上 • 項目ごとに部分一致、kuromoji analyzer、n-gram等を使い分け • ユーザー辞書への対応など、まだまだカスタマイズの余地あり
18. © primeNumber Inc. 18 その他 • クエリエディタ（補完あり） • データプレビュー機能 なども特徴的ですが、時間の関係で割愛します😢
19. © primeNumber Inc. 19 直近のリリースと今後について
20. © primeNumber Inc. 20 直近3ヶ月のリリース • メタデータの登録状況や推移が確認できるダッシュボード機能 • 大量テーブルのメタデータ取り込みと画面のパフォーマンスチューニング • 用語集機能 • メタデータCSVエクスポート • ユーザー管理画面改善 • ERDの動線改善 • Snowflake日本語テーブル対応 • Tableau連携 • etc… 毎月大きめの機能リリースをコンスタントに行っています！
21. © primeNumber Inc. 21 今後について • 直近はdbt連携、DWHから取得するメタデータ強化、コネクタなしでデー タベースを追加する仕組みの追加等を予定 • 皆様の「こんな機能があったらいいな」の声をお待ちしています！
22. © primeNumber Inc. 22 We are hiring! • データカタログSaaSの開発に興味がある仲間も募集中です！ • PdM、デザイナ、CS、セールス一丸となり上流の要件/仕様策定から 携わることができます。 • エンジニアリングファーストな社風で、価値を生み出せる人が尊重され、 裁量を持てる文化です。 • 数少ない国産プロダクトとして、お客様と一緒に市場を成長させていく 楽しさがあります。 https://recruit.primenumber.co.jp/
23. Thank you!