OpenMetadataとdbtによるデータカタログの構築

Slide 1

Slide 1 text

Slide 2

Slide 2 text

2 © 2023 LayerX Inc. 自己紹介平田拓也(@TrsNium) 株式会社LayerX 機械学習・データ基盤部データエンジニア 2023年11月よりLayerXにjoin これまで ● エッジデバイス上でMLOpsをするためのSaaSの開発 ● 自社ECサイトの機械学習を使ったプロダクトのSRE などをやってました →LayerXに転職して初めてdbtを触りましたお手柔らかに、よろしくお願いします！ mm

Slide 3

Slide 3 text

3 © 2023 LayerX Inc. バクラクシリーズラインナップ稟議・支払申請・経費精算仕訳・支払処理効率化法人カードの発行・管理帳票保存・ストレージ帳票発行 * 経費精算のSlack連携は申請内容の通知のみ・AIが領収書を５秒でデータ化・スマホアプリとSlack連携あり・領収書の重複申請などミス防止機能・AIが請求書を５秒でデータ化・仕訳・振込データを自動作成・稟議から会計までスムーズに連携・年会費無料で何枚でも発行可・インボイス制度・電帳法対応・すべての決済で1%以上の還元・AIが書類を5秒でデータ化・あらゆる書類の電子保管に対応・電子取引・スキャナ保存に完全対応・帳票の一括作成も個別作成も自由自在・帳票の作成・稟議・送付・保存を一本化・レイアウトや項目のカスタマイズも可能

Slide 4

Slide 4 text

4 © 2023 LayerX Inc. 経理業務を一元管理し、債権・債務に関連する業務を一気通貫でなめらかに連携。経理業務の工数を大幅削減。「バクラク」の特徴会計システムインターネットバンキング (EBシステム) 法人カード支払管理経費精算管理請求書支払管理ワークフローツールの統一経理ツールの統一会計システム・ EBシステム連携一気通貫で連携出張申請取引先申請押印申請契約申請購買申請法人カード利用申請請求書支払申請経費精算申請請求書発行管理保管場所の統一領収書保管受領請求書保管発行帳票保管国税関係書類保管

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

10 © 2023 LayerX Inc. データ基盤の現状と利用状況データ基盤の利用者と利用者から見た課題 ● データ基盤の利用者 ○ 非エンジニアの割合が多い ● 利用者の課題 ○ 分析のナレッジを共有できない ○ データ探索に時間がかかっている ○ 分析開始時のデータプロファイリング負荷がある ○ スキーマの変更を検知するのが難しい利用者のユースケースにあったデータカタログを導入する必要がある

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

16 © 2023 LayerX Inc. OpenMetadataとはできること ● データの検索 ○ ElasticSearchとMySQLを使った、多種多様なメターデータ検索や文書検索機能 ● プロファイリング&データの品質管理 ○ テーブルの更新頻度やカラムのヌルの割合を可視化する機能 ○ テストケースを定義し、品質の可視化を行う機能 ● データガバナンス ○ 用語集(Glossary)や分類(Classification)を共有することで、他チームとのコラボレーションを簡単に行えるような機能 ● セキュリティ ○ ユーザー認証に各種SSOを利用できる機能

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

22 © 2023 LayerX Inc. OpenMetadataとはアーキテクチャ ● HTTP サーバー - UI/APIを提供 ● Apache Airflow(Optional) - 外部のメタデータを取り込むパイプライン ● MySQL - メタデータ(カラムやテーブル)の関係性を格納 ● ElasticSearch - メタデータの検索に利用出典: https://docs.open-metadata.org/v1.2.x/developers/architecture

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

29 © 2023 LayerX Inc. OpenMetadataとdbtの連携方法 OpenMetadataから連携の設定を行う OpenMetadataでは大まかに3種類の連携設定・実行方法が用意されている ● OpenMetadataのUIでdbtの設定をし、Apache Airflowでdbtの情報を取り込む ● Apache AirflowのDagを作成し、Apache Airflowでdbtの情報を取り込む ● dbtの設定をyamlで記述し、metadataコマンドでdbtの情報を取り込む

Slide 30

Slide 30 text

30 © 2023 LayerX Inc. OpenMetadataとdbtの連携方法 OpenMetadataから連携の設定を行う OpenMetadataでは大まかに3種類の連携設定・実行方法が用意されている ● OpenMetadataのUIでdbtの設定をし、Apache Airflowでdbtの情報を取り込む ● Apache AirflowのDagを作成し、Apache Airflowでdbtの情報を取り込む ● dbtの設定をyamlで記述し、metadataコマンドでdbtの情報を取り込む ← このやり方を紹介します

Slide 31

Slide 31 text

Slide 32

Slide 32 text

32 © 2023 LayerX Inc. OpenMetadataとdbtの連携方法 metadataコマンドの主要機能 subcommand 説明 ingest データソースからのメタデータを収集する lineage データソースの系譜情報を収集する profile テーブルからメタデータをプロファイリングする(nullの割合, uniqueの割合など) test テーブルに含まれるデータの品質をテストする

Slide 33

Slide 33 text

33 © 2023 LayerX Inc. OpenMetadataとdbtの連携方法 metadataコマンドの主要機能 subcommand 説明 ingest データソースからのメタデータを収集する lineage データソースの系譜情報を収集する profile テーブルからメタデータをプロファイリングする(nullの割合, uniqueの割合など) test テーブルに含まれるデータの品質をテストする metadaコマンドではingestサブコマンドがdbtに対応している $ metadata ingest -c

Slide 34

Slide 34 text

34 © 2023 LayerX Inc. データの取り込みとマッピング yamlにdbt取り込みようの設定を記述する source: type: dbt serviceName: ${TARGET_DATABASE} sourceConfig: config: type: DBT dbtConfigSource: # For S3 dbtSecurityConfig: awsRegion: ap-northeast-1 dbtPrefixConfig: dbtBucketName: dbt-artifact dbtObjectPrefix: "dbt/" sink: type: metadata-rest config: {} workflowConfig: openMetadataServerConfig: hostPort: ${OPENMETADATA_INGESTION_URL} authProvider: openmetadata securityConfig: jwtToken: ${OPENMETADATA_INGESTION_JWT_TOKEN} ←ソースとなるdbtの設定を記述する ←dbtの情報を反映したい(OpenMetadata上の)データベースを選択する ←OpenMetadataのAPIエンドポイント ←認証用のjwt token

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

41 © 2023 LayerX Inc. エラーとトラブルシューティング metadata ingestに成功するがOpenMetadata上で反映されない dbtの連携に成功すると、UI上でdbtタブが表示される dbtタブが表示されない場合に考えられる原因 ● dbt manifest.jsonに含まれるdatabase, schema, name, aliasがOpenMetadata上の情報と一致していない ● dbt manifest.jsonにcompiled_codeもしくはcompiled_sqlが含まれていない

Slide 42

Slide 42 text

Slide 43

Slide 43 text

43 © 2023 LayerX Inc. 課題と今後の展望 OpenMetadataからdbtへ情報を反映する ● 現状dbtからOpenMetadataへの１方通行でしか情報を反映できていない ● OpenMetadatanの情報はDBの中に保存されており、コード管理できていない Lineage, Tag, Ownerの反映 Documentの反映 metadataの取り込み OpenMetadataからdbtへ情報を反映し、ドキュメントをコード管理する

Slide 44

Slide 44 text

44 © 2023 LayerX Inc. 課題と今後の展望 BigQueryからのメタデータ取り込みを、よりセキュアにする OpenMetadataで利用できる、GCPとの認証方法 ● ServiceAccount Json Key Credentials ● Application Default Credentials External Account Credentialsによる認証をサポート ● OIDCを利用したGCP、AWS間の認証ができるようになる External　Account　Credentialsが流出しても、秘匿情報が含まれないため問題になりづらい

Slide 45

Slide 45 text

45 © 2023 LayerX Inc. 課題と今後の展望 Aurora RDSからのメタデータ取り込みを、よりセキュアにサポートされているMySQLの認証方法 ● パスワード認証 ← この方法で認証 ● IAM認証パスワード管理コストを下げるために、IAM認証に切り替えたい OpenMetadataではIAM認証をするためにアクセスキー、シークレットアクセスキーを用意する必要がある。本来であればインスタンスに紐づくIAM Roleだけで認証できるはず....。原因を調査し、最低限の情報でIAM認証できるようにしたい!