データマネジメントを実現するためのサービス・OSSまとめ

「Tech × Marketing Conference 2021 #データマネジメント」の登壇資料です。
イベント詳細
https://techxmarketing.connpass.com/event/229173/
イベントLive配信動画
https://www.youtube.com/watch?v=FqA2JY5O__k

Transcript

7. 初学者〜中級者のデータエンジニアを対象とした勉強会 データエンジニアリングに関する知識を網羅的に学べる 隔月でオンライン開催（無料） 次回開催は12/13(来週月曜)です！
23. Informatica - PowerCenter IBM - InfoSphere Information ServerI Oracle - Data Integrator SAP - Data Services Microsoft Azure - Data Factory Talend Denodo Qlik SAS TIBCO Precisely SnapLogic etc...
25. トリガー 抽出対象 特徴 Embulk バッチ 全件 差分 国産なので日本語ドキュメント豊富 Apache Spark バッチ ストリーミング 全件 差分 イベント Fluentd ストリーミング イベント 国産なので日本語ドキュメント豊富 コーディング 不要 必要 不要 Apache Beam 必要 バッチ ストリーミング 全件 差分 イベント Sparkよりは抽象度が高く、 コーディングも少量 Apache Kafka 不要 イベント駆動 イベント
29. ジョブ同士の依存関係を定義することが出来る ジョブ同士の依存関係はDAGと呼ばれるグラフ で定義・可視化が可能 エラー箇所や影響範囲がわかりやすくなる
30. サービス名 ベースOSS 国内 or 海外 Google Cloud Composer Airflow 海外 Amazon Managed Workflow for Apache Airflow Airflow 海外 Astronomer Airflow 海外 JP1 - 日本国内 trocco - ワークフロー - 日本国内 Datakitchen - 海外
37. Informatica - Enterprise Data Catalog IBM - Data Catalog Collibra - Data Catalog Alex Solutions erwin Alation SAP Oracle Smartlogic ASG Semantic Web Company Google Cloud Data Catalog etc...
39. メタデータの自動統合、手動作成 メタデータの検索、表示 ER図やJOIN分析 要約統計量、スプシライクなデータプレビュー 集計結果の確認を楽にするクエリエディタ