Upgrade to Pro — share decks privately, control downloads, hide ads and more …

データマネジメントを実現するためのサービス・OSSまとめ

 データマネジメントを実現するためのサービス・OSSまとめ

「Tech × Marketing Conference 2021 #データマネジメント」の登壇資料です。
イベント詳細
https://techxmarketing.connpass.com/event/229173/
イベントLive配信動画
https://www.youtube.com/watch?v=FqA2JY5O__k

Hirokazu Kobayashi

December 10, 2021
Tweet

More Decks by Hirokazu Kobayashi

Other Decks in Technology

Transcript

  1. Informatica - PowerCenter IBM - InfoSphere Information ServerI Oracle -

    Data Integrator SAP - Data Services Microsoft Azure - Data Factory Talend Denodo Qlik SAS TIBCO Precisely SnapLogic etc...
  2. トリガー 抽出対象 特徴 Embulk バッチ 全件 差分 国産なので日本語ドキュメント豊富 Apache Spark

    バッチ ストリーミング 全件 差分 イベント Fluentd ストリーミング イベント 国産なので日本語ドキュメント豊富 コーディング 不要 必要 不要 Apache Beam 必要 バッチ ストリーミング 全件 差分 イベント Sparkよりは抽象度が高く、 コーディングも少量 Apache Kafka 不要 イベント駆動 イベント
  3. サービス名 ベースOSS 国内 or 海外 Google Cloud Composer Airflow 海外

    Amazon Managed Workflow for Apache Airflow Airflow 海外 Astronomer Airflow 海外 JP1 - 日本国内 trocco - ワークフロー - 日本国内 Datakitchen - 海外
  4. Informatica - Enterprise Data Catalog IBM - Data Catalog Collibra

    - Data Catalog Alex Solutions erwin Alation SAP Oracle Smartlogic ASG Semantic Web Company Google Cloud Data Catalog etc...