$30 off During Our Annual Pro Sale. View Details »

データマネジメントを実現するためのサービス・OSSまとめ

 データマネジメントを実現するためのサービス・OSSまとめ

「Tech × Marketing Conference 2021 #データマネジメント」の登壇資料です。
イベント詳細
https://techxmarketing.connpass.com/event/229173/
イベントLive配信動画
https://www.youtube.com/watch?v=FqA2JY5O__k

Hirokazu Kobayashi

December 10, 2021
Tweet

More Decks by Hirokazu Kobayashi

Other Decks in Technology

Transcript

  1. View Slide

  2. View Slide

  3. View Slide

  4. View Slide

  5. View Slide

  6. View Slide

  7. 初学者〜中級者のデータエンジニアを対象とした勉強会
    データエンジニアリングに関する知識を網羅的に学べる
    隔月でオンライン開催(無料)
    次回開催は12/13(来週月曜)です!

    View Slide

  8. View Slide

  9. View Slide

  10. View Slide

  11. View Slide

  12. View Slide

  13. View Slide

  14. View Slide

  15. View Slide

  16. View Slide

  17. View Slide

  18. View Slide

  19. View Slide

  20. View Slide

  21. View Slide

  22. View Slide

  23. Informatica - PowerCenter
    IBM - InfoSphere Information ServerI
    Oracle - Data Integrator
    SAP - Data Services
    Microsoft Azure - Data Factory
    Talend
    Denodo
    Qlik
    SAS
    TIBCO
    Precisely
    SnapLogic
    etc...

    View Slide

  24. View Slide

  25. トリガー 抽出対象 特徴
    Embulk バッチ 全件
    差分 国産なので日本語ドキュメント豊富
    Apache Spark バッチ
    ストリーミング
    全件
    差分
    イベント
    Fluentd ストリーミング イベント 国産なので日本語ドキュメント豊富
    コーディング
    不要
    必要
    不要
    Apache Beam 必要
    バッチ
    ストリーミング
    全件
    差分
    イベント
    Sparkよりは抽象度が高く、
    コーディングも少量
    Apache Kafka 不要
    イベント駆動 イベント

    View Slide

  26. View Slide

  27. View Slide

  28. View Slide

  29. ジョブ同士の依存関係を定義することが出来る
    ジョブ同士の依存関係はDAGと呼ばれるグラフ
    で定義・可視化が可能
    エラー箇所や影響範囲がわかりやすくなる

    View Slide

  30. サービス名 ベースOSS 国内 or 海外
    Google Cloud Composer Airflow 海外
    Amazon Managed Workflow
    for Apache Airflow Airflow 海外
    Astronomer Airflow 海外
    JP1 - 日本国内
    trocco - ワークフロー - 日本国内
    Datakitchen - 海外

    View Slide

  31. View Slide

  32. View Slide

  33. View Slide

  34. View Slide

  35. View Slide

  36. View Slide

  37. Informatica - Enterprise Data Catalog
    IBM - Data Catalog
    Collibra - Data Catalog
    Alex Solutions
    erwin
    Alation
    SAP
    Oracle
    Smartlogic
    ASG
    Semantic Web Company
    Google Cloud Data Catalog
    etc...

    View Slide

  38. View Slide

  39. メタデータの自動統合、手動作成
    メタデータの検索、表示
    ER図やJOIN分析
    要約統計量、スプシライクなデータプレビュー
    集計結果の確認を楽にするクエリエディタ

    View Slide

  40. View Slide