データマネジメントを実現するためのサービス・OSSまとめ

「Tech × Marketing Conference 2021 #データマネジメント」の登壇資料です。
イベント詳細
https://techxmarketing.connpass.com/event/229173/
イベントLive配信動画
https://www.youtube.com/watch?v=FqA2JY5O__k

Transcript

1. View Slide

2. View Slide

3. View Slide

4. View Slide

5. View Slide

6. View Slide

7. 初学者〜中級者のデータエンジニアを対象とした勉強会
   データエンジニアリングに関する知識を網羅的に学べる
   隔月でオンライン開催（無料）
   次回開催は12/13(来週月曜)です！
   

   View Slide

8. View Slide

9. View Slide

10. View Slide

11. View Slide

12. View Slide

13. View Slide

14. View Slide

15. View Slide

16. View Slide

17. View Slide

18. View Slide

19. View Slide

20. View Slide

21. View Slide

22. View Slide

23. Informatica - PowerCenter
    IBM - InfoSphere Information ServerI
    Oracle - Data Integrator
    SAP - Data Services
    Microsoft Azure - Data Factory
    Talend
    Denodo
    Qlik
    SAS
    TIBCO
    Precisely
    SnapLogic
    etc...
    

    View Slide

24. View Slide

25. トリガー 抽出対象 特徴
    Embulk バッチ 全件
    差分 国産なので日本語ドキュメント豊富
    Apache Spark バッチ
    ストリーミング
    全件
    差分
    イベント
    Fluentd ストリーミング イベント 国産なので日本語ドキュメント豊富
    コーディング
    不要
    必要
    不要
    Apache Beam 必要
    バッチ
    ストリーミング
    全件
    差分
    イベント
    Sparkよりは抽象度が高く、
    コーディングも少量
    Apache Kafka 不要
    イベント駆動 イベント
    

    View Slide

26. View Slide

27. View Slide

28. View Slide

29. ジョブ同士の依存関係を定義することが出来る
    ジョブ同士の依存関係はDAGと呼ばれるグラフ
    で定義・可視化が可能
    エラー箇所や影響範囲がわかりやすくなる
    

    View Slide

30. サービス名 ベースOSS 国内 or 海外
    Google Cloud Composer Airflow 海外
    Amazon Managed Workflow
    for Apache Airflow Airflow 海外
    Astronomer Airflow 海外
    JP1 - 日本国内
    trocco - ワークフロー - 日本国内
    Datakitchen - 海外
    

    View Slide

31. View Slide

32. View Slide

33. View Slide

34. View Slide

35. View Slide

36. View Slide

37. Informatica - Enterprise Data Catalog
    IBM - Data Catalog
    Collibra - Data Catalog
    Alex Solutions
    erwin
    Alation
    SAP
    Oracle
    Smartlogic
    ASG
    Semantic Web Company
    Google Cloud Data Catalog
    etc...
    

    View Slide

38. View Slide

39. メタデータの自動統合、手動作成
    メタデータの検索、表示
    ER図やJOIN分析
    要約統計量、スプシライクなデータプレビュー
    集計結果の確認を楽にするクエリエディタ
    

    View Slide

40. View Slide