Slide 5
Slide 5 text
5
- バッチ処理
- コンピュート: Spark, Beam, Embulk, …
- 入出力: HDFS, S3, GCS, MySQL, Aurora, Spanner, …
- クラウドサービス: AWS Glue, Cloud Dataflow, …
- ジョブスケジューラ: Airflow, Luigi, DigDag, ...
- ストリーミング処理
- コンピュート: Spark, Flink, Beam, Kafka, Fluentd, …
- 入出力: Kafka, Kinesis Data Streams, Cloud Pub/Sub, …
- クラウドサービス: Kinesis Data Analytics, Cloud Dataflow, ...
バッチ・ストリーミングの周辺エコシステム