Slide 5
Slide 5 text
© Cloudera, Inc. All rights reserved. 5
© Cloudera, Inc. All rights reserved.
Spark Structured Streaming: 장점
● 약간의 추가적인 개념만 알면 바로 쓸 수 있음.
○ Source, Sink, Trigger, Watermark, …
● 많은 Function과 Datasource들이 지원됨.
○ Function: Join, ML Pipeline, ...
○ Datasource: RDBMS, Parquet, JSON, ...
○ 예: Kafka로 들어오는 record들을 RDBMS와 Parquet에 저장된 정보와 Join.
● 어떠한 작업을 할 것인지(what)에만 신경쓰면 됨.
○ Catalyst Optimizer