16 Apache Flink 오픈소스 대용량 데이터 처리 플랫폼 유럽 대학들의 연합 연구 프로젝트인 Stratosphere의 결과물 2014년 4월, Apache Incubator에 들어와 2014년 12월, Top-level Project로 승격 현재[1] 커미터는 20명이고 컨트리뷰터는 146명 [1] 2015년 12월 19일 확인
17 Apache Flink 세련된 Java, Scala, Python API 제공 Web UI, Scala Shell 등 다양한 도구 지원 그래프 처리, 기계 학습 등을 위한 라이브러리 제공 똑똑한 Flink 런타임의 자동 최적화 오픈소스 진영에서 가장 진보된 스트리밍 데이터 처리 시스템
18 Hadoop WordCount Example public class WordCount { public static class Map extends Mapper { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); StringTokenizer tokenizer = new StringTokenizer(line); while (tokenizer.hasMoreTokens()) { word.set(tokenizer.nextToken()); context.write(word, one); } } } public static class Reduce extends Reducer { public void reduce(Text key, Iterable values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } context.write(key, new IntWritable(sum)); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = new Job(conf, "wordcount"); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); job.setMapperClass(Map.class); job.setReducerClass(Reduce.class); job.setInputFormatClass(TextInputFormat.class); job.setOutputFormatClass(TextOutputFormat.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); job.waitForCompletion(true); } }
19 Flink WordCount Example object WordCount extends App { val env = ExecutionEnvironment.getExecutionEnvironment val data = env.readTextFile(“hdfs://...“) val wc = data.flatMap(_.split("\\W+")).map((_, 1)).groupBy(0).sum(1) wc.writeAsText(“hdfs://...“) env.execute(“Flink WordCount Example”) } 1. 데이터를 불러와서 (split) 2. map을 수행하고 3. map을 또 수행하고 4. 단어 단위로 값을 모아서 (sort-shuffle) 5. reduce를 수행 6. 출력
23 Gelly Graph processing library on Flink Google Pregel 형태의 Vertex-centric Iteration 지원 Gather-Sum-Apply Iteration 지원 FlinkML Machine learning library on Flink scikit-learn 스타일의 파이프라인 지원 CoCoA, Linear Regression, ALS 등이 구현되어 있음
31 똑똑한 Flink 런타임 (3) Managed Memory Network Buffers Flink Managed Heap Unmanaged Heap • Flink는 메모리를 직접 관리함 • GC로 인한 성능 감소가 적음 • Serde 오버헤드를 줄이기 위해 바이너리 데이터에서 바로 연산을 수행 • 이를 위해, 타입 정보를 미리 조사 • 덕분에 메모리 튜닝이 거의 필요 없음 • Spark는 버전 1.4부터 지원 JVM Heap
31 똑똑한 Flink 런타임 (3) Managed Memory Network Buffers Flink Managed Heap Unmanaged Heap User code, Deserialized data Shuffles, Broadcasts Hashing, Sorting, Caching • Flink는 메모리를 직접 관리함 • GC로 인한 성능 감소가 적음 • Serde 오버헤드를 줄이기 위해 바이너리 데이터에서 바로 연산을 수행 • 이를 위해, 타입 정보를 미리 조사 • 덕분에 메모리 튜닝이 거의 필요 없음 • Spark는 버전 1.4부터 지원 JVM Heap
32 Features for Real-time Streaming 빠른 결과를 위한 Low latency 많은 이벤트를 처리할 수 있도록 High throughput 정확한 결과를 위한 Exactly-once guarantees 이벤트 순서에 자유로운 처리를 위한 Event-time windows
40 Event-time Windows 실제 스트림 처리 시스템에서는 다양한 이유로 이벤트의 생성 시간과 처리 시간이 다릅니다. 네트워크로 인한 지연 효과 스트림 처리 과정에서 Backpressure로 인한 지연 효과 이벤트 소스가 항상 연결되어 있지 않는 경우 (모바일 등)
43 다른 스트림 처리 엔진과의 비교 Delivery Semantics At least once Exactly once At least once Exactly once State Management Stateless Stateful Stateful Stateful Latency Sub-second Seconds Sub-second Sub-second Language Support Java, Closure, and others Scala, Java, Python Scala, Java Scala, Java, Python
chiwanpark
rdmueller
treastrain
assu_ming
ivargrimstad
tanakahisateru
trapezoid
nrslib
kaityo256
takamin55
kinocoboy2
prof18
holman
jrom
dougneiner
quramy
cromwellryan
tmm1
smashingmag
thoeni
chrisshort
tammyeverts
morganepeng
mongodb