IoT時代におけるストリームデータ処理と急成長の Apache Flink / StreamData_ApacheFlink

Slide 1

Slide 1 text

2016/10/25 Acroquest Technology 株式会社鈴木貴典ビッグデータのリアルタイム処理技術勉強会 #futureofdata

Slide 2

Slide 2 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 2 自己紹介  所属 • Acroquest Technology Co., Ltd. • 「働きがいのある会社」（GPTW）従業員25～99人部門 2年連続1位  主な業務分野 • テクニカルアーキテクト • SEPG • IoTサービス開発 • ビッグデータ処理プラットフォーム  最近の興味 • サーバーレス • DevOps • Elasticsearch 鈴木貴典 Twitter : @takanorig Qiita : http://qiita.com/takanorig

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

1. IoTでのデータの扱いの変化 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 7 新しいビジネスのニーズへの対応全量分析による AIの活用データの即時有効活用過去は、リアルタイムの情報は、サンプリングでしか扱えなかった。 IoTにより、利用できる情報が増え、全量分析することで、リアルタイムで、精度の高い学習・活用が可能になった。生データをそのまま蓄積するのではなく、様々な手段で読み書きできる状態で保管する「データレイク」の考え方が広まっている。そのためには、リアルタイムにデータを加工・変換していく必要がある。リアルタイムリコメンド、セキュリティリスクの検知、防災・異常検知、など、時間によってコストや人命への影響が大きい内容に関するニーズが増えてきた。

Slide 8

Slide 8 text

2. ビッグデータ処理プラットフォームのパラダイム Copyright © Acroquest Technology Co., Ltd. All rights reserved. 8 2002 2004 2006 2008 2010 2012 2014 Google GFS論文発表 (2003) Google GigTable論文発表 (2006) Google MapRedue論文発表 (2004) Google Percolator・ Dremel(BigQuery) 論文発表 (2010) Twitter Storm公開 (2011) Hadoop 1st Release (2007) HBase 1st Release (2008) よりリアルタイム性が求められる時代へ 2016 Spark Summit(1st) Spark0.8 Release (2013) Drill公開 (2013) Storm1.0 Release Spark2.0 Release (2016) Google MillWheel 論文発表 (2013) Google Cloud Dataflow (2014)

Slide 9

Slide 9 text

Slide 10

Slide 10 text

3. ビッグデータ処理の3つのタイプ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 10 バッチ処理インタラクティブクエリ処理ストリームデータ処理実行タイミングユーザの指定や定期的な実行ユーザの指定や定期的な実行常時連続実行処理単位蓄積データを一括で処理蓄積データを一括で処理 1～少数のフローデータを処理実行時間分～時間秒～分ミリ秒～秒処理モデル MapReduce 検索, 集計, OLTP Stream processing 要件に応じて、単体 or 組み合わせて利用

Slide 11

Slide 11 text

3. ビッグデータ処理の3つのタイプ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 11 バッチ処理インタラクティブクエリ処理ストリームデータ処理タイプごとの代表的なプロダクト Apache Storm Apache Spark Streaming Hadoop CDH Cloudera's Distribution Including Apache Hadoop Apache Drill Cloudera Impala Facebook Presto Spark HDP Hortonworks Data Platform CDP Converged Data Platform Tez Apache Flink Elastic Elasticsearch

Slide 12

Slide 12 text

Slide 13

Slide 13 text

5. ストリームデータ処理エンジンに求められる要素 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 13 1. Low Latency & High Throughput 低レイテンシ、高スループットイベント到着から数十～数百ミリ秒のレイテンシで、毎秒、数十～数百万の処理を要求されることがあり、低レイテンシ、高スループットを実現する必要がある。 2. Scalable スケーラブル複数ノードで構成されるクラスタ上で、並列分散的に動作し、膨大な数のメッセージに対しても低レイテンシを維持しつつ、水平スケールする。 3. Fault tolerant 耐障害性障害が発生し、処理中のノードがダウンした場合でも、必要に応じてタスクの再割り当てやノードの再起動を行い、処理が完全に停止してしまうようなことがない。

Slide 14

Slide 14 text

5. ストリームデータ処理エンジンに求められる要素 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 14 4. Message guarantees メッセージ到達性保証何らかの理由により、イベントの処理に失敗したり、タイムアウトが発生したりした場合でも、それを検知し、再処理するしくみが必要となる。エンジンによって、サポートする信頼性のレベルは異なるが、すべてのイベントが処理されることを担保可能とする。 5. Flow Control フロー制御データの流れを許可したり、禁止したりすることが可能であること。エンジンで処理した結果のデータを受信する側で、処理が間に合わない場合に、データの送信をエンジン側で止められることを指す。TCP/IPのパケット通信に用いられている制御方式である。現時点では、Backpressureの機構が用いられることが多い。 6. Windowing ウィンドウ処理ストリームデータを、一定の区間で区切り、単一のイベントではなく、複数のイベントに対して処理を行う。過去のイベントと比較したり、集計等の演算をするのに有用な機能であり、エンジン自体でサポートするケースが増えている。

Slide 15

Slide 15 text

【5. ストリームデータ処理エンジンに求められる要素】 5-1. メッセージ処理モデル Copyright © Acroquest Technology Co., Ltd. All rights reserved. 15 ストリームデータ処理 Event at a time Micro-batch Time-Based Count-Based ストリームデータ処理も、大きく分けて２つの方式がある。イベント毎に逐次処理真のストリーム処理イベントのかたまり毎に処理 CEP※1の処理が可能 time time count count 一定時間毎に処理さらに細かく分類すると・データ発生時間・データ処理時間に基づくものがある一定回数毎に処理 ※1 CEP(Complex Event Processing)：複数イベントに対する処理。

Slide 16

Slide 16 text

【5. ストリームデータ処理エンジンに求められる要素】 5-2. メッセージ到達性保証 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 16 At most once （0回もしくは1回） At least once （少なくとも1回） Exactly once （正確に1回）損失するかも損失しない損失しない重複しない重複するかも重複しない信頼性性能低高高低信頼性レベルに応じて、3つの分類がある。エンジンによって、どのレベルをサポートしているかは異なる。

Slide 17

Slide 17 text

【5. ストリームデータ処理エンジンに求められる要素】 5-3. Backpressure Copyright © Acroquest Technology Co., Ltd. All rights reserved. 17 送信側受信側 × バッファが溢れて処理できなくなる。処理が速い 100メッセージ／秒処理が遅い 80メッセージ／秒送信側受信側 ③バッファが溢れずに処理可能 80メッセージ／秒 80メッセージ／秒 ①ペース落として！ ②ペースダウンストリームデータ処理における課題受信側の処理能力を超えるデータを送信し続けると、いずれキャパシティを超えてオーバーフローが発生してしまう。一方、送信側が常に遅く処理をすれば、無駄が大きくなる。 Backpressureによるペースの制御受信側が自分が処理できる量だけのデータを、送信側に対して要求するようにして、オーバーフローの発生を防ぐ。

Slide 18

Slide 18 text

【5. ストリームデータ処理エンジンに求められる要素】 5-4. ウィンドウ処理 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 18 Tumbling Windows Sliding Windows 集計や演算の内容に応じて、適したウィンド処理を検討する必要がある。 • 一定時間、もしくは、カウント毎に処理を行う。 • 処理対象のイベントのオーバーラップはなし。 • 「直近の○○」のように、現在から指定したイベント分だけさかのぼって処理を行う。 • 処理対象のイベントのオーバーラップはあり。

Slide 19

Slide 19 text

Slide 20

Slide 20 text

1. ストリームデータ処理エンジンの戦国時代 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 20 2011 2012 2013 2014 2015 2016 Storm 0.5 Spark Streaming 0.7 Flink 0.6 samza 0.7 Apex 3.2 Gearpump 0.8 Ignite 1.0 Beam 0.1 2014年以降、新プロダクトのリリースや、有償プロダクトのOSS化により競争激化 Heron 0.13

Slide 21

Slide 21 text

Slide 22

Slide 22 text

1. ストリームデータ処理エンジンの戦国時代 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 22 Googeトレンド「apache storm」「apache spark streaming」「apache flink」で検索 storm（青） flink（黄） spark streaming（赤） Flinkが伸びてきている

Slide 23

Slide 23 text

1. ストリームデータ処理エンジンの戦国時代 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 23 念のため、”spark streaming” -> “spark” に変更して検索「apache storm」「apache spark」「apache flink」で検索 storm（青） flink（黄） spark（赤） Spark全体としてみると人気が高い

Slide 24

Slide 24 text

2. Storm Copyright © Acroquest Technology Co., Ltd. All rights reserved. 24 • 2011年、Twitter社がオープンソースとして公開。 • 耐障害性を持つ分散型として、最初に世界的に認知されたストリームデータ処理エンジン。 • 入力部、出力部共に、他の多くの OSSやクラウドサービスと連携。 • 2016年4月にv1.0がリリースされ、課題となっていたSlidingWindow、 Backpressureなどの機能が追加され、性能も、従来と比較して16倍の処理高速化を実現。

Slide 25

Slide 25 text

2. Storm - データ処理コンセプト Copyright © Acroquest Technology Co., Ltd. All rights reserved. 25 Spout Spout Bolt Bolt Bolt Bolt Bolt Topology Spout： StreamのデータソースとしてTupleを送出する Bolt： StreamからTupleを受信し、変換・加工する Tuple： Stormで処理されるメッセージを保持する、単一のデータ Stream：途切れずに連続するTupleの流れ Spout＋Boltからなるネットワーク構造。Stormにおける処理の単位となる

Slide 26

Slide 26 text

2. Storm - Word Count Exampe Copyright © Acroquest Technology Co., Ltd. All rights reserved. 26 TopologyBuilder builder = new TopologyBuilder(); builder.setSpout("spout", new RandomSentenceSpout(), 5); builder.setBolt("split", new SplitSentence(), 8).shuffleGrouping("spout"); builder.setBolt("count", new WordCount(), 12).fieldsGrouping("split", new Fields("word")); Config conf = new Config(); conf.setNumWorkers(3); StormSubmitter.submitTopology(args[0], conf, builder.createTopology()); ※一部

Slide 27

Slide 27 text

2. Storm - Word Count Exampe Copyright © Acroquest Technology Co., Ltd. All rights reserved. 27 public static class WordCount extends BaseBasicBolt { Map counts = new HashMap(); @Override public void execute(Tuple tuple, BasicOutputCollector collector) { String word = tuple.getString(0); Integer count = counts.get(word); if (count == null) count = 0; count++; counts.put(word, count); collector.emit(new Values(word, count)); } @Override public void declareOutputFields(OutputFieldsDeclarer declarer) { declarer.declare(new Fields("word", "count")); } } ※一部

Slide 28

Slide 28 text

3. Spark／Spark Streaming Copyright © Acroquest Technology Co., Ltd. All rights reserved. 28 Spark Core コアエンジン Spark SQL クエリ Spark Streaming ストリーム MLlib 機械学習 GraphX グラフ分析 • カリフォルニア大学バークレー校で開発を開始。2013年に公開。 • インメモリ処理により、バッチ処理を高速化。Spark Stack として、バッチだけでなく、ストリームデータ処理やSQLクエリ、機械学習の処理も可能。 • Spark Streamingでは、ストリームデータを一定時間で区切り、小さいデータの固まり毎にバッチとして処理を実行する。 • 2016年7月にv2.0がリリースされ、 2～10倍の高速化。

Slide 29

Slide 29 text

Slide 30

Slide 30 text

3. Spark Streaming - Word Count Exampe Copyright © Acroquest Technology Co., Ltd. All rights reserved. 30 JavaReceiverInputDStream lines = jssc.socketTextStream("localhost", 9999); JavaDStream words = lines.flatMap(new FlatMapFunction() { @Override public Iterable call(String x) { return Arrays.asList(x.split(" ")); } }); JavaPairDStream pairs = words.mapToPair(new PairFunction() { @Override public Tuple2 call(String s) { return new Tuple2(s, 1); } }); JavaPairDStream wordCounts = pairs.reduceByKey( new Function2() { @Override public Integer call(Integer i1, Integer i2) { return i1 + i2; } });

Slide 31

Slide 31 text

4. Flink Copyright © Acroquest Technology Co., Ltd. All rights reserved. 31 • ベルリン工科大学および欧州のいくつかの大学とともに発足した成層圏研究プロジェクトが元となっており、2014年にOSSとして公開。 • バッチ、および、ストリームデータ処理の両方をサポートする。 • Flink Stackとして、機械学習やグラフ分析のライブラリも統合されていることもあり、 Sparkと比較されることが多いが、Flinkは” 真”のストリーム処理を実現している。 • 高速ながら耐障害性にも優れ、ステートフルな機構を持ち、障害が発生しても自動復旧して処理を継続可能。 • 一貫性と低レイテンシの両方を実現している。

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

4. Flink - Word Count Exampe Copyright © Acroquest Technology Co., Ltd. All rights reserved. 34 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream text = env.readTextFile(textPath); DataStream> counts = text.map(line -> line.toLowerCase().split("¥¥W+")) .flatMap((String[] tokens, Collector> out) -> { Arrays.stream(tokens) .filter(t -> t.length() > 0) .forEach(t -> out.collect(new Tuple2<>(t, 1))); }) .keyBy(0) .sum(1);

Slide 35

Slide 35 text

5. 比較 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 35 Storm Spark Streaming Flink Core Trident 処理モデル Event at a Time Micro-batch Micro-batch （処理時間のみ） Event at a Time Micro-batch 到達性保証 At least once Exactly once Exactly once Exactly once レイテンシとても低低低とても低スループット高高中高実装言語 Clojure Clojure Scala Scala 開発言語 Java, Clojure, Scala, Python, Ruby Java, Clojure, Scala, Python Java, Scala, Python, R Java, Scala, Python API 低レベル Compositional 高レベル Declarative 高レベル Declarative 高レベル Declarative ウィンドウ処理 Sliding, Tumbling Sliding, Tumbling Sliding Sliding, Tumbling

Slide 36

Slide 36 text

Slide 37

Slide 37 text

1. 検討ポイント Copyright © Acroquest Technology Co., Ltd. All rights reserved. 37 ① 大量データの収集方法 • Pull or Push、プロトコル、データ形式 ② 増減するストリームデータへの対応 • ピーク性能、時間のズレに対する配慮 ③ 分散処理、および、分散の単位 • 集約キーの設計、集計、ウィンドウ処理、データ欠損への配慮 ④ 中間データの扱い • マスタデータ、一時データ ⑤ 運用 • ログの管理、ノードの管理、モニタリング、障害対応

Slide 38

Slide 38 text

解析結果用データストアダッシュボード分析ツールユーザ通知 2. ストリームデータ処理の基本アーキテクチャ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 38 センサーデータログデータ受信メッセージキュー通信データデータ発生元 SNS データデータ受信部データ処理部データ収集永続化用データストア取得解析出力出力取得保存解析キャッシュ用データストアデータ活用部典型的なアーキテクチャ

Slide 39

Slide 39 text

3. 運用 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 39 • エンジンが問題になるとは限らない。データ収集やデータの保存先なども重要。 • 様々なOSSに対して、クラスタの構築からモニタリングまで行えるのが便利。システム全体の管理には Ambariが便利ストリーム処理エンジンの管理コンソールを活用 • 各エンジンには、専用の管理コンソールが付属しているケースが多い（それがないと死ぬ）。 • ボトルネックや障害の確認に役立つ。 Spark WebUI Fink Dashbord Ambari

Slide 40

Slide 40 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 40 本日のまとめ 1. ストリームデータ処理エンジンに求められる内容も高機能になってきている。 ① スケーラブル、耐障害性は必須になっている。 ② Backpressureによるフロー制御、ウィンドウ処理なども必要性が高い。 2. ストリーム処理エンジンは、戦国時代になっている。 ① Storm、Spark Streaming、Flinkが代表格。 ② Spark、Flink は、バッチとストリームの両方をサポートし、かつ、クエリ処理や機械学習などのエコシステムを統合して提供しているのは有用。 ③ どれを利用するかは、そのエンジンの特性や強みを理解して選ぶしかない。 3. エンジンだけでなくシステム全体のアーキテクチャを考慮しよう。 ① データ収集やキュー処理、データの永続化など、一連の流れを検討する必要がある。 ② 運用のツールも揃ってきているので、うまく活用しよう。