Google Cloud Dataflowを理解する

Transcript

1. Google Cloud Dataflow を理解する Slava Chernyak, Senior Software Engineer chernyak@google.com
2. Googleのビッグデータ Cloud Dataflow SDK Cloud Dataflow Service バッチ処理とストリーム処理 全体の連携 1 2 3 4 5 アジェンダ
3. Googleのビッグデータ
4. Googleでは ビッグデータを表す 特別な用語を使います What is Big Data at Google?
5. 「データ」 What is Big Data at Google?
6. 2012 2013 2002 2004 2006 2008 2010 Cloud Dataflow Googleのビッグデータ処理の歴史 Why Cloud Dataflow? MapReduce GFS Big Table Dremel Pregel Flume Colossus Spanner MillWheel
7. 保存する 集める 分析する BigQuery Larger Hadoop Ecosystem Hadoop Spark (on GCE) Pub/Sub Logs App Engine BigQuery streaming 処理する Dataflow (stream and batch) Cloud Storage (objects) Cloud Datastore (NoSQL) Cloud SQL (mySQL) BigQuery Storage (structured) Hadoop Spark (on GCE) Google Cloud Platformによるビッグデータ処理
8. Cloud Dataflowとは何か
9. Cloud Dataflowは 並列化された データ処理パイプラインを作 るためのSDK群 What is Cloud Dataflow? Cloud Dataflowは 並列化された データ処理パイプラインを 実行するための マネージドサービス
10. What is Cloud Dataflow? • 移動 • フィルタ • 加工 • 整形 • 集約 • バッチ処理 • ストリーム処理 • 組み合わせ • 外部連携 • シミュレーション Cloud Dataflowは何に使えるか？
11. • （変換に基づく）関数型プログラミングモデル • バッチ処理とストリーム処理を統合 • クラスタ管理の運用コストを削減 • 次世代のプラットフォームによるジョブ実行時間の縮小 • SDK、プラグイン、Runner等のオープンソース エコシステム Cloud Dataflowのメリット What is Cloud Dataflow?
12. Cloud Dataflowのリリース スケジュール What is Cloud Dataflow? • June 24, 2014: Google I/Oで発表 • Dec. 17, 2014: Alpha版 • Apr. 15, 2015: Beta版 • 次は: 一般公開
13. Cloud Dataflow SDK
14. ハッシュタグのオートコンプリートの実装例 入力した文字列 サジェストするリスト #ar #argentina, #arugularocks, #argylesocks #arg #argentina, #argylesocks, #argonauts #arge #argentina, #argentum, #argentine
15. {a->[apple, art, argentina], ar->[art, argentina, armenia],...} Count ExpandPrefixes Top(3) Write Read ExtractTags {a->(argentina, 5M), a->(armenia, 2M), …, ar-> (argentina, 5M), ar->(armenia, 2M), ...} {#argentina scores!, watching #armenia vs #argentina, my #art project, …} {argentina, armenia, argentina, art, ...} {argentina->5M, armenia->2M, art->90M, ...} Tweets Predictions
16. Count ExpandPrefixes Top(3) Write Read ExtractTags Tweets Predictions Pipeline p = Pipeline.create(new PipelineOptions()); p.begin() p.run(); .apply(ParDo.of(new ExtractTags())) .apply(Top.largestPerKey(3)) .apply(Count.perElement()) .apply(ParDo.of(new ExpandPrefixes()) .apply(TextIO.Write.to(“gs://…”)); .apply(TextIO.Read.from(“gs://…”)) class ExpandPrefixes … { public void processElement(ProcessContext c) { String word = c.element().getKey(); for (int i = 1; i <= word.length(); i++) { String prefix = word.substring(0, i); c.output(KV.of(prefix, c.element())); } } }
17. • 異なるRunnerを使い、同じコードをさまざまな方法で実行可能 • Direct Runner • ローカル環境でインメモリ実行できる • 開発やテストに最適 • Cloud Dataflow Service Runner • フルマネージドのDataflowサービス上で動作 • 複数のGCEインスタンス上で分散実行 • コミュニティによる実装 • Spark runner @ github.com/cloudera/spark-dataflow • Flink runner coming soon from dataArtisans Cloud Dataflow Runners
18. Cloud Dataflow Service
19. Google Cloud Dataflow 最適化 スケジューリング GCS GCS ユーザコードとSDK モニタリングUI パイプラインの流れ
20. 800 RPS 1,200 RPS 5,000 RPS 50 RPS ワーカーのスケーリング
21. 100 mins. 65 mins. 洗練されたタスク スケジューリング vs.
22. バッチ処理とストリーム処理
23. Google Cloud Pub/Subでストリームを読み書き ストリーム処理しよう！
24. • リージョン間冗長化 • 低レイテンシ（ms単位） • N:Mメッセージング • リードとライトのバッチ化 • カスタム ラベル • プッシュ & プル • 自動停止 Cloud Pub/Sub
25. Pipeline p = Pipeline.create(new PipelineOptions()); p.begin() .apply(TextIO.Read.from(“gs://…”)) .apply(ParDo.of(new ExtractTags())) .apply(Count.perElement()) .apply(ParDo.of(new ExpandPrefixes()) .apply(Top.largestPerKey(3)) .apply(TextIO.Write.to(“gs://…”)); p.run();
26. Pipeline p = Pipeline.create(new PipelineOptions()); p.begin() .apply(TextIO.Read.from(“gs://…”)) .apply(ParDo.of(new ExtractTags())) .apply(Count.perElement()) .apply(ParDo.of(new ExpandPrefixes()) .apply(Top.largestPerKey(3)) .apply(TextIO.Write.to(“gs://…”)); p.run();
27. Pipeline p = Pipeline.create(new PipelineOptions()); p.begin() .apply(PubsubIO.Read.topic(“input_topic”)) .apply(ParDo.of(new ExtractTags())) .apply(Count.perElement()) .apply(ParDo.of(new ExpandPrefixes()) .apply(Top.largestPerKey(3)) .apply(PubsubIO.Write.topic(“output_topic”)); p.run();
28. 時間 #ar*の ランク 試合開始 アルメニアが 勝った！ #argyle #armeniarocks 時間によるデータの変化 #argentinagoal ストリーム処理しよう！
29. Pipeline p = Pipeline.create(new PipelineOptions()); p.begin() .apply(PubsubIO.Read.topic(“input_topic”)) .apply(ParDo.of(new ExtractTags())) .apply(Count.perElement()) .apply(ParDo.of(new ExpandPrefixes()) .apply(Top.largestPerKey(3)) .apply(PubsubIO.Write.topic(“output_topic”)); p.run();
30. Pipeline p = Pipeline.create(new PipelineOptions()); p.begin() .apply(PubsubIO.Read.topic(“input_topic”)) .apply(ParDo.of(new ExtractTags())) .apply(Count.perElement()) .apply(ParDo.of(new ExpandPrefixes()) .apply(Top.largestPerKey(3)) .apply(PubsubIO.Write.topic(“output_topic”)); p.run();
31. Pipeline p = Pipeline.create(new PipelineOptions()); p.begin() .apply(PubsubIO.Read.topic(“input_topic”)) .apply(Window.into(SlidingWindows.of( Duration.standardMinutes(60))) .apply(ParDo.of(new ExtractTags())) .apply(Count.perElement()) .apply(ParDo.of(new ExpandPrefixes()) .apply(Top.largestPerKey(3)) .apply(PubsubIO.Write.topic(“output_topic”)); p.run();
32. Google Cloud Dataflow ストリーム処理の最適化 ストリーム処理の スケジューリング Pub/Sub Pub/Sub パイプラインの流れ
33. VMの中身は？ Javaハーネスプロセス ユーザーのJavaコード ストリーミングDataflowサービス プロセス 11:59 12:00 12:01 13:00 60分のスライディングウィンドウ シャッフル入力 シャッフル出力
34. 全体の連携
35. ❯ Google Cloud Platformの各種データソー スから入力 • GCS, Pub/Sub, BigQuery, Datastore ❯ カスタム記述により任意のデータソースから の並列入力 • 現在はバッチ処理のみ対応 ❯ GCS, BigQuery, Pub/Subへの出力 • 今後も追加予定 ❯ テキスト、JSON、XML、Avro等のフォーマッ トを利用可能 Your Source/Sink Here 入力と出力
36. • Dataflow SDKのPythonサポート • さらに強力な機能をDataflow SDKに追加 • Dataflowサービスを今後も改善 • さらにいろいろ！ 今後の展望
37. エンジニアの作業時間を節約
38. (provisioning) エンジニアの作業時間を節約
39. (fault-tolerance) エンジニアの作業時間を節約
40. (deployment issues) エンジニアの作業時間を節約
41. (improving utilization) エンジニアの作業時間を節約
42. (performance tuning) エンジニアの作業時間を節約
43. エンジニアの作業時間を節約
44. エンジニアの作業時間を節約
45. Thank You! cloud.google.com/dataflow
47. cloud.google.com/dataflow stackoverflow.com/questions/tagged/google-cloud-dataflow github.com/GoogleCloudPlatform/DataflowJavaSDK はじめよう