Cloud Dataflow

Transcript

1. Cloud Dataflow by Google Cloud Platform
2. contents • Dataflowとは • Dataflow機能概要 • デモ • まとめ • Code Tips
3. Dataflow とは Cloud Dataflow Cloud Dataflow • Dataflowとは ストリーム処理とバッチ処理をフルマネー ジドしてくれるサービス • GCPを利用することでサーバなどの運用を気にせず データ処理を簡単に実装できる • リソース周りもオートスケールで管理してくれるのでリ ソース管理も不要となる • Java, Python, Goなどの言語で開発可能 (Apache Beam SDK)
4. Dataflow 構成概要 BigQuery Bigtable Datastore Cloud PubSub Cloud Storage Dataflow
5. What can dataflow do • Pipeline • Transform • Window ＆ Trigger • PipelineIO • Groupby ＆ Combine
6. Pipeline • 各種入力チェックや処理の流れを Pipelineとして自由に組み立てられます • Pipelineを利用して処理の分岐や結合する ことも可能です
7. Transform • 入力は ファイルであれば1行、DBであれば１レコードづつが Transformのinputとし 各種データ変換処理を行うブロックです • Transformの処理は並列処理されます (ParDo)
8. PipelineIO • データの流入元と出力先 (始点と終点)のライブラリ群 • ベーシックなものとしては FileIOなどだが、GCP関連はほぼIOライブラリが揃っている
9. Window and Trigger • Windowを設定することで永続的な Stream処理とすることができます • Windowには以下のような種類がある • Fixed Time Windows • Sliding Time Windows • Per-Session Windows • Single Global Window • Calendar Based Windows
10. Window and Trigger • Triggerは各種Windows内の処理を放出するタイミングを設定する • Triggerには以下のような種類がある • Event Time Triggers • Processing Time Triggers • Data-driven Triggers • Composite Triggers
11. GroupBy and Combine • 並列処理されているものをまとめる処理 (flattenなどもある) • 以下GroupByの例。分散処理していたものをシーケンシャル処理する際に設定する
12. 詳しくはコチラ https://beam.apache.org/documentation/programming-guide/
13. デモ
14. まとめ • ストリーム処理などに手を出そうと考えている人にはよいきっかけになると思う • 構成の自由度が高いので様々なデータをまとめたり中間処理を枝分かれさせたりと GCP の各機能を連携するハブとして有効な機能と思われます • 若干、遅くない？、高くない？といった部分が気になりますが、サーバーレス、 GCPとの相 性など使われる場は増えてゆきそうです
15. Thanks！