Si sta come sulle nuvole in un tubo i dati @ DevFest Urbino

Cloud Dataflow è un servizio disponibile sulla Google Cloud Platform che permette di trasformare e arricchire dati sia in modalità stream (real time) che in modalità batch. Il suo approccio serverless per la gestione e il provisioning delle risorse permette di avere a disposizione una potenza elaborativa virtualmente illimitata, pagando soltanto per quello che si utilizza. Ma quali sono le criticità da un punto di vista di uno sviluppatore? Vedremo insieme gioie e dolori di questo strumento potentissimo tramite esempi pratici di elaborazione dati in modalità stream.

Transcript

1. Si sta come sulle nuvole in un tubo i dati Gregorio Palamà @ DevFest Urbino
2. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
3. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Developer for passion
4. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Developer for passion …and work
5. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Developer for passion …and work Project manager @
6. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Developer for passion Project manager Community Manager @
7. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Developer for passion Project manager Community Manager @
8. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Developer for passion Project manager Community Manager @gregoriopalama
9. Si sta come sulle nuvole in un tubo i dati
10. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
11. Si sta come sulle nuvole in un tubo i
12. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
13. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino ETL
14. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino ETL Batch processing
15. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino ETL Batch processing Stream processing
16. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino ETL Batch processing Stream processing Analytics
17. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino ETL Batch processing Stream processing Analytics Composition
18. Si sta come in un tubo i dati
19. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
20. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Google Cloud Dataflow
21. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
22. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
23. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Stream and batch processing
24. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Stream and batch processing Fully managed service
25. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Stream and batch processing Fully managed service Serverless
26. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Stream and batch processing Fully managed service Serverless “Pay what you use”
27. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Unified Programming Model
28. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Unified Programming Model: Stream and Batch
29. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Unified Programming Model: Stream and Batch Open Sourced
30. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Unified Programming Model: Stream and Batch Open Sourced Java and Python
32. Si sta come sulle nuvole in un i dati
33. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
34. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
35. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino A set of data processing elements
36. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino A set of data processing elements connected in series
37. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino A set of data processing elements connected in series, where the output of one element is the input of the next one
38. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
39. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
40. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
41. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
42. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
43. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
44. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
45. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
46. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
47. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
48. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
49. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
50. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
51. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
52. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
53. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
54. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
55. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
56. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
57. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
58. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
59. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino I/O
60. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino I/O Transforms
61. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino I/O Transforms Windows
62. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino I/O Transforms Windows Triggers
63. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino I/O Transforms Windows Triggers PCollections
64. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino I/O Transforms Windows Triggers PCollections Coders
65. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
66. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
67. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Provide the processing logic
68. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Provide the processing logic “User code”
69. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Provide the processing logic “User code” Grouping, Flattening, Combining, Partitioning
70. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Provide the processing logic “User code” Grouping, Flattening, Combining, Partitioning ParDo
71. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
72. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Fixed time
73. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Fixed time Sliding time
74. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Fixed time Sliding time Per-session
75. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Fixed time Sliding time Per-session Calendar-based
76. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
77. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Event time
78. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Event time Processing time
79. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Event time Processing time Data-driven
80. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Event time Processing time Data-driven Composite
81. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
82. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino A potentially distributed, multi-element data set
83. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino A potentially distributed, multi-element data set A “pipeline” of data
84. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino A potentially distributed, multi-element data set A “pipeline” of data Immutable
85. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino A potentially distributed, multi-element data set A “pipeline” of data Immutable Bounded/Unbounded
86. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
87. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Encoding/decoding
88. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Encoding/decoding Default coders
89. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Encoding/decoding Default coders AvroCoder
90. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Encoding/decoding Default coders AvroCoder
91. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
92. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino
93. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Google Cloud Dataflow Data processing Serverless - fully managed
94. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Google Cloud Dataflow Runs on Compute Engine Test out your pipeline for costs!
95. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Apache Beam Unified Programming Model for multiple uses
96. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Transforms Transforms are idempotent
97. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Transforms Transforms are idempotent Data is the core
98. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Transforms Transforms are idempotent Data is the core Reusage
99. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Pipelines Assign display names
100. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino Pipelines Assign display names Dead letter pattern
101. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino https://cloud.google.com/dataflow/docs/ https://cloud.google.com/dataflow/pricing https://beam.apache.org/documentation/
102. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino http://bit.ly/2Owp152
103. gregoriopalama - si sta come sulle nuvole in un tubo i dati #devFestUrbino