Pipelines em Go

Palestra para a Gophercon Brazil 2017
Nesta palestra apresentei alguns conceitos de pipelines, como esse padrão de concorrência possibilitou a utilização eficiente de IO e múltiplos CPUs, e por fim, como a sua utilização reduziu o tempo da exportação dos dados de dois sistemas legados, de 5 horas para apenas 5 minutos.

Transcript

1. Utilizando pipelines em Go Leandro Lugaresi Developer at Coderockr @leandrolugaresi
3. Pipelines
4. s1 s2 s3 s4
5. s1 s2 s3 s4 10 ms
6. s1 s2 s3 s4 10 ms 100 ms
7. s1 s2 s3 s4 10 ms 100 ms 200 ms
8. s1 s2 s3 s4 10 ms 100 ms 200 ms 100 ms
9. s1 s2 s3 s4 10 ms 100 ms 200 ms 100 ms T = n ⨉ (s¹ + sⁿ)
10. It’s just 1M entries. It’s gonna be fine 1000000 ⨉ 410 = 410M ms ~ 113 hours
11. Pipelines + Concurrency
12. s1 s2 s3 s4 10 ms 100 ms 200 ms 100 ms n¹
13. s1 s2 s3 s4 10 ms 100 ms 200 ms 100 ms n² n¹
14. s1 s2 s3 s4 10 ms 100 ms 200 ms 100 ms n² n¹ nⁿ
15. s1 s2 s3 s4 10 ms 100 ms 200 ms 100 ms n² n¹ nⁿ T = m⨉P + (n-1) ⨉ P P = max(s¹,sⁿ), m = nº stages
16. s1 s2 s3 s4 10 ms 100 ms 200 ms 100 ms n² n¹ nⁿ T = 4⨉200 + (1000000-1) ⨉ 200 ~ 55 hours
17. Latency vs Throughput
18. Can we do better?
19. s1 s3 s4 10 ms 100 ms 200 ms 20 ms s2 P P P P P P P P P P P P
20. s1 P s3 s4 10 ms 100 ms 200 ms 20 ms P P P P P s2 P P P P P P T = n ⨉ max(s¹,sⁿ) ~ 7 hours
21. Suspicious! Show me the code...
23. “interface{} says nothing.“ Rob Pike
27. ~100 LOC
28. “Don't communicate by sharing memory, share memory by communicating.“ Rob Pike
29. Use case
30. • Rob Pike. Go Proverbs - Gopherfest - November 2015 • Sameer Ajmani. - Go concurrency patterns: Pipelines and cancellations - 2014 • Chris Terman. - MIT 6.004 L08: Pipelining - 2013. References