RubyConf BR 2018 - Um paralelo com Ruby

Paralelismo é um dos principais alicerces sobre os quais nos apoiamos quando pensamos em otimização de processamento, e é um dos principais pontos criticados no Ruby quanto a performance. Mas será que esse problema é tão grande quanto nos é apontado? Nesta talk apresento uma comparação entre os modelos de concorrência adotados pelo Erlang OTP - sobre o qual a linguagem Elixir está fundamentada - e a implementação de concorrência do Ruby, e como extrair máximo proveito das abordagens. Além disso, trago um preview das principais mudanças que ocorreram neste quesito com a chegada do ruby 3x3

Transcript

1. Um paralelo com Ruby
2. { “name”: “Gabriel Ferreira”, “github”: “@gleopoldo” }
4. Ruby está morto???
5. Paralelismo
6. 1968 92600 instruções por sec.
7. 1985 11 MIPS (x100)
8. 1999 2054 MIPS (x200)
9. 2003 9726 MIPS (x4)
10. 2014 238210 MIPS (x25)
11. 2014 238210 MIPS +8 Cores (x25)
12. https://br.comsol.com/blogs/next-generation-moores-law/ Lei de Moore
13. Performance = Multicore
14. https://br.comsol.com/blogs/havent-cpu-clock-speeds-increased-last-years/ Economia de recursos = Multicore
15. Viver na WEB = Multicore
16. AWESOME !!!
17. Mas… e o Ruby?
18. EXPECTATIVA
20. REALIDADE
22. sidekiq RABBITMQ
23. FORK!!!
32. … Começando com O DESAFIO
33. Um estalar de dedos...
34. E todos viraram pó...
35. Hora de salvar a galera!
37. 32 minutos depois...
38. Consumo médio: 300 MB Heróis faltando: 976 Total: 16376
40. 0 minutos depois...
41. Failed to open TCP connection to “marvel.wikia.com:80”
42. marvel.wikia.com:80
43. Lição número 1: Hardware é um fator limitante
44. Fixed Thread Pool
45. 16376 Threads Conexões disponíveis DOCKER marvel.wikia.com YARV Web Server ... Conexões TCP
46. 16376 Threads Conexões disponíveis DOCKER marvel.wikia.com YARV Web Server ... Thread Pool
47. #spawn ... Queue Repo Thread Pool #wait_for_termination
48. https://github.com/ruby-concurrency/concurrent-ruby
55. 4:39 minutos depois...
56. Consumo médio: 400 MB Heróis faltando: 976 Total: 16376
57. Lição número 2: Multithreading resolve bem problemas IO-Bound
58. Mais threads, mais performance!
59. Tempo de execução Mem. 32 minutos 300 MB 4 min 39 s 400 MB 4 min 34 s 450 MB 4 min 32 s 800 MB # Threads 1 10 25 100
61. Multithread
62. Lição número 3: Processamento concorrente consome mais memória
63. Paralelismo!
64. Arquitetura com vários processos
74. ... Process Queue Task.async/1 HTTP Server Pool HTTPoison Server
75. 4:57 minutos depois...
76. Consumo médio: 800MB Heróis faltando: 976 Total: 16376
77. Multiprocess
79. Ruby Concorrência
80. Lição número 4: Paralelismo não é uma bala de prata.
81. Então, para que Paralelismo?
82. IO-Bound vs CPU-Bound
83. https://github.com/mroth/phoenix-showdown
84. Não é tão rápido...
85. RUBY 3x3
86. ERLANG-LIKE RUBY
87. E como funciona o ERLANG ?
88. Green Thread vs OS Thread
89. BEAM ! the Erlang VM
90. O S BEAM CORE BEAM CORE BEAM CORE BEAM CORE
91. O S BEAM CORE BEAM CORE BEAM CORE BEAM CORE OTP process OTP OTP process OTP OTP process OTP OTP process OTP E R T S
92. O S BEAM CORE BEAM CORE BEAM CORE BEAM CORE E R T S “ECO” GREEN THREADS
93. O S BEAM CORE BEAM CORE BEAM CORE BEAM CORE E R T S OS PROCESSES
94. O S BEAM BEAM BEAM BEAM Green Thread Scheduler E R T S Green Thread Scheduler Green Thread Scheduler Green Thread Scheduler Process Scheduler
96. Isolamento de Memória por processo / green-thread
97. Imutabilidade Thread-safe / Concurrency-safe
98. Árvores de supervisão
99. Comunicação Inter-processo
100. Mas… e o Ruby?
101. GIL Global Interpreter Lock
102. GIL
103. Virtual Machine - YARV Thread A Thread B Thread A Thread B GIL
104. CRUBY ( 2.5.0)
105. JRUBY (9.2.0)
106. Rubinius (3.17.0)
107. OH Really?
108. Lição número 5: Memória compartilhada não combina com concorrẽncia
109. Lição número 6: Existe muita coisa que não é thread-safe
110. GUILD
111. O S GUILD CORE GUILD CORE GUILD CORE GUILD CORE
112. O S GUILD CORE GUILD CORE GUILD CORE GUILD CORE Ruby threads GLOBAL GUILD LOCK Ruby threads GLOBAL GUILD LOCK Ruby threads GLOBAL GUILD LOCK Ruby threads GLOBAL GUILD LOCK R U B Y V M
113. JIT Just-in-Time compiler
114. https://developers.redhat.com/blog/2018/03/22/ruby-3x3-performance-goal/
115. http://confreaks.tv/videos/rubyconf2017-llvm-based-jit-compiler-for-mri
116. https://github.com/mroth/phoenix-showdown
117. Lição número 7: Nem sempre você precisa de tanta performance
118. “Premature optimization is the root of all Evil” Donald Knuth
119. Mas… e o Ruby?
120. Ruby vai ser + divertido!!!!
121. Ruby vai ser + rápido!!!
122. Nós vamos ter que pensar + em paralelo!!!
123. That’s all! Obrigado!
124. Dúvidas? Gabriel Ferreira Github: @gleopoldo gabrielleopferreira@gmail.com https://www.linkedin.com/in/gabriel-leopoldo/