Elasticidad: Grial de la Nube

Presentación para el 9no foro de cloud computing Uniandes

Transcript

1. Elasticidad: Grial de la Nube
3. Capacidad de escalar
6. ¿más es más?
7. ¿Y el menos?
8. Elasticidad
11. Elasticidad es un medio para alcanzar un fin: desempeño y/o capacidad
12. La promesa.
13. Tenemos elasticidad ilimitada. Paga por lo que consume.
14. El problema.
15. Tipo de aplicaciones Sin estado. Con estado.
16. Sin estado.
17. Funciones puras
18. < ¡Estado! Func. no tan puras
19. Con estado.
20. < ¡Estado!
21. < ¡Estado!
22. Cache de datos
24. El problema. Escalar apps sin estado.
26. TRIVIAL.
28. “Rather than making your computation go faster, the systems introduce substantial overheads which can require large compute clusters just to bring under control.”
29. >
30. El problema. Escalar apps con estado.
33. Balanceador
34. Balanceador 1 + 1 2 0 0
35. Balanceador 1era vez: Ok! 2 0 0
36. Balanceador 1era vez: Ok! 2da vez: 2 0 0
37. Balanceador 1era vez: Ok! 2da vez: Ñaaaaaa!!! 2 0 0
38. Balanceador
39. Nuestro camino a la “solución”.
40. Intuición: replicar el estado para que todas las instancias sepan.
45. Alternativa #2 (Toca invocar poderes)
48. FLP impossibility result
49. Consistencia ¡MAX! < Disponibilidad ¡MAX! >
50. Consistencia ¡MAX! < Disponibilidad ¡MAX! >
51. Consistencia ¡MAX! < Disponibilidad ¡MAX! > ¡MAX!
52. Particionar (A - H) (I - N) (O - T)
53. Particionar (A - H) (I - N) (O - T)
54. Particionar (A - H) (I - N) (O - T) (A - H) (I - N) (O - T) Replicas
55. Quórum Líder Réplica #1 Réplica #2
56. Quórum Líder Réplica #1 Réplica #2
57. Cuando el nodo caído se recupera ¿qué?
58. Quórum Líder Réplica #1 Réplica #2
59. Quórum Murió :( Líder Réplica #2
60. Quórum ¡Vivo! Líder Réplica #2
61. ¿...?
63. ¿Cómo hacer convergencia de estado?
64. ¿Cómo hacer convergencia de estado si no podemos confiar en el tiempo?
70. Desde un punto de vista matemático, los CRDT no son más que “monotonic semilattice data types”
71. Estructuras de datos Asociativas Conmutativas Que conserva un “órden parcial” dado
72. Convergencia determinista.
74. |+| |+|
75. |+| |+| Estado convergente correcto
76. Conclusiones.
77. Elasticidad por encima de escalabilidad.
78. La elasticidad en aplicaciones con estado no tiene solución óptima.
79. Hacer pruebas de este tipo de sistemas es muy difícil.
80. No le crean al que les diga que puede romper las reglas de la física.
81. Vamos a dejar nuestra implementación de CRDT como OSS.
82. • Weinstock, Charles., & Goodenough, John. (2006). On System Scalability (CMU/SEI-2006-TN-012). Retrieved June 16, 2015, from the Software Engineering Institute, Carnegie Mellon University website: http://resources.sei.cmu.edu/library/asset-view.cfm?AssetID=7887 • Frank McSherry and Michael Isard and Derek G. Murray (2015). Scalability! But at what COST? (15th Workshop on Hot Topics in Operating Systems (HotOS XV)). Retrieved May 2015, from USENIX Association, website: https://www.usenix. org/conference/hotos15/workshop-program/presentation/mcsherry • Barbacci, Mario., Klein, Mark., Longstaff, Thomas., & Weinstock, Charles. (1995). Quality Attributes (CMU/SEI-95-TR-021 ). Retrieved June 16, 2015, from the Software Engineering Institute, Carnegie Mellon University website: http://resources.sei.cmu.edu/library/asset- view.cfm?AssetID=12433 • Michael J. Fischer and Nancy A. Lynch and Michael S. Paterson (1985). Impossibility of Distributed Consensus with One Faulty Process. Website: http://citeseerx.ist.psu.edu/viewdoc/summary;jsessionid=887BDE7DB319FED186AD8F8194653A8F?doi=10.1.1.13.6760 • Seth Gilbert and Nancy Lynch. 2002. Brewer's conjecture and the feasibility of consistent, available, partition-tolerant web services. SIGACT News 33, 2 (June 2002), 51-59. website http://doi.acm.org/10.1145/564585.564601 • Michael J. Fischer, Nancy A. Lynch, and Michael S. Paterson. 1985. Impossibility of distributed consensus with one faulty process. J. ACM 32, 2 (April 1985), 374-382. DOI=10.1145/3149.214121 http://doi.acm.org/10.1145/3149.214121 • Shapiro, Marc; Preguiça, Nuno; Baquero, Carlos; Zawirski, Marek (2011), Conflict-Free Replicated Data Types, Lecture Notes in Computer Science 6976 (Proc 13th International Symposium, SSS 2011), Grenoble, France: Springer Berlin Heidelberg, pp. 386–400, doi:10.1007/978-3-642-24550-3_29, ISBN 978-3-642-24549-7 • Letia, Mihai; Preguiça, Nuno; Shapiro, Marc (1 April 2010). "Consistency without Concurrency Control in Large, Dynamic Systems". SIGOPS Oper. Syst. Rev. (ACM): 29–34. doi:10.1145/1773912.1773921. • Letia, Mihai; Preguiça, Nuno; Shapiro, Marc (2009). "CRDTs: Consistency without Concurrency Control". Computing Research Repository (CoRR). abs/0907.0929. • Shapiro, Marc; Preguiça, Nuno; Baquero, Carlos; Zawirski, Marek (13 January 2011). "A Comprehensive Study of Convergent and Commutative Replicated Data Types". RR-7506 (HAL - Inria).
83. @ykiriki