El presente y futuro del computo cientifico con Python

Transcript

1. El presente y futuro del computo Cientifico Tania Allard, PHD Quansight Labs Con python https:/ /bit.ly/scipy-latam
2. Co-directora en Quansight Labs Entusiasta del FOSS (Software libre y abierto) PSF Fellow y Parte de la Junta Directiva GDE - Google Developer Expert Machine Learning www.trallard.dev https:/ /twitter.com/ixek Pueden encontrarme en Acerca de mi
3. Mexico Magico @ixek. https:/ /bit.ly/scipy-latam
4. ¿DE QUE VAMOS A HABLAR? 01 El ecosistema de cómputo científico INTRODUCCION 02 Los retos técnicos del ecosistema La comunidad 03 Los retos sociales del ecosistema @ixek. https:/ /bit.ly/scipy-latam 04 Sustentabilidad en el ecosistema
5. Todos los días interactuamos con código abierto… cuando usamos nuestros teléfonos inteligentes, al leer las noticias, revisar nuestras cuentas bancarias, al manejar nuestros vehículos. El codi go abierto y el computo cientifico estan en todos lados @ixek. https:/ /bit.ly/scipy-latam
6. Queremos ver mas FOSS en el mundo @ixek. https:/ /bit.ly/scipy-latam
7. Queremos ver Mejor FOSS en el mundo @ixek. https:/ /bit.ly/scipy-latam
8. Queremos ver Mejor computo cientifico en el mundo @ixek. https:/ /bit.ly/scipy-latam
9. Primer parte El presente del ecosistema @ixek. https:/ /bit.ly/scipy-latam
10. @ixek. https:/ /bit.ly/scipy-latam https:/ /octoverse.github.com/#top-languages-over-the-years
11. Usos de python - 2020 https:/ /www.jetbrains.com/lp/python-developers-survey-2020/ @ixek. https:/ /bit.ly/scipy-latam
12. @ixek. https:/ /bit.ly/scipy-latam
13. @ixek. https:/ /bit.ly/scipy-latam https:/ /www.nature.com/articles/s41586-020-2649-2
14. Las librerias mas usadas - ML https:/ /www.jetbrains.com/lp/python-developers-survey-2020/ @ixek. https:/ /bit.ly/scipy-latam
15. Que herramientas usamos https:/ /www.kaggle.com/kaggle-survey-2021 @ixek. https:/ /bit.ly/scipy-latam
16. posicionamiento #1 para aplicaciones de cómputo científico, Ciencia de datos, ML y AI El status del ecosistema: pydata Usuarios Base de usuarios estimada en 25-40 millones Ecosistema Un ecosistema sumamente vasto y con proyectos de alta visibilidad @ixek. https:/ /bit.ly/scipy-latam Black Hole M87 (Image Credits: Event Horizon Telescope Collaboration)
17. Posicionando a latam - codigo libre https:/ /octoverse.github.com/#geographical-distribution-of-active-users @ixek. https:/ /bit.ly/scipy-latam
18. https:/ /octoverse.github.com/ Posicionando a latam - codigo libre (2020)
19. Posicionando a latam - Machine Learning https:/ /www.kaggle.com/kaggle-survey-2021 @ixek. https:/ /bit.ly/scipy-latam
20. Segunda parte Los retos tecnicos del ecosistema @ixek. https:/ /bit.ly/scipy-latam
21. Desde la perspectiva tecnica 1. Empaquetamiento - PyPi, conda, mamba, GPU … 2. Deuda técnica - aún hay un montón de Fortran 77 en el mundo, fin de la vida útil de librerías como distutils 3. Falta de paralelismo nativo en el ecosistema 4. Alto nivel de fragmentación en muchos niveles 5. Necesitamos un Python más rápido @ixek. https:/ /bit.ly/pycon-chile-foss
22. Empaquetamiento @ixek. https:/ /bit.ly/scipy-latam https:/ /imgs.xkcd.com/comics/python_environment.png
23. Empaquetamiento @ixek. https:/ /bit.ly/scipy-latam https:/ /imgs.xkcd.com/comics/python_environment.png https:/ /labs.quansight.org/blog/2021/01/python-packaging-brainstorm/ https:/ /discuss.python.org/t/what-to-do-about-gpus-and-the-built-distributions-that-support-them/7125/27 How to make package managers cry video https:/ /www.youtube.com/watch?v=NSemlYagjIU
24. Mas alla de pipy @ixek. https:/ /bit.ly/scipy-latam https:/ /developer.ibm.com/blogs/use-python-for-scientific-research/ 1. Solo provee soporte para librerías nativas de Python 2. Depende mayormente del autor (no hay garantías en cuanto a reproducibilidad o robustez) 3. El usuario hace instalaciones directamente de la fuente
25. Deuda tecnica @ixek. https:/ /bit.ly/scipy-latam No somos los únicos … 218 paquetes de R usan Fortran 77
26. Performance o por que necesitamos un python mas rapido @ixek. https:/ /bit.ly/scipy-latam 1. NumPy y Scipy dependen de librerías como LAPACK (linear algebra package) y BLAS (Basic Linear Algebra Subprogram) 📦 2. Contraposición entre simplicidad y robustez contra desempeño al usar hilos (threads) 🧵⚡
27. Performance o por que necesitamos un python mas rapido @ixek. https:/ /bit.ly/scipy-latam 3. El GIL (Global lock interpreter) en CPython que limita la ejecución a un solo hilo 🧵 4.Python delega concurrencia al sistema operativo 💻 5. Se necesita una capa uniforme para facilitar el soporte nativo de multihilos
28. En donde queda python ahora @ixek. https:/ /bit.ly/scipy-latam https:/ /developer.ibm.com/blogs/use-python-for-scientific-research/
29. Tercera parte Los retos sociales del ecosistema @ixek. https:/ /bit.ly/scipy-latam
30. Una unidad social de personas que comparten una vision y mision Que rayos es comunidad @ixek. https:/ /bit.ly/scipy-latam
31. Los proyectos de código abierto son similares a un grupo de ciudadanos que de juntan y deciden crear caminos, puentes y carreteras “ Nadia Eghbal @ixek. https:/ /bit.ly/scipy-latam
32. Los proyectos de código abierto son similares a un grupo de ciudadanos que de juntan y deciden crear caminos, puentes y carreteras “ Nadia Eghbal Para conectar comunidades que antes se encontraban aisladas @ixek. https:/ /bit.ly/scipy-latam
33. Nuestros retos @ixek. https:/ /bit.ly/scipy-latam 1. Es muy difícil encontrar fondos a largo plazo para mantenimiento 2. Burnout por parte del equipo base de proyectos 3. Falta de diversidad y representación
34. Porque antes muchos de los que se benefician del código abierto no tenían ni idea de cuan precaria es la situación en realidad Abriendo los ojos Un parteaguas https:/ /www.fordfoundation.org/work/learning/research-reports/roads-and-bridges-the-unseen- labor-behind-our-digital-infrastructure/ @ixek
35. Fondeo y metodos indirectos 1. Liberapay 2. Open collective 3. GitHub Sponsors 4. Linux Foundation Community Bridge @ixek. https:/ /bit.ly/scipy-latam
36. Depender de labor no remunerada es extremadamente excluyente Sobre todo en el Sur Global (inc. LatAm) @ixek. https:/ /bit.ly/scipy-latam
37. Diversidad de representacion Y diversidad de pensamiento Para reflejar cómo es la comunidad @ixek. https:/ /bit.ly/scipy-latam
38. La falta de representacion puede exacerbar injusticias y sistemas de opresion @ixek. https:/ /bit.ly/scipy-latam
39. Factores que contribuyen a la participacion https:/ /octoverse.github.com/sustainable-communities/#mentorship-at-work-and-open-source @ixek. https:/ /bit.ly/scipy-latam
40. Incremento de tension entre comunidad y organizaciones de lucro Un concepto popular en America Latina @ixek. https:/ /bit.ly/scipy-latam
41. Tercera parte Sustentabilidad presente y futuro @ixek. https:/ /bit.ly/scipy-latam
42. Fundamentos de sustentabilidad 01 Talento, dinero, y tesoro - Tiffany Farriss @farriss contribuir 02 Herramientas, procesos, gente y geografía Diversidad humana y del entorno 03 A nivel comunitario Seguridad @ixek. https:/ /bit.ly/scipy-latam
43. Factores que contribuyen a la participacion https:/ /octoverse.github.com/sustainable-communities/#mentorship-at-work-and-open-source @ixek. https:/ /bit.ly/scipy-latam
44. Contribuyendo las tres T’s 01 💪 Talento 02 ⏳ Tiempo 03 💸 Tiempo @ixek. https:/ /bit.ly/scipy-latam
45. El acceso (abierto) no solo se trata de leer, sino de tener una voz para establecer la dirección, y los modelos económicos y estructurales “ Juan Pablo Alperín @ixek. https:/ /bit.ly/scipy-latam
46. La cooperativa Un concepto popular en America Latina @ixek. https:/ /bit.ly/scipy-latam
47. La cooperativa es una empresa de participación social libre y democrática donde la participación de cada socio es determinado por el trabajo incorporado al bien común “ Participación == shares o dividendos @ixek. https:/ /bit.ly/scipy-latam
48. Una cooperativa moderna 💪 ⏳ 💸 Collaborative work orders Ambos + Labs Maintainers Industria @ixek. https:/ /bit.ly/scipy-latam
49. Una cooperativa moderna 💪 ⏳ 💸 Collaborative work orders @ixek. https:/ /bit.ly/scipy-latam
50. Como participar hoy @ixek. https:/ /bit.ly/scipy-latam 1. Cualquiera de las tres 💪 ⌛ 💸 2. Repensar mecanismos de sustentabilidad en términos locales, regionales y globales
51. Gracias trallard.dev @ixek. https:/ /bit.ly/scipy-latam