El presente y futuro del computo cientifico con Python

Slide 1

Slide 1 text

El presente y futuro del computo Cientifico Tania Allard, PHD Quansight Labs Con python https:/ /bit.ly/scipy-latam

Slide 2

Slide 2 text

Co-directora en Quansight Labs Entusiasta del FOSS (Software libre y abierto) PSF Fellow y Parte de la Junta Directiva GDE - Google Developer Expert Machine Learning www.trallard.dev https:/ /twitter.com/ixek Pueden encontrarme en Acerca de mi

Slide 3

Slide 3 text

Mexico Magico @ixek. https:/ /bit.ly/scipy-latam

Slide 4

Slide 4 text

¿DE QUE VAMOS A HABLAR? 01 El ecosistema de cómputo científico INTRODUCCION 02 Los retos técnicos del ecosistema La comunidad 03 Los retos sociales del ecosistema @ixek. https:/ /bit.ly/scipy-latam 04 Sustentabilidad en el ecosistema

Slide 5

Slide 5 text

Todos los días interactuamos con código abierto… cuando usamos nuestros teléfonos inteligentes, al leer las noticias, revisar nuestras cuentas bancarias, al manejar nuestros vehículos. El codi go abierto y el computo cientifico estan en todos lados @ixek. https:/ /bit.ly/scipy-latam

Slide 6

Slide 6 text

Queremos ver mas FOSS en el mundo @ixek. https:/ /bit.ly/scipy-latam

Slide 7

Slide 7 text

Queremos ver Mejor FOSS en el mundo @ixek. https:/ /bit.ly/scipy-latam

Slide 8

Slide 8 text

Queremos ver Mejor computo cientifico en el mundo @ixek. https:/ /bit.ly/scipy-latam

Slide 9

Slide 9 text

Primer parte El presente del ecosistema @ixek. https:/ /bit.ly/scipy-latam

Slide 10

Slide 10 text

@ixek. https:/ /bit.ly/scipy-latam https:/ /octoverse.github.com/#top-languages-over-the-years

Slide 11

Slide 11 text

Usos de python - 2020 https:/ /www.jetbrains.com/lp/python-developers-survey-2020/ @ixek. https:/ /bit.ly/scipy-latam

Slide 12

Slide 12 text

@ixek. https:/ /bit.ly/scipy-latam

Slide 13

Slide 13 text

@ixek. https:/ /bit.ly/scipy-latam https:/ /www.nature.com/articles/s41586-020-2649-2

Slide 14

Slide 14 text

Las librerias mas usadas - ML https:/ /www.jetbrains.com/lp/python-developers-survey-2020/ @ixek. https:/ /bit.ly/scipy-latam

Slide 15

Slide 15 text

Que herramientas usamos https:/ /www.kaggle.com/kaggle-survey-2021 @ixek. https:/ /bit.ly/scipy-latam

Slide 16

Slide 16 text

posicionamiento #1 para aplicaciones de cómputo científico, Ciencia de datos, ML y AI El status del ecosistema: pydata Usuarios Base de usuarios estimada en 25-40 millones Ecosistema Un ecosistema sumamente vasto y con proyectos de alta visibilidad @ixek. https:/ /bit.ly/scipy-latam Black Hole M87 (Image Credits: Event Horizon Telescope Collaboration)

Slide 17

Slide 17 text

Posicionando a latam - codigo libre https:/ /octoverse.github.com/#geographical-distribution-of-active-users @ixek. https:/ /bit.ly/scipy-latam

Slide 18

Slide 18 text

https:/ /octoverse.github.com/ Posicionando a latam - codigo libre (2020)

Slide 19

Slide 19 text

Posicionando a latam - Machine Learning https:/ /www.kaggle.com/kaggle-survey-2021 @ixek. https:/ /bit.ly/scipy-latam

Slide 20

Slide 20 text

Segunda parte Los retos tecnicos del ecosistema @ixek. https:/ /bit.ly/scipy-latam

Slide 21

Slide 21 text

Desde la perspectiva tecnica 1. Empaquetamiento - PyPi, conda, mamba, GPU … 2. Deuda técnica - aún hay un montón de Fortran 77 en el mundo, fin de la vida útil de librerías como distutils 3. Falta de paralelismo nativo en el ecosistema 4. Alto nivel de fragmentación en muchos niveles 5. Necesitamos un Python más rápido @ixek. https:/ /bit.ly/pycon-chile-foss

Slide 22

Slide 22 text

Empaquetamiento @ixek. https:/ /bit.ly/scipy-latam https:/ /imgs.xkcd.com/comics/python_environment.png

Slide 23

Slide 23 text

Empaquetamiento @ixek. https:/ /bit.ly/scipy-latam https:/ /imgs.xkcd.com/comics/python_environment.png https:/ /labs.quansight.org/blog/2021/01/python-packaging-brainstorm/ https:/ /discuss.python.org/t/what-to-do-about-gpus-and-the-built-distributions-that-support-them/7125/27 How to make package managers cry video https:/ /www.youtube.com/watch?v=NSemlYagjIU

Slide 24

Slide 24 text

Mas alla de pipy @ixek. https:/ /bit.ly/scipy-latam https:/ /developer.ibm.com/blogs/use-python-for-scientific-research/ 1. Solo provee soporte para librerías nativas de Python 2. Depende mayormente del autor (no hay garantías en cuanto a reproducibilidad o robustez) 3. El usuario hace instalaciones directamente de la fuente

Slide 25

Slide 25 text

Deuda tecnica @ixek. https:/ /bit.ly/scipy-latam No somos los únicos … 218 paquetes de R usan Fortran 77

Slide 26

Slide 26 text

Performance o por que necesitamos un python mas rapido @ixek. https:/ /bit.ly/scipy-latam 1. NumPy y Scipy dependen de librerías como LAPACK (linear algebra package) y BLAS (Basic Linear Algebra Subprogram) 📦 2. Contraposición entre simplicidad y robustez contra desempeño al usar hilos (threads) 🧵⚡

Slide 27

Slide 27 text

Performance o por que necesitamos un python mas rapido @ixek. https:/ /bit.ly/scipy-latam 3. El GIL (Global lock interpreter) en CPython que limita la ejecución a un solo hilo 🧵 4.Python delega concurrencia al sistema operativo 💻 5. Se necesita una capa uniforme para facilitar el soporte nativo de multihilos

Slide 28

Slide 28 text

En donde queda python ahora @ixek. https:/ /bit.ly/scipy-latam https:/ /developer.ibm.com/blogs/use-python-for-scientific-research/

Slide 29

Slide 29 text

Tercera parte Los retos sociales del ecosistema @ixek. https:/ /bit.ly/scipy-latam

Slide 30

Slide 30 text

Una unidad social de personas que comparten una vision y mision Que rayos es comunidad @ixek. https:/ /bit.ly/scipy-latam

Slide 31

Slide 31 text

Los proyectos de código abierto son similares a un grupo de ciudadanos que de juntan y deciden crear caminos, puentes y carreteras “ Nadia Eghbal @ixek. https:/ /bit.ly/scipy-latam

Slide 32

Slide 32 text

Los proyectos de código abierto son similares a un grupo de ciudadanos que de juntan y deciden crear caminos, puentes y carreteras “ Nadia Eghbal Para conectar comunidades que antes se encontraban aisladas @ixek. https:/ /bit.ly/scipy-latam

Slide 33

Slide 33 text

Nuestros retos @ixek. https:/ /bit.ly/scipy-latam 1. Es muy difícil encontrar fondos a largo plazo para mantenimiento 2. Burnout por parte del equipo base de proyectos 3. Falta de diversidad y representación

Slide 34

Slide 34 text

Porque antes muchos de los que se benefician del código abierto no tenían ni idea de cuan precaria es la situación en realidad Abriendo los ojos Un parteaguas https:/ /www.fordfoundation.org/work/learning/research-reports/roads-and-bridges-the-unseen- labor-behind-our-digital-infrastructure/ @ixek

Slide 35

Slide 35 text

Fondeo y metodos indirectos 1. Liberapay 2. Open collective 3. GitHub Sponsors 4. Linux Foundation Community Bridge @ixek. https:/ /bit.ly/scipy-latam

Slide 36

Slide 36 text

Depender de labor no remunerada es extremadamente excluyente Sobre todo en el Sur Global (inc. LatAm) @ixek. https:/ /bit.ly/scipy-latam

Slide 37

Slide 37 text

Diversidad de representacion Y diversidad de pensamiento Para reflejar cómo es la comunidad @ixek. https:/ /bit.ly/scipy-latam

Slide 38

Slide 38 text

La falta de representacion puede exacerbar injusticias y sistemas de opresion @ixek. https:/ /bit.ly/scipy-latam

Slide 39

Slide 39 text

Factores que contribuyen a la participacion https:/ /octoverse.github.com/sustainable-communities/#mentorship-at-work-and-open-source @ixek. https:/ /bit.ly/scipy-latam

Slide 40

Slide 40 text

Incremento de tension entre comunidad y organizaciones de lucro Un concepto popular en America Latina @ixek. https:/ /bit.ly/scipy-latam

Slide 41

Slide 41 text

Tercera parte Sustentabilidad presente y futuro @ixek. https:/ /bit.ly/scipy-latam

Slide 42

Slide 42 text

Fundamentos de sustentabilidad 01 Talento, dinero, y tesoro - Tiffany Farriss @farriss contribuir 02 Herramientas, procesos, gente y geografía Diversidad humana y del entorno 03 A nivel comunitario Seguridad @ixek. https:/ /bit.ly/scipy-latam

Slide 43

Slide 43 text

Factores que contribuyen a la participacion https:/ /octoverse.github.com/sustainable-communities/#mentorship-at-work-and-open-source @ixek. https:/ /bit.ly/scipy-latam

Slide 44

Slide 44 text

Contribuyendo las tres T’s 01 💪 Talento 02 ⏳ Tiempo 03 💸 Tiempo @ixek. https:/ /bit.ly/scipy-latam

Slide 45

Slide 45 text

El acceso (abierto) no solo se trata de leer, sino de tener una voz para establecer la dirección, y los modelos económicos y estructurales “ Juan Pablo Alperín @ixek. https:/ /bit.ly/scipy-latam

Slide 46

Slide 46 text

La cooperativa Un concepto popular en America Latina @ixek. https:/ /bit.ly/scipy-latam

Slide 47

Slide 47 text

La cooperativa es una empresa de participación social libre y democrática donde la participación de cada socio es determinado por el trabajo incorporado al bien común “ Participación == shares o dividendos @ixek. https:/ /bit.ly/scipy-latam

Slide 48

Slide 48 text

Una cooperativa moderna 💪 ⏳ 💸 Collaborative work orders Ambos + Labs Maintainers Industria @ixek. https:/ /bit.ly/scipy-latam

Slide 49

Slide 49 text

Una cooperativa moderna 💪 ⏳ 💸 Collaborative work orders @ixek. https:/ /bit.ly/scipy-latam

Slide 50

Slide 50 text

Como participar hoy @ixek. https:/ /bit.ly/scipy-latam 1. Cualquiera de las tres 💪 ⌛ 💸 2. Repensar mecanismos de sustentabilidad en términos locales, regionales y globales

Slide 51

Slide 51 text

Gracias trallard.dev @ixek. https:/ /bit.ly/scipy-latam