El presente y futuro del computo cientifico con Python

Transcript

1. El presente y futuro del computo
   
   Cientifico
   Tania Allard, PHD
   Quansight Labs
   Con python
   https:/
   /bit.ly/scipy-latam
   

   View Slide

2. Co-directora en Quansight Labs
   Entusiasta del FOSS (Software libre y abierto)
   PSF Fellow y Parte de la Junta Directiva
   GDE - Google Developer Expert Machine
   Learning
   www.trallard.dev
   https:/
   /twitter.com/ixek
   Pueden encontrarme en
   Acerca de mi
   

   View Slide

3. Mexico Magico
   @ixek. https:/
   /bit.ly/scipy-latam
   

   View Slide

4. ¿DE QUE VAMOS A HABLAR?
   01
   El ecosistema de
   cómputo científico
   INTRODUCCION
   02
   Los retos técnicos del
   ecosistema
   La comunidad
   03
   Los retos sociales del
   ecosistema
   @ixek. https:/
   /bit.ly/scipy-latam
   04
   Sustentabilidad en el
   ecosistema
   

   View Slide

5. Todos los días interactuamos con código
   abierto… cuando usamos nuestros
   teléfonos inteligentes, al leer las noticias,
   revisar nuestras cuentas bancarias, al
   manejar nuestros vehículos.
   El codi
   go
   abierto y el
   computo cientifico
   estan en todos lados
   @ixek. https:/
   /bit.ly/scipy-latam
   

   View Slide

6. Queremos ver
   mas FOSS en el
   mundo
   @ixek. https:/
   /bit.ly/scipy-latam
   

   View Slide

7. Queremos ver
   Mejor FOSS en el
   mundo
   @ixek. https:/
   /bit.ly/scipy-latam
   

   View Slide

8. Queremos ver
   Mejor computo
   cientifico en el
   mundo
   @ixek. https:/
   /bit.ly/scipy-latam
   

   View Slide

9. Primer parte
   
   El presente del ecosistema
   @ixek. https:/
   /bit.ly/scipy-latam
   

   View Slide

10. @ixek. https:/
    /bit.ly/scipy-latam https:/
    /octoverse.github.com/#top-languages-over-the-years
    

    View Slide

11. Usos de python - 2020
    https:/
    /www.jetbrains.com/lp/python-developers-survey-2020/
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

12. @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

13. @ixek. https:/
    /bit.ly/scipy-latam https:/
    /www.nature.com/articles/s41586-020-2649-2
    

    View Slide

14. Las librerias mas usadas - ML
    https:/
    /www.jetbrains.com/lp/python-developers-survey-2020/
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

15. Que herramientas usamos
    https:/
    /www.kaggle.com/kaggle-survey-2021
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

16. posicionamiento
    #1 para aplicaciones de cómputo científico,
    Ciencia de datos, ML y AI
    El status del ecosistema: pydata
    Usuarios
    Base de usuarios estimada en 25-40 millones
    Ecosistema
    Un ecosistema sumamente vasto y con
    proyectos de alta visibilidad
    @ixek. https:/
    /bit.ly/scipy-latam
    Black Hole M87 (Image Credits: Event Horizon
    Telescope Collaboration)
    

    View Slide

17. Posicionando a latam - codigo libre
    https:/
    /octoverse.github.com/#geographical-distribution-of-active-users
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

18. https:/
    /octoverse.github.com/
    Posicionando a latam - codigo libre (2020)
    

    View Slide

19. Posicionando a latam - Machine
    Learning
    https:/
    /www.kaggle.com/kaggle-survey-2021
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

20. Segunda parte
    
    Los retos tecnicos del ecosistema
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

21. Desde la perspectiva tecnica
    1. Empaquetamiento - PyPi, conda, mamba, GPU …
    2. Deuda técnica - aún hay un montón de Fortran 77 en el mundo,
    fin de la vida útil de librerías como distutils
    3. Falta de paralelismo nativo en el ecosistema
    4. Alto nivel de fragmentación en muchos niveles
    5. Necesitamos un Python más rápido
    @ixek. https:/
    /bit.ly/pycon-chile-foss
    

    View Slide

22. Empaquetamiento
    @ixek. https:/
    /bit.ly/scipy-latam
    https:/
    /imgs.xkcd.com/comics/python_environment.png
    

    View Slide

23. Empaquetamiento
    @ixek. https:/
    /bit.ly/scipy-latam
    https:/
    /imgs.xkcd.com/comics/python_environment.png
    https:/
    /labs.quansight.org/blog/2021/01/python-packaging-brainstorm/
    https:/
    /discuss.python.org/t/what-to-do-about-gpus-and-the-built-distributions-that-support-them/7125/27
    How to make package managers cry video
    https:/
    /www.youtube.com/watch?v=NSemlYagjIU
    

    View Slide

24. Mas alla de pipy
    @ixek. https:/
    /bit.ly/scipy-latam https:/
    /developer.ibm.com/blogs/use-python-for-scientific-research/
    1. Solo provee soporte para librerías nativas de Python
    2. Depende mayormente del autor (no hay garantías en cuanto a
    reproducibilidad o robustez)
    3. El usuario hace instalaciones directamente de la fuente
    

    View Slide

25. Deuda tecnica
    @ixek. https:/
    /bit.ly/scipy-latam
    No somos los únicos … 218 paquetes de R usan
    Fortran 77
    

    View Slide

26. Performance o por que necesitamos un
    python mas rapido
    @ixek. https:/
    /bit.ly/scipy-latam
    1. NumPy y Scipy dependen de librerías como LAPACK (linear
    algebra package) y BLAS (Basic Linear Algebra Subprogram) 📦
    2. Contraposición entre simplicidad y robustez contra desempeño
    al usar hilos (threads) 🧵⚡
    

    View Slide

27. Performance o por que necesitamos un
    python mas rapido
    @ixek. https:/
    /bit.ly/scipy-latam
    3. El GIL (Global lock interpreter) en CPython que limita la
    ejecución a un solo hilo 🧵
    4.Python delega concurrencia al sistema operativo 💻
    5. Se necesita una capa uniforme para facilitar el soporte nativo
    de multihilos
    

    View Slide

28. En donde queda python ahora
    @ixek. https:/
    /bit.ly/scipy-latam https:/
    /developer.ibm.com/blogs/use-python-for-scientific-research/
    

    View Slide

29. Tercera parte
    
    Los retos sociales del ecosistema
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

30. Una unidad social de
    personas que
    comparten una vision y
    mision
    Que rayos es comunidad
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

31. Los proyectos de código
    abierto son similares a un
    grupo de ciudadanos que
    de juntan y deciden crear
    caminos, puentes y
    carreteras
    “
    Nadia Eghbal
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

32. Los proyectos de código
    abierto son similares a un
    grupo de ciudadanos que
    de juntan y deciden crear
    caminos, puentes y
    carreteras
    “
    Nadia Eghbal
    Para conectar comunidades que antes
    se encontraban aisladas
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

33. Nuestros retos
    @ixek. https:/
    /bit.ly/scipy-latam
    1. Es muy difícil encontrar fondos a largo plazo para
    mantenimiento
    2. Burnout por parte del equipo base de proyectos
    3. Falta de diversidad y representación
    

    View Slide

34. Porque antes muchos de los que se
    benefician del código abierto no tenían ni
    idea de cuan precaria es la situación en
    realidad
    Abriendo los
    ojos
    Un parteaguas
    https:/
    /www.fordfoundation.org/work/learning/research-reports/roads-and-bridges-the-unseen-
    labor-behind-our-digital-infrastructure/
    @ixek
    

    View Slide

35. Fondeo y metodos indirectos
    1. Liberapay
    2. Open collective
    3. GitHub Sponsors
    4. Linux Foundation Community Bridge
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

36. Depender de labor no
    remunerada es extremadamente
    excluyente
    Sobre todo en el Sur Global (inc. LatAm)
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

37. Diversidad de representacion
    
    Y diversidad de pensamiento
    Para reflejar cómo es la comunidad
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

38. La falta de representacion puede exacerbar
    injusticias y sistemas de opresion
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

39. Factores que contribuyen a la participacion
    https:/
    /octoverse.github.com/sustainable-communities/#mentorship-at-work-and-open-source
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

40. Incremento de tension
    entre comunidad y
    organizaciones de lucro
    Un concepto popular en America Latina
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

41. Tercera parte
    
    Sustentabilidad presente y futuro
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

42. Fundamentos de sustentabilidad
    01
    Talento, dinero, y tesoro
    -
    Tiffany Farriss @farriss
    contribuir
    02
    Herramientas, procesos, gente
    y geografía
    Diversidad humana y
    del entorno
    03
    A nivel comunitario
    Seguridad
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

43. Factores que contribuyen a la participacion
    https:/
    /octoverse.github.com/sustainable-communities/#mentorship-at-work-and-open-source
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

44. Contribuyendo las tres T’s
    01
    💪
    Talento
    02
    ⏳
    Tiempo
    03
    💸
    Tiempo
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

45. El acceso (abierto) no solo
    se trata de leer, sino de
    tener una voz para
    establecer la dirección, y
    los modelos económicos y
    estructurales
    “
    Juan Pablo Alperín
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

46. La cooperativa
    Un concepto popular en America Latina
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

47. La cooperativa es una
    empresa de participación
    social libre y democrática
    donde la participación de
    cada socio es determinado
    por el trabajo incorporado
    al bien común
    “ Participación == shares o dividendos
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

48. Una cooperativa moderna
    💪
    ⏳
    💸
    Collaborative work orders
    Ambos + Labs
    Maintainers Industria
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

49. Una cooperativa moderna
    💪
    ⏳
    💸 Collaborative work orders
    @ixek. https:/
    /bit.ly/scipy-latam
    

    View Slide

50. Como participar hoy
    @ixek. https:/
    /bit.ly/scipy-latam
    1. Cualquiera de las tres 💪 ⌛ 💸
    2. Repensar mecanismos de sustentabilidad en términos locales,
    regionales y globales
    

    View Slide

51. Gracias
    trallard.dev
    @ixek.
    https:/
    /bit.ly/scipy-latam
    

    View Slide