Data Days 2022 - ¿Qué es mejor que una buena fuente de datos? Dos buenas fuentes de datos.

Compartiremos nuestra experiencia integrando datos de la organizacion sin fines de lucro Alluma y su plataforma One Degree (recursos de bienestar social) y datos abiertos del Centro de Control de Enfermedades (CDC, por sus siglas en inglés) de Estados Unidos. Utilizamos los datos abiertos de la CDC para contextualizar los datos de One Degree. De ésta manera podemos priorizarzar nuestros esfuerzos y enfoque en zonas más vulnerables y/o con menos recursos.

Alluma y su plataforma One Degree ayudan a millones de personas en Estados Unidos a encontrar y utilizar recursos cómo comida, viviendas y otros.

La contextualización de una fuente de datos es una de las maneras más efectivas de agregarle valor y expandir sus aplicaciones. Los datos abiertos nos permiten - a individuos y empresas - hacer esto de una manera más sencilla, transparente y eficáz. Esto es indispensable para empresas (como lo son One Degree y Alluma) sin fines de lucro, organizaciones no gubernamentales (ONGs), y otras entidades cuyo enfoque principal es el bienestar social y no necesariamente el generar ingresos.

Queremos tener el mayor impacto con los escasos recursos que tengamos. En este proyecto utilizamos, ademas de datos abiertos, tecnologías de código abierto de inicio a fin. Postgres (base de datos), Ruby on Rails (API),python para el análisis de datos y Streamlit para la presentación de datos Compartiremos las lecciones aprendidas y lo que esperamos sean los siguientes pasos ademas de como abordamos un proyecto así (arquitectura y gestión).

Transcript

1. Ingeniero de datos
   @ Alluma
   Fundador
   @ tacosdedatos.com
   Sérgio Sánchez
   Unidos compartiendo y aprendiendo
   #DataDays
   soyserg.io
   tacosdedatos.com
   

   View Slide

2. Data Engineer
   Ángel Alvarado
   Unidos compartiendo y aprendiendo
   #DataDays
   Co-Founder
   Volunteer & mentor
   

   View Slide

3. Ángel Alvarado
   Sérgio Sanchéz
   angel@molanco.com
   sergio@cimarron.io
   ¿Qué es mejor que una buena fuente de
   datos? Dos buenas fuentes de datos
   Notas/Enlaces: bit.ly/datadays22-tacos
   

   View Slide

4. https://www.alluma.org/one-degree
   Organización sin fines de lucro
   ayudando a individuos y familias de
   escasos recursos a obtener ayuda
   a través del gobierno u otras orgs
   (servicios sociales)
   

   View Slide

5. Hyper-google para encontrar servicios de ayuda
   

   View Slide

6. ¿Por qué no usar Google u otros
   motores de búsqueda para
   encontrar recursos?
   

   View Slide

7. ¿Por qué no usar Google u otros motores de búsqueda?
   

   View Slide

8. ¿Por qué no usar Google u otros motores de búsqueda?
   

   View Slide

9. Cubrir sólo una necesidad no ayuda mucho
   

   View Slide

10. Una plataforma que busca abarcar las necesidades más posibles.
    https://medium.com/one-degree/the-one-degree-common-app-8f7b572b77d7
    

    View Slide

11. Una plataforma que busca abarcar las necesidades más posibles.
    https://testing.1degree.org/
    

    View Slide

12. ¿Qué hay detrás de ese motor de búsqueda?
    http://socialservicedata.org
    

    View Slide

13. ¿Qué hay detrás de ese motor de búsqueda?
    https://github.com/1deg/resource-server-api-docs
    

    View Slide

14. Un equipo para mantener la información actualizada
    https://medium.com/one-degree/robots-cant-do-everything-why-humans-maintai
    n-one-degree-s-data-2678ff78d609
    

    View Slide

15. Un equipo para mantener la información actualizada
    https://medium.com/one-degree/robots-cant-do-everything-why-humans-maintai
    n-one-degree-s-data-2678ff78d609
    

    View Slide

16. ¿Cómo enfocarnos en
    mejorar nuestras bases de
    datos y buscador con
    información dónde más se
    necesita?
    

    View Slide

17. Social Vulnerability Index (SVI)
    La vulnerabilidad social se refiere a los posibles efectos negativos en las comunidades causados por tensiones externas en la
    salud humana. Entre estas tensiones se encuentran las catástrofes naturales o provocadas por el hombre, o los brotes de
    enfermedades. La reducción de la vulnerabilidad social puede disminuir tanto el sufrimiento humano como las pérdidas
    económicas.
    El Índice de Vulnerabilidad Social de los CDC/ATSDR (CDC/ATSDR SVI) utiliza 15 variables del censo de Estados Unidos para
    ayudar a los funcionarios locales a identificar las comunidades que pueden necesitar apoyo antes, durante o después de los
    desastres.
    - https://www.atsdr.cdc.gov/placeandhealth/svi/index.html
    

    View Slide

18. Social Vulnerability Index (SVI)
    ● El índice de vulnerabilidad social es calculado a partir de los percentiles de cada condado (o “census tract”) en cada
    una de estas 15 variables
    ● Se calcula por estado y a nivel nacional.
    

    View Slide

19. Social Vulnerability Index (SVI)
    

    View Slide

20. Enriqueciendo tus datos
    

    View Slide

21. Enriqueciendo tus datos
    

    View Slide

22. Enriqueciendo tus datos
    

    View Slide

23. Enriqueciendo tus datos
    

    View Slide

24. Streamlit
    

    View Slide

25. Streamlit
    

    View Slide

26. Streamlit
    

    View Slide

27. Streamlit
    

    View Slide

28. Streamlit
    

    View Slide

29. Streamlit
    

    View Slide

30. Streamlit
    

    View Slide

31. Streamlit
    

    View Slide

32. Streamlit
    

    View Slide

33. Tecnologías utilizadas
    Python
    PostgreSQL
    Heroku
    AWS
    Aptible - HIPAA-compliant
    Ruby & Rails - API
    Python:
    ● Streamlit - https://streamlit.io
    ● Pandas - https://pandas.pydata.org/
    ● Censusgeocode - https://pypi.org/project/censusgeocode/
    ● Snowflake-connector-python -
    https://docs.snowflake.com/en/user-guide/python-connector.html
    ● Rich - https://github.com/Textualize/rich
    ● Altair - https://altair-viz.github.io/
    ● Python-dotenv - https://pypi.org/project/python-dotenv/
    

    View Slide

34. Siguientes pasos:
    Análisis con base en búsquedas en nuestro propio sistema
    Deployment de Streamlit a gran escala
    Definir nuestros propios índices de vulnerabilidad
    

    View Slide

35. Conoce más:
    https://medium.com/one-degree/y-si-realmente-funcionara-el-sistema-de
    -red-de-seguridad-social-1735c96f30eb
    

    View Slide