$30 off During Our Annual Pro Sale. View Details »

Data Days 2022 - ¿Qué es mejor que una buena fuente de datos? Dos buenas fuentes de datos.

Data Days 2022 - ¿Qué es mejor que una buena fuente de datos? Dos buenas fuentes de datos.

Compartiremos nuestra experiencia integrando datos de la organizacion sin fines de lucro Alluma y su plataforma One Degree (recursos de bienestar social) y datos abiertos del Centro de Control de Enfermedades (CDC, por sus siglas en inglés) de Estados Unidos. Utilizamos los datos abiertos de la CDC para contextualizar los datos de One Degree. De ésta manera podemos priorizarzar nuestros esfuerzos y enfoque en zonas más vulnerables y/o con menos recursos.

Alluma y su plataforma One Degree ayudan a millones de personas en Estados Unidos a encontrar y utilizar recursos cómo comida, viviendas y otros.

La contextualización de una fuente de datos es una de las maneras más efectivas de agregarle valor y expandir sus aplicaciones. Los datos abiertos nos permiten - a individuos y empresas - hacer esto de una manera más sencilla, transparente y eficáz. Esto es indispensable para empresas (como lo son One Degree y Alluma) sin fines de lucro, organizaciones no gubernamentales (ONGs), y otras entidades cuyo enfoque principal es el bienestar social y no necesariamente el generar ingresos.

Queremos tener el mayor impacto con los escasos recursos que tengamos. En este proyecto utilizamos, ademas de datos abiertos, tecnologías de código abierto de inicio a fin. Postgres (base de datos), Ruby on Rails (API),python para el análisis de datos y Streamlit para la presentación de datos Compartiremos las lecciones aprendidas y lo que esperamos sean los siguientes pasos ademas de como abordamos un proyecto así (arquitectura y gestión).

Sergio Sánchez Zavala

March 31, 2022
Tweet

Other Decks in Technology

Transcript

  1. Ingeniero de datos @ Alluma Fundador @ tacosdedatos.com Sérgio Sánchez

    Unidos compartiendo y aprendiendo #DataDays soyserg.io tacosdedatos.com
  2. Data Engineer Ángel Alvarado Unidos compartiendo y aprendiendo #DataDays Co-Founder

    Volunteer & mentor
  3. Ángel Alvarado Sérgio Sanchéz angel@molanco.com sergio@cimarron.io ¿Qué es mejor que

    una buena fuente de datos? Dos buenas fuentes de datos Notas/Enlaces: bit.ly/datadays22-tacos
  4. https://www.alluma.org/one-degree Organización sin fines de lucro ayudando a individuos y

    familias de escasos recursos a obtener ayuda a través del gobierno u otras orgs (servicios sociales)
  5. Hyper-google para encontrar servicios de ayuda

  6. ¿Por qué no usar Google u otros motores de búsqueda

    para encontrar recursos?
  7. ¿Por qué no usar Google u otros motores de búsqueda?

  8. ¿Por qué no usar Google u otros motores de búsqueda?

  9. Cubrir sólo una necesidad no ayuda mucho

  10. Una plataforma que busca abarcar las necesidades más posibles. https://medium.com/one-degree/the-one-degree-common-app-8f7b572b77d7

  11. Una plataforma que busca abarcar las necesidades más posibles. https://testing.1degree.org/

  12. ¿Qué hay detrás de ese motor de búsqueda? http://socialservicedata.org

  13. ¿Qué hay detrás de ese motor de búsqueda? https://github.com/1deg/resource-server-api-docs

  14. Un equipo para mantener la información actualizada https://medium.com/one-degree/robots-cant-do-everything-why-humans-maintai n-one-degree-s-data-2678ff78d609

  15. Un equipo para mantener la información actualizada https://medium.com/one-degree/robots-cant-do-everything-why-humans-maintai n-one-degree-s-data-2678ff78d609

  16. ¿Cómo enfocarnos en mejorar nuestras bases de datos y buscador

    con información dónde más se necesita?
  17. Social Vulnerability Index (SVI) La vulnerabilidad social se refiere a

    los posibles efectos negativos en las comunidades causados por tensiones externas en la salud humana. Entre estas tensiones se encuentran las catástrofes naturales o provocadas por el hombre, o los brotes de enfermedades. La reducción de la vulnerabilidad social puede disminuir tanto el sufrimiento humano como las pérdidas económicas. El Índice de Vulnerabilidad Social de los CDC/ATSDR (CDC/ATSDR SVI) utiliza 15 variables del censo de Estados Unidos para ayudar a los funcionarios locales a identificar las comunidades que pueden necesitar apoyo antes, durante o después de los desastres. - https://www.atsdr.cdc.gov/placeandhealth/svi/index.html
  18. Social Vulnerability Index (SVI) • El índice de vulnerabilidad social

    es calculado a partir de los percentiles de cada condado (o “census tract”) en cada una de estas 15 variables • Se calcula por estado y a nivel nacional.
  19. Social Vulnerability Index (SVI)

  20. Enriqueciendo tus datos

  21. Enriqueciendo tus datos

  22. Enriqueciendo tus datos

  23. Enriqueciendo tus datos

  24. Streamlit

  25. Streamlit

  26. Streamlit

  27. Streamlit

  28. Streamlit

  29. Streamlit

  30. Streamlit

  31. Streamlit

  32. Streamlit

  33. Tecnologías utilizadas Python PostgreSQL Heroku AWS Aptible - HIPAA-compliant Ruby

    & Rails - API Python: • Streamlit - https://streamlit.io • Pandas - https://pandas.pydata.org/ • Censusgeocode - https://pypi.org/project/censusgeocode/ • Snowflake-connector-python - https://docs.snowflake.com/en/user-guide/python-connector.html • Rich - https://github.com/Textualize/rich • Altair - https://altair-viz.github.io/ • Python-dotenv - https://pypi.org/project/python-dotenv/
  34. Siguientes pasos: Análisis con base en búsquedas en nuestro propio

    sistema Deployment de Streamlit a gran escala Definir nuestros propios índices de vulnerabilidad
  35. Conoce más: https://medium.com/one-degree/y-si-realmente-funcionara-el-sistema-de -red-de-seguridad-social-1735c96f30eb