Upgrade to Pro — share decks privately, control downloads, hide ads and more …

"Evaluación de Programas en la SENACYT 2017-2021"

HablemosDe...
December 16, 2016

"Evaluación de Programas en la SENACYT 2017-2021"

Presentación realizada el día viernes 16 de diciembre de 2016, sobre la evaluación de programas.

HablemosDe...

December 16, 2016
Tweet

More Decks by HablemosDe...

Other Decks in Science

Transcript

  1. Agenda T ¿Qué es la evaluación de programas? T ¿Por

    qué hacer evaluación de programas? T Evaluación de programas en la SENACYT
  2. ¿Qué es la Evaluación de Programas? Tipología o Según el

    momento: Ex-ante Ex-dure Ex-post o Según el objeto: Política Plan Programa Proyecto o Según el sujeto: Interna Externa Tiempo Ex- ante Ex-dure Ex-post Objeto Política x Plan x x Programa Proyecto x x x Lo que hacemos institucionalmente : Lo que proponemos hacer institucionalmente: Tiempo Ex-ante Ex-dure Ex-post Objeto Política Plan Programa x x x Proyecto
  3. ¿Qué es la Evaluación de Programas? Tipología o Según el

    momento: Ex-ante Ex-dure Ex-post o Según el objeto: Política Plan Programa Proyecto o Según el sujeto: Interna Externa Adaptado de Rossi et al (2004) o Tipos de evaluación de programa: Diagnóstico o necesidad Teoría de cambio Resultado o proceso Impacto Costo-beneficio / costo- efectividad
  4. ¿Qué es la Evaluación de Programas? Tipos de Evaluación de

    Programas Existen distintos tipos de evaluación de programa: Evaluación del costo-beneficio y la costo-efectividad Evaluación de impacto Evaluación de resultados (proceso e implementación) Evaluación de la teoría de cambio Evaluación diagnóstica o de necesidad Adaptado de Rossi et al (2004)
  5. ¿Qué es la Evaluación de Programas? Tipos de Evaluación de

    Programas Tomado de Rossi et al (2004) o Evaluación diagnóstica o de necesidad (needs assesment) Responde preguntas sobre las condiciones sociales que el programa busca impactar, y la necesidad del programa.
  6. ¿Qué es la Evaluación de Programas? Tipos de Evaluación de

    Programas Tomado de Rossi et al (2004) o Evaluación de la teoría de cambio: (program theory) Responde preguntas sobre la conceptualización y el diseño de un programa.
  7. o Evaluación de resultados o de proceso: (process) Tomado de

    BID (2016) ¿Qué es la Evaluación de Programas? Tipos de Evaluación de Programas
  8. o Evaluación de impacto: (Impact evaluation) Tomado de BID (2016)

    ¿Qué es la Evaluación de Programas? Tipos de Evaluación de Programas
  9. o Evaluación del costo-beneficio / costo-efectividad: (Cost-benefit / Cost-effectiviness) Tomado

    de BID (2016) ¿Qué es la Evaluación de Programas? Tipos de Evaluación de Programas
  10. Plan Estratégico de Ciencia, Tecnología e Innovación (PENCYT 2015 2019

    o ¿Por qué hacer Evaluaciones de Programas? Antecedentes Objetivos estratégicos Acciones/Línea de acción Programas / Instrumentos 3.Reforzar las capacidades institucionales de SENACYT como cabeza del SNCTI para responder a las prioridades nacionales de desarrollo Desarrollo de capacidades de inteligencia competitiva y de prospectiva científico- tecnológica. indicadores de impacto para la toma de decisiones INEC Fortalecimiento de la capacidad de planificación y evaluación de políticas y programas y estrategia de monitoreo vinculada a las metas nacionales. Producción de estudios de la ciencia, la innovación y la tecnología para adoptar medidas basadas en evidencia. metas de Estado. Capacitación en planeamiento y evaluación de políticas públicas. Reuniones periódicas de las Mesas temáticas intersectoriales. Evaluaciones externas de planes y programas CONACYT como asesor en la toma de decisiones sobre el desarrollo científico y tecnológico del país Estado en materia de CTI. Sesiones periódica de trabajo de las Mesas temáticas, Junta Directiva, CONACYT y CICYT los acuerdos de las instancias de gobierno del SNCTI.
  11. Innovation Policy in Panama: Design, Implementation and Evaluation o 1.

    Planificar por adelantado las evaluaciones de programas de específicas y herramientas con una mirada en la mejora del diseño de la política, clarificar requerimientos de datos y de costos. 2. Incrementar las capacidades domésticas de evaluación, y dado el tamaño limitado del país, implementar una red de evaluadores externos como complemento a las capacidades internas ¿Por qué hacer Evaluaciones de Programas? Antecedentes
  12. Programa de Innovación para la Inclusión Social y la Competitividad

    (SENACYT-BID) o El objetivo general del programa es contribuir a mejorar la inclusión social, la competitividad y la productividad, a través del fomento de la inversión en innovación e investigación. Los objetivos específicos son: (i) aumentar las capacidades de planificación, ejecución, articulación y evaluación del SNCTI ¿Por qué hacer Evaluaciones de Programas? Antecedentes
  13. Algunas evaluaciones anteriores: o Evaluación del impacto de corto plazo

    de SENACYT en la innovación de las empresas panameñas. o Revisión del plan estratégico nacional de ciencia y tecnología de panamá (2005-2009) y propuestas para el quinquenio 2010-2015. o Evaluación del Programa de Becas o Evaluación de la Política de Innovación de Panamá. ¿Por qué hacer Evaluaciones de Programas? Antecedentes
  14. Evaluación de Programas en la SENACYT Documento conceptual de Programas

    en la SENACYT 2017-2021 Objetivos: o Apoyar a la implementación de la evaluación de programas en la SENACYT. o Apoyar a la generación de evidencia científica para el fortalecimiento de la política nacional, el plan nacional y los programas de la SENACYT. o Comunicar las acciones, estrategias y resultados de la evaluación de programas en la SENACYT.
  15. ¿Para qué sirven? o Identificar temas de importancia para los

    tomadores de decisión de la SENACYT. o Describir de forma precisa, medible y realista los resultados mínimos esperados de la evaluación. Evaluación de Programas en la SENACYT Preguntas de Evaluación
  16. Evaluación de Programas en la SENACYT Preguntas de Evaluación DIAGNÓSTICO

    / NECESIDAD: ¿Cuál es la naturaleza y magnitud del problema? ¿Dónde está el problema? ¿A quiénes afecta? ¿Cuánto les afecta? ¿Qué acciones son necesarias? ¿Por cuánto tiempo? TEORÍA DE CAMBIO: ¿Cuál es el mejor diseño disponible? ¿Cuál es la lógica causal? ¿Cómo puede el programa identificar a los potenciales beneficiarios? ¿Cómo debería organizarse el programa? ¿Qué recursos son necesarios y apropiados?
  17. Evaluación de Programas en la SENACYT Preguntas de Evaluación PROCESO

    O RESULTADO: ¿Cuáles objetivos y metas están siendo alcanzados? ¿Las acciones están siendo recibidas por los beneficiarios planeados? ¿Existen potenciales beneficiarios que no han recibido el programa? ¿Los beneficiarios están satisfechos? IMPACTO: ¿El programa es o ha sido beneficioso según los objetivos establecidos? ¿Cuál es o ha sido la magnitud del beneficio? ¿El programa es o ha tenido efectos inintencionados? ¿Algunos beneficiados han sido impactados de forma distinta?
  18. Evaluación de Programas en la SENACYT Preguntas de Evaluación COSTO

    BENEFICIO / COSTO EFECTIVIDAD: ¿Los recursos han sido utilizados de forma eficiente? ¿El costo es / ha sido razonable dada la magnitud de los beneficios? ¿Existen alternativas con beneficios similares a menor costo?
  19. Diseño metodológico depende de: o Tipo de evaluación o Disponibilidad

    de información y datos o Poder estadístico o Etapa del programa Metodologías para la evaluación de impacto: o Antes y después o Diferencias en diferencias o Pareamiento o Regresión discontinua o Variables instrumentales o Asignación aleatoria Evaluación de Programas en la SENACYT Metodología
  20. Evaluación de Programas en la SENACYT Actividades a realizar Elaboración

    de términos de referencia (junto con las direcciones) Talleres de diseño metodológico Capacitaciones Sesiones informativas Encuestas ad-hoc Cronograma de evaluaciones
  21. Número de evaluaciones: o Línea base: pocas evaluaciones de programas

    o Meta al 2021: Todos los programas cuentan con una evaluaciones Al menos 3 evaluaciones de impacto Calidad de las evaluaciones (Apoyo a la toma de decisiones basadas en evidencias): o Línea base: poca información o Meta al 2021: Al menos10 evaluaciones presentadas en reuniones de alto nivel (Junta directiva, Reunión de Directores) Al menos 5 recomendaciones han sido implementadas Evaluación de Programas en la SENACYT Resultados esperados
  22. Evaluación de Programas en la SENACYT Riesgos Disponibilidad de información

    Contribución de los actores principales (beneficiarios, unidades gestoras de la SENACYT, entre otros) Disponibilidad presupuestaria Disponibilidad de especialistas en evaluación
  23. Rossi, P., Lipsey, M., Freeman, H. (2004). Evaluation: A systematic

    approach. California, USA: Sage Publications. Aguirre-Bastos, C. (2014). Glosario comentado de términos de política científica, tecnológica e innovación. Panamá, Rep. de Panamá: SENACYT. SENACYT. (2015). Política Nacional de Ciencia, Tecnología e Innovación de Panamá y Plan Nacional 2015 2019. http://www.senacyt.gob.pa/transparencia/descargas/93/Resolucion_Plan-y-Politicas.pdf OECD (2015). Innovation Policy in Panama: Design, Implementation, and Evaluation. Development Centre Studies. Paris: OECD Publishing. http://idbdocs.iadb.org/wsdocs/getdocument.aspx?docnum=39870911 BID (2016). Glosario: Midiendo Resultados e Impacto. Disponible en http://www.iadb.org/es/temas/efectividad-en-el-desarrollo/evaluation- hub/glosario,18008.html. Consultado el 22 de septiembre de 2016 Gertler, Martinez, Premand, Rawlings y Vermeersch (2010). Evaluación de Impacto en la Práctica, Washington, DC: Banco Mundial Crespi, G., Maffioli, A., Mohnen, P., Vázquez, G. (2011). Evaluating the Impact of Science, Technology and Innovation Programs: a Methodological Toolkit. https://publications.iadb.org/bitstream/handle/11319/5396/Evaluation%20the%20impact%20of %20Science%20Technology%20and%20Innovation%20Programs%20a%20Methodological%20To olkit.pdf?sequence=1 Referencias