momento: Ex-ante Ex-dure Ex-post o Según el objeto: Política Plan Programa Proyecto o Según el sujeto: Interna Externa Tiempo Ex- ante Ex-dure Ex-post Objeto Política x Plan x x Programa Proyecto x x x Lo que hacemos institucionalmente : Lo que proponemos hacer institucionalmente: Tiempo Ex-ante Ex-dure Ex-post Objeto Política Plan Programa x x x Proyecto
momento: Ex-ante Ex-dure Ex-post o Según el objeto: Política Plan Programa Proyecto o Según el sujeto: Interna Externa Adaptado de Rossi et al (2004) o Tipos de evaluación de programa: Diagnóstico o necesidad Teoría de cambio Resultado o proceso Impacto Costo-beneficio / costo- efectividad
Programas Existen distintos tipos de evaluación de programa: Evaluación del costo-beneficio y la costo-efectividad Evaluación de impacto Evaluación de resultados (proceso e implementación) Evaluación de la teoría de cambio Evaluación diagnóstica o de necesidad Adaptado de Rossi et al (2004)
Programas Tomado de Rossi et al (2004) o Evaluación diagnóstica o de necesidad (needs assesment) Responde preguntas sobre las condiciones sociales que el programa busca impactar, y la necesidad del programa.
Programas Tomado de Rossi et al (2004) o Evaluación de la teoría de cambio: (program theory) Responde preguntas sobre la conceptualización y el diseño de un programa.
o ¿Por qué hacer Evaluaciones de Programas? Antecedentes Objetivos estratégicos Acciones/Línea de acción Programas / Instrumentos 3.Reforzar las capacidades institucionales de SENACYT como cabeza del SNCTI para responder a las prioridades nacionales de desarrollo Desarrollo de capacidades de inteligencia competitiva y de prospectiva científico- tecnológica. indicadores de impacto para la toma de decisiones INEC Fortalecimiento de la capacidad de planificación y evaluación de políticas y programas y estrategia de monitoreo vinculada a las metas nacionales. Producción de estudios de la ciencia, la innovación y la tecnología para adoptar medidas basadas en evidencia. metas de Estado. Capacitación en planeamiento y evaluación de políticas públicas. Reuniones periódicas de las Mesas temáticas intersectoriales. Evaluaciones externas de planes y programas CONACYT como asesor en la toma de decisiones sobre el desarrollo científico y tecnológico del país Estado en materia de CTI. Sesiones periódica de trabajo de las Mesas temáticas, Junta Directiva, CONACYT y CICYT los acuerdos de las instancias de gobierno del SNCTI.
Planificar por adelantado las evaluaciones de programas de específicas y herramientas con una mirada en la mejora del diseño de la política, clarificar requerimientos de datos y de costos. 2. Incrementar las capacidades domésticas de evaluación, y dado el tamaño limitado del país, implementar una red de evaluadores externos como complemento a las capacidades internas ¿Por qué hacer Evaluaciones de Programas? Antecedentes
(SENACYT-BID) o El objetivo general del programa es contribuir a mejorar la inclusión social, la competitividad y la productividad, a través del fomento de la inversión en innovación e investigación. Los objetivos específicos son: (i) aumentar las capacidades de planificación, ejecución, articulación y evaluación del SNCTI ¿Por qué hacer Evaluaciones de Programas? Antecedentes
de SENACYT en la innovación de las empresas panameñas. o Revisión del plan estratégico nacional de ciencia y tecnología de panamá (2005-2009) y propuestas para el quinquenio 2010-2015. o Evaluación del Programa de Becas o Evaluación de la Política de Innovación de Panamá. ¿Por qué hacer Evaluaciones de Programas? Antecedentes
en la SENACYT 2017-2021 Objetivos: o Apoyar a la implementación de la evaluación de programas en la SENACYT. o Apoyar a la generación de evidencia científica para el fortalecimiento de la política nacional, el plan nacional y los programas de la SENACYT. o Comunicar las acciones, estrategias y resultados de la evaluación de programas en la SENACYT.
tomadores de decisión de la SENACYT. o Describir de forma precisa, medible y realista los resultados mínimos esperados de la evaluación. Evaluación de Programas en la SENACYT Preguntas de Evaluación
/ NECESIDAD: ¿Cuál es la naturaleza y magnitud del problema? ¿Dónde está el problema? ¿A quiénes afecta? ¿Cuánto les afecta? ¿Qué acciones son necesarias? ¿Por cuánto tiempo? TEORÍA DE CAMBIO: ¿Cuál es el mejor diseño disponible? ¿Cuál es la lógica causal? ¿Cómo puede el programa identificar a los potenciales beneficiarios? ¿Cómo debería organizarse el programa? ¿Qué recursos son necesarios y apropiados?
O RESULTADO: ¿Cuáles objetivos y metas están siendo alcanzados? ¿Las acciones están siendo recibidas por los beneficiarios planeados? ¿Existen potenciales beneficiarios que no han recibido el programa? ¿Los beneficiarios están satisfechos? IMPACTO: ¿El programa es o ha sido beneficioso según los objetivos establecidos? ¿Cuál es o ha sido la magnitud del beneficio? ¿El programa es o ha tenido efectos inintencionados? ¿Algunos beneficiados han sido impactados de forma distinta?
BENEFICIO / COSTO EFECTIVIDAD: ¿Los recursos han sido utilizados de forma eficiente? ¿El costo es / ha sido razonable dada la magnitud de los beneficios? ¿Existen alternativas con beneficios similares a menor costo?
de información y datos o Poder estadístico o Etapa del programa Metodologías para la evaluación de impacto: o Antes y después o Diferencias en diferencias o Pareamiento o Regresión discontinua o Variables instrumentales o Asignación aleatoria Evaluación de Programas en la SENACYT Metodología
de términos de referencia (junto con las direcciones) Talleres de diseño metodológico Capacitaciones Sesiones informativas Encuestas ad-hoc Cronograma de evaluaciones
o Meta al 2021: Todos los programas cuentan con una evaluaciones Al menos 3 evaluaciones de impacto Calidad de las evaluaciones (Apoyo a la toma de decisiones basadas en evidencias): o Línea base: poca información o Meta al 2021: Al menos10 evaluaciones presentadas en reuniones de alto nivel (Junta directiva, Reunión de Directores) Al menos 5 recomendaciones han sido implementadas Evaluación de Programas en la SENACYT Resultados esperados
Contribución de los actores principales (beneficiarios, unidades gestoras de la SENACYT, entre otros) Disponibilidad presupuestaria Disponibilidad de especialistas en evaluación
approach. California, USA: Sage Publications. Aguirre-Bastos, C. (2014). Glosario comentado de términos de política científica, tecnológica e innovación. Panamá, Rep. de Panamá: SENACYT. SENACYT. (2015). Política Nacional de Ciencia, Tecnología e Innovación de Panamá y Plan Nacional 2015 2019. http://www.senacyt.gob.pa/transparencia/descargas/93/Resolucion_Plan-y-Politicas.pdf OECD (2015). Innovation Policy in Panama: Design, Implementation, and Evaluation. Development Centre Studies. Paris: OECD Publishing. http://idbdocs.iadb.org/wsdocs/getdocument.aspx?docnum=39870911 BID (2016). Glosario: Midiendo Resultados e Impacto. Disponible en http://www.iadb.org/es/temas/efectividad-en-el-desarrollo/evaluation- hub/glosario,18008.html. Consultado el 22 de septiembre de 2016 Gertler, Martinez, Premand, Rawlings y Vermeersch (2010). Evaluación de Impacto en la Práctica, Washington, DC: Banco Mundial Crespi, G., Maffioli, A., Mohnen, P., Vázquez, G. (2011). Evaluating the Impact of Science, Technology and Innovation Programs: a Methodological Toolkit. https://publications.iadb.org/bitstream/handle/11319/5396/Evaluation%20the%20impact%20of %20Science%20Technology%20and%20Innovation%20Programs%20a%20Methodological%20To olkit.pdf?sequence=1 Referencias