Formación Compromiso S y P

Vista previa del material en texto

EVALUACIÓN DE POLÍTICAS PÚBLICAS
Programa de Formación 
Compromiso Social y Político de Jóvenes 
Cordobeses
Laura Porrini
l.porrini@mujeresdelsur.org
CONTENIDOS
• Aproximación conceptual, utilidad, tipos
de evaluación.
• De la gestión por procesos a la gestión
por resultados: sus implicancias para la
EPP.
• La EPP en América Latina y Europa:
estado actual y desafíos de futuro.
Elementos para identificar la existencia de políticas, 
programas y proyectos públicos
1. Implicación del gobierno
2. Percepción de problemas
3. Definiciones de objetivos
4. Proceso
Una política pública existe 
siempre y cuando instituciones 
estatales asuman total o 
parcialmente la tarea de alcanzar 
objetivos estimados como 
deseables o necesarios, por medio 
de un proceso destinado a 
cambiar un estado de las cosas 
percibido como problemático.
Factores coexistentes en las PPPP
• Acción: práctica, no sólo discurso.
• Un conjunto de decisiones: “decidir que existe un 
problema. Decidir que se debe intentar resolver. Decidir 
la mejor manera de proceder. Decidir legislar sobre el 
tema, etc.” (Subirats: 1994, 41).
• Utilización de la autoridad del Estado: genera 
obligaciones y derechos.
• Respuesta a situaciones consideradas como problemas 
que requieren intervención pública.
Concepto de política pública
Para fines operacionales, por políticas públicas debería 
entenderse (1) un curso de acción estable (2) definido por el 
gobierno (3) para resolver un área relevante de asuntos de 
interés público (4) en cuya definición en las actuales 
sociedades suelen también participar actores de origen 
privado (Tomassini, 2007).
Proceso de las políticas, programas y proyectos
Existencia
de un problema
Definición 
del problema
Identificación 
de respuestas,
soluciones, 
alternativas
Selección de 
opciones de 
política , programas o proyectos
Implementación
Evaluación
Es un área de investigación que tiene por finalidad valorar la 
utilidad y bondad de la intervención pública mediante la 
aplicación de un conjunto de técnicas desarrolladas en otros 
campos de las ciencias sociales.
Aplicación sistemática de los procedimientos de la 
investigación social para valorar:
Evaluación de Políticas Públicas
✓ La conceptualización y el diseño
✓ La gestión
✓ La ejecución y los efectos de los programas de 
intervención social.
(Rossi y Freeman, 1993)
Aspectos comunes de las definiciones de evaluación
 TÉCNICA DE ANÁLISIS entrevistas, encuestas, etc.
 SATISAFACER UNOS OBJETIVOS decidir, informar etc.
 UTILIDAD PARA ALGÚN GRUPO gestores, decisores, etc.
 IMPLICAR A TODOS LOS INTERESADOS políticos, sindicatos, etc.
 RECOPILACIÓN SISTEMÁTICA DE INFORMACIÓN ejecución, resultados….
EMITIR UN JUICIO CRÍTICO SOBRE UNA SITUACIÓN
El enfoque integral de la evaluación
NECESIDADES IMPACTOS
Evaluación
INSTRUMENTOS RESULTADOSOBJETIVOS
Política
Sociedad
RACIONALIDAD: 
pertinencia y relevancia COHERENCIA
EFICACIA
EFICIENCIA
Evaluación ¿Para qué?
Control administrativo, de 
legalidad y financiero
Formación de los implicados 
en el programa
Racionalización de la toma 
de decisiones públicas
Generadora de información
Vía de reforma de las prácticas 
de la Administración
Legitima la intervención del 
Estado
Incrementa la transparencia
Hace efectiva la participación 
ciudadana (profundización 
democrática)
Impulsa el aprendizaje y la 
innovación
Y hasta tanto entandamos que es útil?
FUNCIONES DE 
LA EVALUACIÓN
EL PORQUÉ DE LA EVALUACIÓN: FUNCIONES Y UTILIDAD
Aprendizaje
UTILIDAD DE 
LA EVALUACIÓN
Rendición de 
cuenta
Eval. voluntaria
Eval. interna
Desarrollo de
capacidades
Interés de gestores
Formativa
Eval. obligatoria
Eval. externas
Control de legalidad
Trámite administrativo
Interés de financiadores
Conclusiva-sumativa
Ahora bien…
existen objetivos de 
evaluación encubiertos?
oAplazamiento en la toma de decisiones
oEludir responsabilidades (poner en “boca” de la evaluación la decisión tomada)
oRelaciones públicas (autoelogio, prestigio, búsqueda de apoyos)
oCumplir con los requisitos de un donante (cofinanciación con evaluación)
Evaluador = peón de una lucha de poder. Por eso, es importante:
o Tratar de descubrir quien tuvo la idea de evaluar y cuáles fueron sus fines . 
o Conocer si tuvo detractores el proceso evaluativo y cuales fueron sus motivos.
o Indagar si existe una verdadera intención de utilizar los resultados.
Objetivos encubiertos de la evaluación
Tipos de evaluación según….
 
TIPOS DE EVALUACIÓN 
Contenido 
 Diseño 
Momento temporal 
 
 Proceso Ex-ante 
 Resultados Intermedia 
 Impactos Final y Ex-post 
 
 Metaevaluación Evaluabilidad 
Agente 
 Internas Individuales 
 Externas 
Promotor/a 
 Conjuntas 
Gestor/a- 
Evaluador/a 
 Mixtas 
 
Temática y objeto 
 Geográficas Proyectos 
 Sectoriales Actividades 
 Horizontales o transversales Acciones 
 Otros instrumentos 
 Estratégicas 
 Planes, Programas 
Operativas 
 
 
 
 
La evaluación según su contenido:
Objetivos del 
programa
Resultados 
del programa
Sistema de gestión 
del programa
¿Qué se quiere? ¿Qué se ha 
logrado?
¿Cómo se logra?
OBJETIVOS
RESULTADOS E 
IMPACTOS
SISTEMA DE GESTIÓN
oResponsabilidades:
¿Quién/es?
oRecursos (humanos 
técnicos, financieros): 
¿Con qué?
oMetodologías:
¿Cómo?
oCronograma:
¿Cuándo?
Elementos 
internos
Elementos 
externos Complementariedad con 
otros 
programas/recursos
Diagnóstico/
situación 
problemática
¿De donde se 
parte?
EVALUACIÓN CONCEPTUAL O 
DE DISEÑO
EVALUACIÓN DE GESTIÓN O 
DE PROCESOS
EVALUACIÓN DE RESULTADOS 
E IMPACTOS
Evaluación conceptual o de diseño
Su objetivo es analizar el diseño del programa, esto es, su racionalidad y coherencia. Trata de verificar 
la bondad del diagnóstico realizado (evaluación de necesidades), constatar la existencia de objetivos
claramente definidos y medibles, analizar su correspondencia con los problemas y examinar la lógica del 
modelo de intervención diseñado, tanto de forma interna al programa como en relación con otras 
políticas y programas (coherencia).
Evaluación del proceso de aplicación y gestión del programa
Consiste en examinar la forma en la que se gestiona y ejecuta el programa, esto es, su puesta en 
práctica. Trata de medir la capacidad de un organismo en relación con el diseño, ejecución, seguimiento 
y evaluación de los programas y de valorar el grado de implicación de los gestores con dichas tareas, su 
actitud, formación, organización y la dotación de recursos para llevarlas a cabo óptimamente. Supone el 
estudio de la organización encargada de gestionar el programa y de sus procedimientos y criterios de 
funcionamiento interno. Afecta a todos los aspectos que influyen en la puesta en marcha de las 
actuaciones que llevarán a la ejecución física y financiera de los programas.
Evaluación de resultados e impactos
Trata de conocer hasta qué punto la política o programa aplicado está consiguiendo los objetivos
establecidos (cuando es con referencia a objetivos) o está alcanzando los parámetros o criterios de 
valor definidos (cuando la evaluación no está centrada en objetivos), y a que coste se consiguen (en 
términos de tiempo, recursos humanos, recursos materiales y monetarios) –eficacia y eficiencia-. Suelen 
llevarse a cabo a dos niveles o escalas distintas:
a) Evaluación de los resultados.
b) Evaluación de los impactos.
Evaluación conceptual o de gestión
Objetivos
Estrategias
Racionalidad
Pertinencia
Coherencia
2. Externa
1. Interna
Problemas/
necesidades
Relevancia
(Análisis de diagnóstico)
(Análisis de la población 
objetivo)
(Análisis de calidad en la definición
de objetivos)
(Análisis de la articulación de los objetivos
con los instrumentos de la estrategia y su
adecuación con los problemas)
(Análisis de compatibilidad de objetivos y
estrategia con otras políticas o programas
en el espacio y enel tiempo)
Elementos condicionantes de una PP:
Diseño
Sistema de gestión •Quién hace qué y cómo.
•Qué procedimientos se han institucionalizado 
para la puesta en marcha de las acciones.
•Si el programa se está ejecutando de acuerdo 
con su diseño.
•Verificar los progresos en la ejecución del 
programa.
•Identificar los elementos de la estrategia de 
intervención que mayor capacidad tienen para 
encaminar el programa hacia el logro de los 
objetivos inicialmente establecidos, etc.
¿Qué permite 
conocer la 
evaluación del 
sistema de 
gestión?
Evaluación de gestión o de procesos
Frente a los resultados, que son los efectos más directos e 
inmediatos de las acciones, los impactos
hacen referencia a los objetivos globales, a los efectos 
más indirectos y menos inmediatos.
2 CRITERIOS DE 
ANÁLISIS
EFICIENCIA
EFICACIA
Métodos de 
evaluación más 
comunes
Evaluación de resultados e impactos
ITINERARIO DE UNA EVALUACIÓN DE RESULTADOS E IMPACTOS
1. Definición de preguntas de evaluación y aclaración de visiones y valores sobre el éxito del programa.
2. Formulación de las teorías del cambio (teoría del programa, cadena de resultados):
• Identificación de actividades, productos, efectos e impactos (previstos, no previstos, positivos, negativos).
• Identificación de factores de incidencia sobre las actividades y, sobre todo, sobre los productos, efectos e impactos.
[Factores de contexto, implementación, resultados y factores personales de participantes].
3. Establecimiento de indicadores deseables para dar respuesta a las preguntas y avance de fuentes de información
disponibles y necesarias.
• Diseño de un sistema de seguimiento que permita medir y describir los efectos y las variables relevantes (factores
de incidencia sobre ellos)
• Dictamen de ejecución física y financiera a partir de la información disponible y recabada para especificar las
actividades efectivamente ejecutadas y determinar la magnitud de los productos, efectos e impactos a partir
de los indicadores formulados.
▪ Análisis de información disponible (fuentes secundarias): estadísticas, sistema de seguimiento de la
intervención, etc.
▪ Construcción de herramientas para recabar y analizar aquella información no disponible (fuentes
primarias): entrevistas, focus group, etc.
3. Elección del diseño metodológico:
•Explicar en qué medida la intervención fue causa de los cambios (a partir de nuestra teoría del cambio y de los datos
y hallazgos de la evaluación)
4. Emitir un juicio crítico sobre la base de los hallazgos de la evaluación y las interpretaciones sobre ellos
formuladas, asociando a estas conclusiones las recomendaciones de mejora correspondientes.
Fuente: Murciano, J. (2014).
El diseño del sistema de seguimiento como condicionante 
de la evaluación de resultados e impactos
Consiste en la recopilación sistemática de información sobre 
lo realizado y sus resultados, tanto en su vertiente física 
como financiera, para comprobar el avance del programa o 
proyecto
Definición de Seguimiento
Diferencias entre evaluación y seguimiento
EVALUACIÓN
 Emitir juicios críticos sobre la
validez, bondad y utilidad de la
intervención
 Se puede realizar tanto
internamente como por
evaluadores externos
 Conclusiva 
SEGUIMIENTO
 Información aislada sobre el
progreso de los elementos del
Programa
 En principio, se debe realizar
internamente por los gestores
del plan o proyecto
 Informativo
Elementos del sistema de seguimiento:
Periodicidad
Objeto del 
seguimiento
Dimensiones de 
incidencia
Responsabilidad
Niveles
INDICADORES: 
• De realización
• De resultados
• De impacto
Componentes del 
sistema de 
seguimiento
• Políticas
• Planes
• Programas
• Acciones
Elementos del 
sistema de 
seguimiento
Ámbitos de 
incidencia
Responsabilidad del seguimiento
❑ Interna.
❑ Constituye una tarea propia e inseparable de la 
gestión.
❑ El/la técnico o gestor tiene la obligación, el derecho y 
la facilidad de acceder a la información necesaria.
❑ El/la técnico o gestor conoce el programa, su origen, 
desarrollo y conclusión.
Periodicidad del seguimiento
❑ Registro:
La recogida de información sobre el desarrollo de las acciones 
debe ser continua y automática, tras su finalización
❑ Análisis, sugerencias:
 Los plazos anuales fijados presupuestariamente para la 
ejecución del Plan
 Las reuniones de las Comisiones de Seguimiento
 Por fases del proceso: Tras la finalización de cada paso 
clave del proceso es el momento idóneo para la revisión 
de los indicadores que miden la marcha de la ejecución de 
las acciones
❖ Deber estar integrado coherentemente con la estructura organizativa de los
órganos gestores y ejecutores del plan o programa ya que es:
a) Una labor eminentemente administrativa.
b) Y existe un estrecho vínculo con la gestión de proyectos.
❖ Deber ser fiable, ágil, oportuno y eficaz, de manera que contribuya a la gestión
diaria de los proyectos y actuaciones.
❖ Debe considerar las necesidades informativas de los agentes que participan o
están afectados por el proyecto o programa.
❖ Debe contar con los recursos necesarios (humanos, materiales y financieros) para
que se realice en tiempo, costo y calidad.
Características de un sistema de 
seguimiento
Miden la ejecución física y financiera de las distintas medidas que encuadran los programas. Los
indicadores físicos tienen un carácter cuantitativo, acerca del avance o ejecución de cada medida,
mientras que los financieros recogen los gastos realizados en el transcurso de la ejecución.
Ejemplo: Nº de cursos realizados, Inversión realizada en estos cursos.
Indicador de realización
Miden los efectos directos e inmediatos causados por un programa. Proporcionan información acerca 
de los cambios que afectan al comportamiento de los beneficiarios directos.
Ejemplo: Nº de alumnos formados
Indicador de resultados
Miden las consecuencias del programa más allá de los efectos inmediatos en sus beneficiarios
directos.
Ejemplo: Variación de la tasa de empleo femenino tras el 1 año de la finalización del
curso (% de aumento o disminución).
Indicador de impactos
Tipología de indicadores: definición
Indicadores: importancia de vincularlos a OBJETIVOS.
PERTINENCIA Y RELEVANCIA: 
medir los elementos más significativos del Programa
EXACTITUD Y CONSISTENCIA:
suministrar medidas exactas y proporcionar las mismas mediciones ante mismos
procedimientos
ACCESIBILIDAD:
basarse en datos fácilmente disponibles y a un coste aceptable
COMPARABLES:
espacial y temporalmente
FÁCILES DE INTERPRETAR
UNICIDAD:
debería medir un solo aspecto
C
a
li
d
a
d
 d
e
 l
o
s 
In
d
ic
a
d
o
re
s
Indicadores: características
ALGUNOS EJEMPLOS DE SISTEMAS DE SEGUIMIENTO
EJEMPLO 1. SISTEMA DE SEGUIMIENTO PAES
EJEMPLO 2. MIDEJALISCO
https://seplan.app.jalisco.gob.mx/indicadores#
Ejercicio práctico: Indicadores(40 minutos)
Tomando los objetivos de la Política de Seguridad 
Pública del Gobierno de la Provincia de Córdoba, 
elegir 3 objetivos particulares y proponer (para cada 
uno de ellos):
• 2 indicadores de actividad.
• 2 Indicadores de resultado.
• 2 indicadores de impacto.
POLÍTICA DE SEGURIDAD PÚBLICA
Fuente: http://www.cba.gov.ar/politica-de-seguridad-publica/
Objetivo general: Diseñar participativamente y gestionar productivamente la política de seguridad pública, integrada por 
planes, programas y proyectos de prevención, protección, investigación y participación tendientes a salvaguardar la 
integridad y los derechos de las personas, preservar la libertad, el orden y la paz pública, asegurar la convivencia y 
fortalecer la cohesión social, posibilitando el goce y pleno ejercicio, por parte de las personas y dentro del estado de 
derecho, de las libertades, derechos y garantías constitucionalmente consagradas (Ley 9.235).
Objetivos Particulares:
a) Optimizar las acciones tendientes a mantener el orden y la tranquilidad pública en todo el territorio de la Provincia de 
Córdoba.b) Desplegar acciones tendientes a proteger la integridad física de las personas, así como de sus derechos y bienes por 
medio de la prevención del delito y desarticulación de los ciclos, nuevos y tradicionales, de comisión delictiva.
c) Promover y coordinar planes, programas y proyectos de prevención integral y disuasión de contravenciones y delitos en 
el territorio provincial.
d) Establecer los mecanismos de coordinación, colaboración y cooperación para la investigación y conjuración temprana de 
contravenciones y delitos, la persecución y sanción de sus autores.
e) Señalar los mecanismos de coordinación entre las diferentes autoridades para apoyo y auxilio a la población en casos de 
siniestros o desastres.
f) Propiciar la participación ciudadanía en los asuntos de seguridad pública garantizando la existencia de espacios y 
mecanismos de diálogo y de decisión colectiva.
DE LA GESTIÓN POR PROCESOS A LA GESTIÓN POR 
RESULTADOS: SUS IMPLICANCIAS PARA LA EPP
La evaluación como herramienta modernizadora
✓ Limitaciones macroeconómicas y presupuestales.
✓ Insatisfacción: aumento de gastos del gobierno en sectores sociales =/= aumento 
en la calidad o cantidad de los servicios.
✓ Presiones para mejorar y ampliar los servicios públicos y la transferencia de 
ingresos.
✓ Presiones hacia la rendición de cuentas del gobierno y hacia el “control social”.
✓Ej. Movimientos Nossa Sao Paulo, Nuestra Córdoba, Bogotá Cómo Vamos (exigencia de 
Planes de Metas).
Factores que aceleraron la implantación de sistemas de M&E de 
R e I.
Motivaciones para implantar sistemas de M&E en América 
Latina
Evaluación de los resultados e 
impactos de la gestión pública
Modernización
Reforma del estado
La evaluación como herramienta 
modernizadora
✓ Productividad: ¿Cómo producir mejores servicios con menos recursos fiscales?
✓ Orientación al mercado: ¿Cómo usar incentivos del mercado para combatir las 
patologías de las burocracias tradicionales?
✓ Orientación al servicio: ¿Cómo conectarse mejor con los ciudadanos?
✓ Descentralización: ¿Cómo crear programas que sean más efectivos y que 
respondan a las necesidades reales de la población?
✓ Política: ¿Cómo mejorar su capacidad para crear y monitorear políticas públicas?
✓ Rendición de cuentas: ¿Cómo mejorar la capacidad para cumplir lo que se ha 
prometido en términos de servicios y desempeño?
Dimensiones de la modernización (Kettl, 2000):
INTERRUPCIÓN 
DE PRÁCTICAS 
INSTITUCIONALIZADAS
RESISTENCIA
SURGIMIENTO DE 
SISTEMAS DE E de Re I
La gestión orientada a resultados:
GESTIÓN 
TRADICIONAL
REFORMA 
DEL ESTADO
DÉCADA DEL 90
GESTIÓN 
ORIENTADA 
A RESULTADOS
ÉNFASIS EN 
PROCEDIMIENTOS
Y PROCESOS
EXIGE VISUALIZAR
LO QUE SE ESPERA 
DE LA GESTIÓN:
PLANEACIÓN 
Y
EVALUACIÓN
La gestión orientada a resultados en América Latina. 
Caracterización:
Se asienta sobre un proceso de planificación estratégica:
Política
Programa
Objetivos generales
Objetivos específicos
Líneas de acción
Medidas
Actividades
RESULTADOS
PLANIFICACIÓN
EVALUACION
1. Costos de la evaluación de R&I.
2. Necesidad de dejar transcurrir un tiempo (factor que va en contra de la 
inmediatez de la AAPP –periodos de 4 años, problemas candentes que 
atender, etc.-).
3. Costo político.
4. Capacidades al servicio del sistema de evaluación.
5. Escasa visualización de la evaluación como herramienta capaz de contribuir 
al logro de más y mejores resultados.
6. (in) Existencia de Planes de Gobierno como elemento facilitador.
7. Escasa vinculación de los sistemas de S&E y las oficinas nacionales de 
estadística.
Obstáculos a la implantación de sistemas de evaluación 
en América Latina a nivel estatal….(I)
8. Credibilidad de la información, tanto de los indicadores (insumos) como de 
los informes producidos (productos). 
9. Actitud del gobierno de turno frente a los sistemas de S&E (apoyo, liderazgo 
político vs. indiferencia). 
10. Escasa obligación de introducción de recomendaciones.
11. Escaso desarrollo de mecanismos expresos de comunicación y difusión de 
los resultados del S&E.
12. Falta de sincronización entre planificación, presupuesto y evaluación. 
Obstáculos a la implantación de sistemas de evaluación 
en América Latina a nivel estatal….(II)
Institucionalización de la evaluación de 
políticas públicas en América Latina. Avances y 
desafíos.
Diferencias y similitudes respecto del caso europeo
EUROPA AMÉRICA LATINA
Exigencias (sistema de 
integración supranacional)
Sugerencias (sistemas de 
integración intergubernamentales) 
Motivaciones endógenas 
(exigencias de los ciudadanos, 
resultados de procesos de 
descentralización Vs. 
integración)
Motivaciones exógenas (requisito de 
donantes o financiadores)
Rol proactivo de la sociedad 
civil y de los medios de 
comunicación
Aparición en escena de la sociedad 
civil y los medios de comunicación 
(presiones económicas y sociales)
Institucionalización de la evaluación de políticas públicas en 
América Latina: diferencias y similitudes respecto del caso europeo
Elementos diferenciadores
EUROPA AMÉRICA LATINA
Gestión orientada a resultados
Tantas culturas de evaluación como países
Institucionalización de la evaluación de políticas públicas en 
América Latina: diferencias y similitudes respecto del caso 
europeo
Elementos comunes
Institucionalización de la evaluación de políticas públicas: el caso 
chileno y el caso español
Reflexión grupal: sobre la base de 2 videos, 
analizar:
1. Desafíos de cada sistema de evaluación (Chile y España).
2. Motivaciones para evaluar en cada caso.
3. ¿Cuál es la principal diferencia entre ambos países en términos de 
institucionalización de la evaluación de políticas públicas? ¿Porqué?
4. El porqué de la importancia de la ubicación de la Agencia Española 
de Evaluación y Calidad en el Ministerio de la Presidencia.
¿Y en Argentina QUÉ?
http://juanmanuelabalmedina.com/una-
agencia-que-permitira-evaluar-y-mejorar-las-
politicas-publicas/
Los 13 factores condicionantes de la institucionalización 
de la evaluación en América Latina (I)
1. Definir con claridad las funciones y responsabilidades de 
los actores principales.
2. Crear los incentivos correctos.
3. Promover el uso generalizado de la información que ofrece 
la evaluación (la oferta no crea su propia demanda).
4. Procurar el compromiso y apoyo de los estamentos 
políticos.
5. Sistematizar las actividades de evaluación.
6. Vincular la evaluación al proceso presupuestario.
7. Sincronizar apropiadamente las evaluaciones.
8. Asegurar la calidad metodológica.
9. Comunicar los resultados a las partes interesadas.
10. Monitoreo de la utilización de resultados.
11. Capacitación continua del personal involucrado en la realización 
de evaluaciones.
12. Fortalecimiento de los sistemas de información -estadísticas 
nacionales-.
13. Gradualidad.
Los 13 factores condicionantes de la institucionalización de la 
evaluación en América Latina (II)
MUCHAS GRACIAS!!.
l.porrini@mujeresdelsur.org