Clase 22 Evidencia en Políticas Públicas

Vista previa del material en texto

USO DE EVIDENCIA 
EN POLÍTICAS PÚBLICAS
Francisca de Iruarrizaga
27 Nov 2019
“TODA LA EVIDENCIA INTERNACIONAL 
DICE QUE…”
2
¿Quién es responsable?
¿Qué incentivos hay?
¿Cuáles son los tiempos que se requieren?
Evidencia vs ideología/populismos/intuición
Cómo se comunica: “los economistas solo miran 
números, no ven familias”
Comentarios de los mails cortos
Evidencia no necesariamente es EVIDENCIA
3
para EEPS
CAUSALIDAD
¿Para qué sirve una 
evaluación?
Uso de EVIDENCIA
Uso de las evaluaciones
Clasificaciones para el uso de evaluaciones (Rossi, 2012)
1. Uso directo (Instrumental). 
– Toma de decisiones
2. Uso conceptual 
– Forma de pensar sobre un tema
3. Uso persuasivo
– Argumentar cambios o validar status quo
• Probar distintas combinaciones de entregar la 
transferencia condicionada ayudó a 
incrementar significativamente la matrícula en la 
educación secundaria sin debilitar la asistencia 
diaria a clases: 
Uso directo: aprendizaje
Programa de 
Transferencias 
Condicionadas
(Colombia) 
Transf. 
mensual
Condiciones Transf. Adicional
Tradicional 15 USD 80% de 
asistencia a la 
escuela
50 USD al momento del 
pago de la colegiatura al 
siguiente año
Ahorro 10 USD
PTC 
Graduación
10 USD = + Graduarse 
de secundaria
300 USD contra matrícula
en educación superior
Barrera-Osorio, Bertrand, Linden, Perez (2011)
Diseñar aprender y mejorar
DISEÑO
• Definir distintas 
opciones e hipótesis.
PREGUNTA
• ¿Cómo podemos 
incentivar la 
terminación de 
secundaria y la 
matriculación a 
Universidad?
RESULTADOS
La postergación de parte de la 
transferencia:
• Incrementó matrículas sin reducir 
asistencia
• Incrementó la probabilidad de 
matricularse en educación 
superior. 
DECISIONES 
•Probar los diseños de 
ahorro y graduación 
en el programa 
completo
EVALUACIÓN
• Funcionamiento 
adecuado 
DECISIONES
• Rediseño del 
programa
• La Malaria afecta a más de 200 millones de niños 
en todo el mundo.
• Puede ser prevenida fácilmente con redes 
antimosquito baratas.
Uso conceptual
Precios de los productos de 
salud
Distintas Hipótesis:
a) Venderlas a un precio bajo es bueno porque valoran más el 
producto.
b) Se deben regalar porque son personas de bajos ingresos. 
Pregunta: ¿Vendemos a un precio bajo redes anti mosquito o las 
regalamos?
Uso Conceptual
Evaluación sobre la sensibilidad de la demanda a cambios en el precio.
Resultados: 
• Incluso precios muy bajos reducen significativamente la demanda de 
las redes anti-mosquitos. 
• Compartir los costos no incrementan el uso de las redes.
(Cohen & Dupas, 2010)
¿Por qué y cómo influyó en política pública?
• Organizaciones como la Population Services International (PSI)
ahora distribuyen gratuitamente las mallas anti-mosquitos 
• Otras organizaciones también se sumaron
• Se replicó el estudio con diversos productos de salud y los 
resultados fueron similares
• En conclusión, los productos de salud preventiva deben ser 
distribuidos gratuitamente para aumentar su demanda
• Programa de capacitación profesional para 
jóvenes vulnerables: 
Combinación de entrenamiento en las salas de 
clases con una pasantía laboral
• En medio de muchas evaluaciones de 
programas de capacitación que no han 
producido resultados positivos*, el éxito de 
Jóvenes en Acción es una excepción 
importante. 
• Varios factores específicos al programa y a su 
contexto pueden explicar estas diferencias. 
Uso persuasivo: argumentar
Programa Jóvenes en 
Acción
(Colombia) 
(Attanasio, Kugler & Costas, 2011) ; * (Youth Review Paper de J-PAL)
Ciclo de políticas basado en evidencia
Bajo uso de evidencia
La evaluación de impacto cada vez cobra más fuerza dentro 
de la política social, pero…
1. Todavía no producimos la evidencia necesaria para 
contestar las preguntas necesarias.
2. Además, muchas veces, no se utiliza la evidencia existente.
Condiciones claves para el uso
Existen 5 condiciones clave que influyen en el uso de la evaluación:
1. Relevancia
2. Comunicación entre evaluadores y usuarios
3. Procesamiento de la información por usuarios
4. Plausibilidad de los resultados de la evaluación
5. Involucramiento del usuario en la promoción de cambios / acciones.
(Levinton y Hughes, 1981)
Aspectos a tener en cuenta:
Validez Externa
¿Los resultados son generalizables?
Un estudio que informaba sobre retornos de la 
educación tuvo impacto en Madagascar y en República 
Domínicana
¿La misma intervención tendrá impacto en Chile?
Validez interna y externa
• Validez interna: ¿la evaluación cumple 
con las condiciones suficientes para 
identificar el efecto del programa?
(Jensen, 2010)
• Validez externa: ¿podemos generalizar los 
resultados de la evaluación?
J-PAL | GUÍA PARA LA REVISIÓN DE EVIDENCIA 18
Generalización
1. Existen las mismas necesidades que fueron
identificadas en el contexto en donde fue
implementado el programa y realizado la evaluación.
2. Existen mismas posibilidades de oferta
3. Si los participantes fueron elegidos aleatoriamente de
una población bien definida (ej. distritos de una región,
o hogares de una aldea), se pueden generalizar los
resultados al resto de la población que no participó en
el programa pero que hubiera podido ser elegida a
participar.
19
Generalizar a un nuevo contexto 
Para los nuevos contextos…
✓ Hay que enfocarse en el diseño de la intervención y en la
teoría del cambio del programa que fue evaluado.
✓ Ciertos estudios fueron diseñados para ser más generalizables
que otros:
– Ej.: Es muy probable que un medicamento tenga un
resultado muy parecido en cualquier lugar donde exista la
enfermedad.
– cómo funciona la intervención depende mucho del
implementador, el contexto institucional, y la población
específica
J-PAL | GUÍA PARA LA REVISIÓN DE EVIDENCIA 20
Generalizar a un nuevo contexto 
Preguntas para guiar el análisis de generalización:
– Teoría de cambio: El programa fue diseñado para
solucionar algún problema. ¿Existe el mismo problema en
el nuevo contexto?
– Población: ¿En qué medida la población objetivo se
parece a la población del estudio de referencia?
J-PAL | GUÍA PARA LA REVISIÓN DE EVIDENCIA 21
Generalizar a un nuevo contexto 
Preguntas para guiar el análisis de generalización:
– Implementador:
¿El nuevo implementador tendrá la misma capacidad de
implementación para que todo funcione igual?
• Ej.: Las agencias del gobierno no funcionan como las ONGs.
– Procesos:
¿Se tiene la capacidad de replicar todos los detalles
técnicos, operativos, logísticos del programa o adaptarlos al
nuevo contexto?
• Una evaluación de procesos puede confirmar que la
implementación fue llevada a cabo correctamente
J-PAL | GUÍA PARA LA REVISIÓN DE EVIDENCIA 22
Generalizar a un nuevo contexto 
✓ Es importante validar con evidencia descriptiva que estas
condiciones se cumplen en el nuevo contexto.
✓ Cuanta más información tengamos sobre el contexto de la
evaluación y el contexto en el que se quiere usar la
evidencia, más uno podría confiar en que esos resultados
aplican correctamente.
✓ De esta manera, se combinan teoría, evidencia descriptiva, y
resultados de evaluaciones de impacto para responder si los
resultados de un contexto se pueden replicar en otro.
• Agregar profesores adicionales por contrato
produce mejoras en el rendimiento en escuelas
públicas. (Estudios Kenia e India)
• Gobierno de Kenia decide llevar a escala
implementando en algunas regiones por una
ONG y en otras por el gobierno mismo.
• Cuando los docentes eran contratados por
ONGs el impacto fue positivo y significativo
cuando los contrató el Ministerio de Educación
no había impactos en el rendimiento.
Relevancia del contexto
«Profesores por contrato»
Sandefur, et. al (2013) 
• Hay que considerarla en el diseño de la evaluación
• La validez externa del programa se puede comprobar 
replicando la evaluación
• La teoría cumple un rol importante para argumentar 
validez externa
Tomando en cuentala validez externa
Qué queremos aprender hoy
• Distinguir entre distintos tipos de evidencia
• Identificar los principales aspectos que determinan 
la calidad de la evidencia causal
• Saber cómo realizar una revisión de evidencia 
rápida
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA 25
26
¿Qué debemos considerar para tomar 
decisiones de políticas públicas?
Programas y 
Políticas 
Sociales
Ideología
• Propia
• Externa
Apoyo
• Presupuestal
• Político
• Capacidad Conocimiento
• Evidencia
• Experiencia
• Personal 
• Colectiva
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA
27
Tipos de evidencia
• La evidencia, de forma general, nos da el sustento 
o conocimiento para cualquier afirmación
– Evidencia basada en la experiencia
– Evidencia descriptiva
– Evidencia causal
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA
28
Tipos de evidencia
• La evidencia, de forma general, nos da el sustento 
o conocimiento para cualquier afirmación
– Evidencia basada en la experiencia
– Evidencia descriptiva
– Evidencia causal
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA
29
Tipos de estudios: 
Información o evidencia descriptiva
• De la misma institución con la que estamos trabajando.
• De organismos internacionales (Ej. OMS, BM, BID, etc.)
• De publicaciones que muestren correlaciones útiles
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA 30
Tipos de estudios: EVIDENCIA causal
• Evaluaciones aleatorias (experimentales)
• Evaluaciones de impacto cuasi-experimentales
• Revisiones sistemáticas (identificando los estudios 
experimentales y cuasi-experimentales)
• Meta-análisis (identificando los estudios experimentales 
y cuasi-experimentales)
Objetivos de la revisión de evidencia
• Compartir sobre el proceso de revisión de evidencia 
realizado en temas de atención a víctimas y agresores, 
autonomía de la mujer y prevención de la violencia a 
través de la educación
• Discutir las principales lecciones de la revisión de 
evidencia y sus limitaciones
32
Tipos de evidencia
¡Distintos tipos de preguntas requieren distintos tipos de respuestas!
J-PAL | GUÍA PARA LA REVISIÓN DE EVIDENCIA
EVIDENCIA 
DESCRIPTIVA
EVIDENCIA 
DESCRIPTIVA
EVIDENCIA 
CAUSAL
EVIDENCIA 
CAUSAL
ANÁLISIS 
TEÓRICO
J-PAL | LABORATORIO PARA LA GENERACIÓN DE EVIDENCIA 33
¿Evidencia?
• ¿Qué entendemos por EVIDENCIA?
• Evaluaciones de programas 
– No datos descriptivos, procesos ni de satisfacción
J-PAL | GUÍA PARA LA REVISIÓN DE EVIDENCIA 34
Evidencia causal
• Utilizar la evidencia en el diseño de políticas públicas nos
permite construir sobre el conocimiento que ya existe.
• Hay varios tipos de evidencia, pero la evidencia causal es la
que trata de atribuir causas a efectos, y medir la magnitud de
dichos efectos.
• En general, las evaluaciones de impacto más rigurosas son
experimentales o cuasi-experimentales, bien diseñadas y
publicadas en revistas de renombre.
• Para determinar si los resultados de una evaluación se
pueden generalizar a otros contextos, hay que analizar varios
aspectos del nuevo contexto: teoría de cambio, población
objetivo, implementadores, y procesos.
J-PAL | LABORATORIO PARA LA GENERACIÓN DE EVIDENCIA 35
EJERCICIO
Revisión de evidencia
37
Escala de evidencia
• Estudios pre-post
– Comparación de resultados antes y después de la 
intervención
• Estudios cuasi-experimentales
– Comparación de poblaciones similares
• Experimentos aleatorios controlados
– Asignación aleatoria a tratamiento y control
• Revisión sistemática
– Una síntesis de resultados de diversos estudios 
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA
38
¿En qué fijarse en general?
• Tipos de estudios que NO permiten argumentar 
causalidad
– Evaluaciones no experimentales (ej. antes y después) 
o experimentales y cuasi-experimentales mal 
diseñadas
– Correlaciones
– Evidencia descriptiva o cualitativa (casos de estudio, 
etc).
– Opinión de expertos o intuición
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA 39
¿En qué fijarse en general?
• Tipos de estudios que permiten argumentar causalidad
– Revisión sistemática de evidencia de buena calidad
– Evaluaciones aleatorias bien diseñadas
– Evaluaciones cuasi-experimentales bien diseñadas
40
No toda la evidencia causal es de la 
misma calidad
• Existe una gran cantidad de estudios académicos 
disponibles
• Difícilmente dispondremos de tiempo para leer 
todo
• ¿Cómo puedo saber qué estudios son mejores o más 
confiables?
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA
41
Escala de evidencia
• Revisión sistemática
– Una síntesis de resultados de diversos estudios 
• Experimentos aleatorios controlados
– Asignación aleatoria a tratamiento y control
• Estudios cuasi-experimentales
– Comparación de poblaciones similares
• Estudios pre-post
– Comparación de resultados antes y después de la 
intervención
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA 42
Buenas prácticas para encontrar 
resultados confiables
• Ir a la fuente: leer el estudio original o su resumen
• Los artículos publicados en revistas científicas son más 
confiables
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA 43
Buenas prácticas para encontrar 
resultados confiables: desconfiar
• Cuando una correlación es confundida con causalidad
• No hay grupo de control
• Los autores hacen afirmaciones exageradas
• No hay pruebas de robustez
• Varias hipótesis son evaluadas pero solo algunas 
presentadas:
“Evaluamos 50 hipótesis y encontramos que 5 tienen 
resultados estadísticamente significativos” 
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA 44
Cuando lean una afirmación, 
pregúntense
1. Se trata de una afirmación:
– ¿descriptiva?
– ¿de proceso?
– ¿de correlación?
– ¿de relación causal?
2. ¿Los resultados corresponden con la afirmación?
45
Cómo buscar la evidencia causal
• Sondeo rápido de evidencia
• Revisión de evidencia
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA
46
Sondeo rápido
• Objetivo
– Mapeo de estudio sobre un tema. ¿Qué subtemas se 
abarcan? ¿En qué contexto existe evidencia? ¿Qué 
métodos se usan?
• Medio recomendado
– Google Scholar (http://scholar.google.com)
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA
47
Ejemplo
Imaginamos que estamos tratando de buscar evidencia 
sobre los efectos de las campañas de prevención de 
violencia sobre la incidencia de violencia
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA
48J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA
49
Revisión de evidencia
• Objetivo
– Realizar una revisión sistemática de las 
investigaciones sobre un tema específico y partir de 
ello preparar una síntesis de la evidencia encontrada
• Medio recomendado
– Todas las herramientas a presentarse
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA
50
Consejos
• En muchos temas existen revisiones sistemáticas de 
evidencia.
• Es importante escoger un tema acotado.
• No hay que revisar en profundidad todos los artículos, el 
abstract puede ser un buen aliado
• También podemos agregar palabras clave como 
“Systematic review”, “meta-analysis”, “impact
evaluation”, “randomized control trial”
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA
51J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA
52J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA
53J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA
54J-PAL-IPA| TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA
55
¿Dónde más?
• En la web de J-PAL e IPA encontraran evidencia de muy 
buena calidad
- J-PAL: http://povertyactionlab.org/evaluations
- IPA: http://www.poverty-action.org/work/publications
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA
http://povertyactionlab.org/evaluations
http://www.poverty-action.org/work/publications
56
¿Dónde más?
• 3ie Impact Evaluation Repository
– Repositorio de evaluaciones de impacto: 
http://www.3ieimpact.org/evidence/impact-evaluations/impact-
evaluation-repository/
• Campbell Collaboration
– Revisiones de evidencia sobre intervenciones en política social, 
educación, empleo y crimen y justicia: 
http://www.campbellcollaboration.org/
• Independent Evaluation Group del Banco Mundial
– Evaluaciones de los programas del Grupo del Banco Mundial:
http://ieg.worldbank.org/
• Banco Interamericano de Desarrollo
– Repositorio de evaluaciones de impacto
http://www.iadb.org/en/topics/development-effectiveness/evaluation-
hub/impact-evaluation,17863.html
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA
http://www.3ieimpact.org/evidence/impact-evaluations/impact-evaluation-repository/
http://www.campbellcollaboration.org/
http://ieg.worldbank.org/
http://www.iadb.org/en/topics/development-effectiveness/evaluation-hub/impact-evaluation,17863.html
J-PAL-IPA | TALLER DE DISEÑO DE INTERVENCIONES BASADAS EN EVIDENCIA 57
¿Dónde más?
• The Coalition for Evidence-based Policy
– Evaluaciones de programas sociales:
http://evidencebasedprograms.org/
• What Works Clearinghouse
– Revisiones de evidencia sobre intervenciones educativas: 
http://ies.ed.gov/ncee/wwc/
• Annual Reviews
– Revisiones de evidencia sobre gran diversidad temas: 
http://www.annualreviews.org/
• Crime Solutions
– Revisiones de evidencia sobre crimen: 
https://www.crimesolutions.gov/
http://evidencebasedprograms.org/
http://ies.ed.gov/ncee/wwc/
http://www.annualreviews.org/
https://www.crimesolutions.gov/
Temas incluidos
Autonomía de la mujer
Atención a víctimas y agresores
Prevención de la violencia a través de la educación
J-PAL | LABORATORIO PARA LA GENERACIÓN DE EVIDENCIA 59
Proceso de revisión 
• Definición de temas
• Definición de dónde buscar
• Clasificación de la evidencia 
• Clasificar la revista de publicación
J-PAL | LABORATORIO PARA LA GENERACIÓN DE EVIDENCIA 60
¿Qué encontramos?
• Estudios desde diferentes disciplinas (sicología, 
medicina, economía, crimen, etc)
• En esta área, en general, carecen de rigurosidad 
metodológica en la medida que emplean 
diseños cuasi-experimentales o no 
experimentales.
• Limitaciones metodológicas adicionales: 
– bajas tasas de respuesta en las encuestas (víctimas 
y agresores)
– períodos de seguimiento muy cortos,
– ausencia de una “teoría del cambio”
J-PAL | LABORATORIO PARA LA GENERACIÓN DE EVIDENCIA 61
¿Qué encontramos?
• Mucho avance en entender el fenómeno de 
la violencia, poco en entender que 
programas pueden causar una reducción de 
violencia
• Estudios “muy específicos” al 
contexto/programa mostraban cierto efecto
• Intervenciones “más replicables” no 
necesariamente tenían efecto o evaluaciones 
poco rigurosas
¿Qué aprendimos?
Autonomía de la mujer
Atención a víctimas y agresores
Prevención de la violencia a través 
de la educación
¿Qué aprendimos?
• No hay recetas mágicas
• Depende del contexto, contenido e 
implementación
Atención a agresores 
• De las categorías que concentra 
más estudios
• Pero gran parte de los estudios 
carecen de rigurosidad para poder 
atribuir causalidad
• Los arrestos son eficientes 
solamente a corto plazo. A largo 
plazo producen efectos contrarios 
y aumentan la violencia 
• Arrestos parecen no ser una 
herramienta efectiva para prevenir 
futuros episodios de violencia
Atención a agresores 
• Programa tratamiento a agresores poca evidencia
de tener efecto
– Evaluaciones poco rigurosas
• Grupo comparasión: desertores
– Dificultades de implementación/medición por ser 
programa no voluntario
– Depende del contenido e implementación
• Dutton (2006)…a pesar de la existencia de los numerosos 
estudios empíricos de intervenciones con perpetradores de 
violencia doméstica que o no han encontrado efectos o han 
encontrado resultados modestos éstos se siguen 
implementando en varios países
Atención a agresores: algunas lecciones 
• Aún no existe evidencia robusta que permita afirmar la 
efectividad de estos programas en la reducción de 
reincidencia en casos de violencia intrafamiliar
• Es necesario tener en cuenta las características de los 
agresores como el abuso de drogas y alcohol para 
poder diseñar un programa más eficaz
• Es posible realizar evaluaciones rigurosas, pero pocos lo 
hacen
• Hay estudios que al menos apuntan a la existencia de 
algunas prácticas promisorias
67
Atención a víctimas
• Intervenciones con objetivos diversos
– Aumentar denuncias
– Que busquen ayuda
– Evitar nuevos episodios de violencia
– Mejorar salud física y psicológica de la mujer
– Reducir stress post traumático
• Varias intervenciones con evaluaciones que no 
permiten atribuir causalidad
• Pocas evaluaciones sobre refugios o centros de 
atención a mujeres
68
Atención a víctimas
• Capacitación del personal médico es clave para 
detectar victimas de violencia intrafamiliar y brindarles 
apoyo
• El apoyo individual y terapia cognitiva permiten mejorar 
significativamente la salud mental de las víctimas
• La utilización aislada de prácticas de detección 
computarizada y la distribución de contactos y servicios 
para víctimas tienen efectos muy bajos
69
Autonomía de la mujer
• Distinto tipo de intervenciones.
• Algunas muestran mejoras significativas usando 
evaluaciones rigurosas. 
• Resultado en distintos aspectos
• En general no miden efecto en variables de violencia
70
Autonomía de la mujer
• El apoyo a grupos de autoayuda y la administración de 
capacitaciones educativas y empresariales pueden ser 
herramientas efectivas
• En caso de ayudas financieras, el género del individuo y 
el momento en el cual recibe la plata (i.e. Cuentas de 
compromiso) influye sobre la naturaleza de los gastos y 
la salud de los niños
• Empoderamiento femenino tuvo efecto en reducción 
de violencia intrafamiliar en Jordania (método 
matching…)
71
Prevención 
• Programas con diverso foco
– Escuelas
– Hospitales
– Visitas domiciliarias 
• Miden resultados en actitudes, percepción, ¿cambios 
en comportamiento?
J-PAL | LABORATORIO PARA LA GENERACIÓN DE EVIDENCIA 72
Prevención 
• Los programas de sensibilización y capacitación sobre 
violencia de género permitieron disminuir 
significativamente los hábitos violentos de los 
adolescentes
• Las intervenciones multi-sistemáticas (incluyendo la 
participación de los padres, la comunidad, la escuela 
etc.) tienen muy buenos resultados
• Las capacitaciones sobre temas educacionales y 
comportamiento administradas a los padres y los niños 
permitieron disminuir sustancialmente las prácticas y los 
hábitos violentos
J-PAL | LABORATORIO PARA LA GENERACIÓN DE EVIDENCIA 73
Prevención 
• Programa de visitas domiciliares a madres (no cualquier 
programa de VD) logra efectos positivos en varios 
ámbitos, entre ellos 
– Reduce incidencia de violencia doméstica
– Reducción de maltrato y negligencia hacia hijos
74
Usando evidencia
• Desafío no termina al seleccionar evidencia que 
usaremos
• Entender si es replicable/escalable
• Comprender como se adapta a mi contexto
• Que desafíos tendrá la implementación
• ¿Es necesario evaluar?
• No hay recetas seguras
• Queda mucho por aprender de 
qué funciona
• Algunas lecciones de los 
programas que se han 
implementado en otros contextos
• Calidad de la evaluación es clave
• Se pueden hacer evaluaciones 
experimentales rigurosas!!!
Conclusiones 
Institucionalización delaprendizaje
¿Qué se necesita para que la evidencia se use de 
manera sistémica en el diseño y mejora de políticas 
públicas? 
Institucionalidad de la evaluación e 
innovación en las políticas públicas: 
una propuesta multidimensional.
Gallego et.al. (2014); Del libro propuestas para Chile 2014; CPP 
PUC
• DIPRES, cuenta con un sistema establecido y reconocido 
para la evaluación de programas, sin embargo no es 
suficiente: la evaluación sólo se usa para asignar 
presupuesto y la calidad no es siempre buena.
• La rama legislativa subutiliza recursos destinados a nutrir 
las discusiones parlamentarias. 
– Asignaciones para Asesorías Externas
– No existe institucionalización de Unidad de Asesorías 
Presupuestarias
Diagnóstico en Chile:
Propuesta: Análisis multidimensional
• Miramos la evidencia como un factor más dentro del 
proceso de toma de decisiones 
• Estamos frente a un problema multidimensional: 
probablemente un único instrumento o agencia no va a 
resolver todos los problemas
• Los costos y la factibilidad de la implementación deben ir 
de la mano con el diseño de las propuestas
Tres actores
Uso y 
genera
ción de 
eviden
cia
Poder 
Ejecutivo
Poder 
Legislativo
Sociedad 
de Civil
Propuesta Multidimensional
 
a) Alto nivel de 
interacción y ligado a 
poder ejecutivo o 
legislativo: Apto para 
incidir en el ciclo 
presupuestario 
b) Alto nivel de 
interacción y 
autonomía: 
Apto para incidir en el ciclo 
legislativo 
 
 
 
c) Bajo nivel de 
interacción y ligado a 
poder ejecutivo o 
legislativo: 
Apto para aprendizaje de 
corto y mediano plazo 
d) Bajo nivel de 
interacción y 
autonomía: 
Aprendizaje de mediano y 
largo plazo 
Figura 1 - Descripción de los cuadrantes 
en que se puede ubicar una agencia o 
iniciativa 
Autonomía del 
poder ejecutivo o 
legislativo 
 
Nivel de 
interacción con 
el ciclo 
político, 
presupuestario 
o legislativo 
 
Propuesta de Sistema de Evaluación 
Chileno
¿Cuánto se ha avanzado en estas 
propuestas?
• ¿Se ha avanzado? Sí! 
83
Comentarios mails cortos
Crisis
No uso de 
evidencia
84
¡Gracias y nos vemos el miércoles! 
85