C3 DUFLO

Vista previa del material en texto

DUFLO 
INTRODUCCIÓN 
• Argumento: los maestros no asisten a la escuela debido a que ni director ni beneficiario pueden monitorear y 
penalizar. 
• La comunidad puede monitorear eficazmente la asistencia, pero a menudo carece del poder para penalizar la 
ausencia. 
• Solución: expandir el control comunitario mejorando monitoreo basado en la comunidad. 
• Evidencia: las intervenciones de control comunitario no han sido particularmente efectivas para reducir la 
ausencia. 
probamos si el monitoreo directo, junto con incentivos de alto poder, resulta en una educación de mayor calidad. 
Estudiamos un esquema destinado a reducir el absentismo entre los maestros en centros de educación no formal (ENF) 
administrados por ONG en áreas rurales de la India. 
¿Si se les otorgan incentivos de alto poder a los maestros para asistir a la escuela basados en el monitoreo externo, 
asistirán más a la escuela? ¿Si los maestros asisten más a la escuela, enseñarán más? si se reduce el absentismo de los 
maestros, ¿los niños aprenderán más como resultado? 
• Aunque los incentivos aumenten la asistencia de los maestros, no está claro si realmente aumentan los niveles 
de aprendizaje de los niños. 
• Varias teorías también sugieren que proporcionar incentivos financieros para asistir a la escuela puede hacer 
que los maestros enseñen menos, incluso si asisten más a la escuela. 
• los incentivos pueden mejorar los niveles de aprendizaje de los niños si el principal costo de trabajar para un 
maestro es el costo de oportunidad de asistir a la escuela en lugar de llevar a cabo otras actividades 
generadoras de ingresos. 
• Una vez que un maestro ha venido a la escuela, el costo marginal de enseñar puede ser bastante bajo. un 
sistema de incentivos que recompense directamente la presencia tendría la mejor oportunidad de aumentar 
el aprendizaje de los niños. 
• A cada maestro se le pagaba según el número de días escolares "válidos" en los que estuvieran realmente 
presentes. Un día "válido" se definía como aquel en el que las fotos de apertura y cierre estuvieran separadas 
por al menos cinco horas y ambas fotos mostraran un número mínimo de niños. 
• En las 60 escuelas de comparación, a los maestros se les pagaba una tarifa fija por mes y se les decía que 
podían ser despedidos por ausencias reiteradas e injustificadas. Cuando la escuela estaba abierta, los maestros 
tenían la misma probabilidad de estar enseñando en las escuelas de tratamiento u de comparación, lo que 
confirma nuestra intuición de que los costos marginales de enseñar son bajos una vez que el maestro está 
presente. 
• La asistencia de los estudiantes fue la misma en ambos grupos, pero más enseñanza significó más aprendizaje 
para los niños en las escuelas de tratamiento. Un año después del inicio del programa, sus puntajes en las 
pruebas eran 0.17 desviaciones estándar más altos que los de los niños en las escuelas de comparación. 
II. EL PROGRAMA Y LA EVALUACIÓN 
2. El Programa 
A pesar de la política de la organización que requiere el despido de maestros ausentes, el absentismo es alto. Por lo 
tanto, Seva Mandir se motivó para identificar formas de reducir el absentismo entre sus maestros. 
implementaron un programa de monitoreo externo en septiembre de 2003. Eligieron 120 escuelas seleccionando al 
azar 60 como grupo de tratamiento y 60 como grupo de comparación. 
• Escuelas de tratamiento: se entregó a cada maestro una cámara. Los maestros recibían un bono por cada día 
adicional que asistieran y una multa de por cada día que no asistieran al trabajo. 
• Escuelas de comparación: se les pagaba una tarifa fija y se les informaba que podían ser despedidos por una 
asistencia deficiente. 
Evaluación 
¿Si se les proporcionan incentivos de alto poder a los maestros para asistir a la escuela basados en el monitoreo 
externo, asistirán más? Si asisten más a la escuela, ¿aumentará el tiempo de enseñanza? Finalmente, ¿los niños 
aprenderán más como resultado? 
Se recopiló datos sobre la asistencia a través de una visita aleatoria no anunciada por mes tanto en las escuelas de 
tratamiento como en las de comparación. 
Además de verificar si las verificaciones aleatorias proporcionan una buena estimación de las tasas de asistencia reales, 
esta comparación también nos permite verificar si los maestros iban solo para las fotos. Dado que el tiempo de 
enseñanza también es una función de la asistencia de los niños, se recopilaron datos de asistencia de los estudiantes 
en el momento de la verificación aleatoria. 
Para determinar si el aprendizaje de los niños aumentó como resultado del programa de incentivos, el equipo de 
evaluación administró tres exámenes: un pretest en agosto, un examen intermedio en abril de 2004 y un post-test en 
septiembre de 2004. 
III. Resultados 
Línea de Base e Integridad del Experimento 
 
Asignación → al azar. → esperábamos que las medidas de calidad escolar antes del inicio del programa fueran similares 
en ambos grupos. 
• Antes de que se anunciara el programa pudieron visitar al azar 44 escuelas en el grupo de tratamiento y 41 en 
el grupo de comparación. 
• El Panel A de la Tabla 1 muestra que las tasas de asistencia fueron del 66 por ciento y del 63 por ciento, 
respectivamente. La diferencia no es significativa. 
• Otras medidas de calidad escolar también fueron similares antes del programa: en todas las dimensiones 
mostradas en la Tabla 1 (número de estudiantes presentes en la escuela en el momento de la visita, 
infraestructura, calificación y desempeño de los maestros), las escuelas de tratamiento parecen ser 
ligeramente mejores que las escuelas de comparación, pero las diferencias son siempre pequeñas y nunca 
significativas. 
• La última fila de la tabla muestra la estadística F para la significación conjunta de la variable de tratamiento en 
todas las ecuaciones en los Paneles B a E. La estadística F es 1.13, con un valor p de 0.25, lo que implica que 
las escuelas de comparación y tratamiento eran indistinguibles entre sí en el inicio del programa. 
Tabla 2: resultados de la preprueba (agosto de 2003). 
• El Panel A muestra el porcentaje de niños que podían escribir. 
• Los Paneles B y C muestran los resultados de los exámenes orales y escritos, respectivamente. En promedio, 
los estudiantes de ambos grupos tenían el mismo nivel de preparación antes del programa, aunque parece 
haber una mayor dispersión en las escuelas de tratamiento. 
• En la preprueba, el 17 por ciento de los niños en las escuelas de tratamiento y el 19 por ciento en las escuelas 
de comparación tomaron el examen escrito. La diferencia no es significativa. Aquellos que tomaron el examen 
oral fueron un poco peores en las escuelas de tratamiento, y aquellos que tomaron el examen escrito fueron 
un poco mejores en las escuelas de tratamiento. Nuevamente, las diferencias no son significativas. 
 
Ausencia de Maestros 
El efecto en la ausencia de maestros fue tanto inmediato como duradero. 
Figura 2: fracción de escuelas que se encontraron abiertas el día de la visita aleatoria, por mes. Entre agosto y 
septiembre, la asistencia de los maestros aumentó en las escuelas de tratamiento en comparación con las escuelas de 
comparación. Durante el resto del programa, las tasas de asistencia en las escuelas de tratamiento y comparación 
siguieron fluctuaciones estacionales similares, pero la asistencia en las escuelas de tratamiento sistemáticamente fue 
más alta que en las escuelas de comparación. 
 
el efecto del programa se mantuvo fuerte incluso después de la administración del post-test. 
Las verificaciones aleatorias realizadas después del post-test mostraron que las tasas de asistencia más altas 
persistieron en las escuelas de tratamiento incluso después de que los maestros supieran que el experimento había 
terminado y que el programa se había vuelto permanente. Esto implica que los maestros no cambiaron su 
comportamiento simplementedurante la duración del experimento. 
 
• Tabla 3: desglose del efecto del programa en las tasas de ausencia. 
• Columnas 1 y 2 informan las medias para las escuelas de tratamiento y comparación, respectivamente, durante 
todo el período en que se realizaron las verificaciones aleatorias (de septiembre de 2003 a marzo de 2005). 
• Columna 3: presenta la diferencia entre las escuelas de tratamiento y comparación para este período completo. 
• las Columnas 4 a 6 presentan la diferencia para tres períodos de tiempo: hasta el examen intermedio, entre el 
examen intermedio y el post-test, y después del post-test. 
• En promedio, la ausencia de los maestros fue 20 puntos porcentuales menor en las escuelas de tratamiento 
que en las escuelas de comparación. Por lo tanto, el programa casi redujo a la mitad las tasas de ausencia en 
las escuelas de tratamiento. 
• El efecto del tratamiento fue menor durante el período entre el examen intermedio y el post-test, en gran 
parte porque los maestros de las escuelas de comparación asistieron a clase con más frecuencia, y luego 
aumentaron en 26 puntos porcentuales después del post-test. 
• La reducción en el número de casos en los que la escuela estaba cerrada fue mucho mayor que la de un 
programa anterior que intentó reducir los cierres de escuelas contratando a un segundo maestro en los ENF, y 
que redujo la ausencia en solo 15 puntos porcentuales, tanto porque las tasas individuales de ausencia de los 
maestros siguieron siendo altas como porque los maestros coordinaron su asistencia el mismo día. 
El hecho de que los maestros de tratamiento tuvieran una tasa de ausencia más baja en las verificaciones aleatorias, 
sugiere que los maestros no asistían solo parala foto. 
 
Tabla 4: en las escuelas de tratamiento, los datos de las cámaras tienden a coincidir bastante con los datos de 
verificación aleatoria. 
La Figura 4 Representa la diferencia en la asistencia promedio de los maestros en las escuelas de tratamiento y 
comparación en el momento de la verificación aleatoria. La figura ilustra que la diferencia en la tasa de asistencia 
aumentó a lo largo del día, lo que sugiere que los maestros en las escuelas de tratamiento no solo asistían con más 
frecuencia, sino que también mantenían las escuelas abiertas durante más horas. 
 
Comportamiento de los Maestros 
Aunque el programa aumentó la asistencia de los maestros y la duración del día escolar, el programa aún podría 
considerarse ineficaz si los maestros compensaran la mayor presencia enseñando menos. 
dado que solo podemos medir el impacto del programa en el desempeño de los maestros en las escuelas que estaban 
abiertas, que las escuelas de tratamiento estuvieran abiertas más tiempo puede introducir un sesgo de selección. 
Tabla 5: muestra que no hubo una diferencia significativa en las actividades de los maestros en las escuelas de programa 
y comparación durante la visita aleatoria. Nuestros hallazgos confirman que una vez que se obligó a los maestros a 
asistir (y por lo tanto renunciar a las ganancias adicionales), el costo marginal de la enseñanza puede no haber sido tan 
grande. 
 
Asistencia de los Niños 
• El efecto del programa en la asistencia de los niños no puede ser estimado directamente sin sesgo debido a la 
selección de observaciones en las que la escuela estaba abierta. 
• Si las escuelas normalmente abiertas también atraen a más niños, el programa podría hacer que la "peor" 
escuela esté abierta más en las escuelas de tratamiento que en las de comparación.Esto podría sesgar hacia 
abajo el efecto del programa en la asistencia de los niños, ya que más niños podrían asistir en escuelas de 
tratamiento. 
• El sesgo de selección es una preocupación real, especialmente porque hay una correlación positiva entre la 
frecuencia de apertura de una escuela y el número de niños presentes, en las escuelas de comparación. 
• Aun así, la asistencia de los niños fue mayor en las escuelas de tratamiento, aunque la diferencia no es 
significativa. 
Tabla 6: tasas de participación de un niño en una escuela abierta, por estado de tratamiento. Las escuelas de 
tratamiento tuvieron más días de enseñanza. El impacto del programa en el tiempo de instrucción de los niños se 
informa en las Filas 3 y 4 de la Tabla 6. Teniendo en cuenta los días en que las escuelas estuvieron cerradas, un niño en 
una escuela de tratamiento recibió 10 puntos porcentuales (o un 30 por ciento) más días de instrucción que un niño 
en una escuela de comparación. Suponiendo 27 días de trabajo en un mes, un niño obtuvo 2.7 días más de tiempo de 
instrucción al mes en las escuelas de tratamiento. 
 
no vemos un aumento marcado en la presencia de niños en las escuelas de tratamiento a pesar de la mayor presencia 
de los maestros. Esto sugiere que la ausencia de maestros no es la causa principal de la presencia irregular de los niños, 
o que los niños aún no han tenido tiempo para adaptarse a este nuevo patrón. 
Efectos en el Aprendizaje 
Los niños en las escuelas de tratamiento, en promedio, recibieron un 30 por ciento más de tiempo de instrucción que 
los niños en las escuelas de comparación. A lo largo de un año, esto resultó en 34 días más de instrucción por niño. 
¿Este resultado llevó a un aumento en las puntuaciones de las pruebas? 
Primero debemos asegurarnos de que la deserción selectiva (atrittion) no invalide la comparación. Hay tres posibles 
fuentes de deserción: 
I. algunos centros cerraron inmediatamente después de que comenzara el programa. Estos cierres no 
estaban relacionados con el programa y se distribuyeron por igual entre las escuelas de tratamiento y 
comparación. 
II. algunos niños abandonan los NFE, ya sea porque abandonan la escuela por completo o porque comienzan 
a asistir a escuelas primarias regulares. 
III. algunos niños estaban ausentes en los días de las pruebas. 
Para minimizar el impacto de la deserción en el estudio, localizar a los niños que no asistieron a las dos últimas pruebas 
y les administramos la prueba posterior. En consecuencia, la deserción fue bastante limitada. 
Tabla 7: muestra la deserción en los grupos de tratamiento y comparación, así como las características de los 
desertores. En el momento de la prueba intermedia, la deserción fue mayor en el grupo de comparación que en el 
grupo de tratamiento. En el momento de la prueba posterior, la deserción fue similar en ambos grupos, y los niños que 
abandonaron el grupo de tratamiento fueron similares a los que abandonaron el grupo de comparación. 
 
La primera fila presenta el porcentaje de niños que pudieron tomar el examen escrito, mientras que las filas siguientes 
proporcionan la puntuación promedio del examen (normalizada por el grupo de comparación en la prueba intermedia). 
En comparación con la preprueba y la prueba intermedia, muchos más niños, tanto en las escuelas de tratamiento 
como en las escuelas de comparación, pudieron escribir en la prueba posterior. En la prueba posterior, los estudiantes 
obtuvieron un rendimiento ligeramente peor en matemáticas en comparación con el grupo de comparación en la 
prueba intermedia, pero tuvieron un rendimiento mucho mejor en lenguaje. 
también muestra las diferencias simples entre el grupo de tratamiento y el grupo de comparación en las pruebas 
intermedia y posterior. En ambas pruebas, tanto en lenguaje como en matemáticas, los estudiantes de tratamiento lo 
hicieron mejor que los estudiantes de comparación (un aumento de 0.16 desviaciones estándar y 0.11 desviaciones 
estándar en lenguaje en la puntuación de la prueba posterior), aunque las diferencias no son significativas al 95 por 
ciento. Para obtener una precisión estadística mayor, controlamos los resultados individuales de la preprueba. 
4.2. Resultados de las Pruebas 
Tabla 8: informamos sobre el impacto del programa en la prueba intermedia (realizada en abril) y la prueba posterior 
(realizada en octubre). Comparamoslas puntuaciones promedio de las pruebas de los estudiantes en las escuelas de 
tratamiento y comparación, condicionadas por la competencia y nivel de preparación previo al programa de cada niño. 
En un marco de regresión, modelamos el efecto de estar en una escuela j que está siendo tratada (Treatj) en la 
puntuación de la prueba del niño i (Scoreikj) en la prueba k: 
Dado que las puntuaciones de las pruebas tienen una alta autocorrelación, controlar las puntuaciones de las pruebas 
de un niño antes del programa aumenta la precisión de nuestra estimación. En lugar de un enfoque DD, incluimos una 
variable que contiene la puntuación de la preprueba oral del niño si tomó la preprueba oral y 0 en caso contrario 
(Oral_Scoreij), la puntuación de la preprueba escrita del niño si tomó la preprueba escrita y 0 en caso contrario 
(Written_Scoreij), y una variable indicadora de si tomó la prueba escrita en la preprueba (Pre_Writij). Los errores 
estándar están agrupados por escuela. 
Cada celda en la Tabla 8 representa el efecto del tratamiento (β2) obtenido en una regresión separada. 
 
• El programa tuvo un impacto significativo en el aprendizaje, incluso desde la prueba intermedia. Los niños en 
las escuelas de tratamiento obtuvieron 0.16 desviaciones estándar de la distribución de la puntuación de la 
prueba en lenguaje, 0.15 desviaciones estándar en matemáticas y 0.17 en general (Panel A). 
• Los niños con niveles iniciales de prueba más altos fueron los que más se beneficiaron del programa: aquellos 
que pudieron escribir en la preprueba obtuvieron puntuaciones en la prueba intermedia 0.25 desviaciones 
estándar más altas en las escuelas de tratamiento que en las escuelas de comparación (Panel C). 
• Los niños cuyas puntuaciones estaban por debajo de las puntuaciones medianas en la preprueba no mostraron 
ganancias significativas en las puntuaciones de las pruebas (Panel D). 
• Las diferencias entre los estudiantes de las escuelas de tratamiento y comparación persistieron en la prueba 
posterior (Columnas 5 a 8). 
• Los niños en las escuelas de tratamiento obtuvieron 0.21 desviaciones estándar en lenguaje, 0.16 en 
matemáticas y 0.17 en general (Panel A). 
Comparamos el impacto del programa en niñas versus niños en la Tabla 9. 
 
Las dos primeras filas del Panel A enumeran los efectos individuales del tratamiento para niñas y niños, 
respectivamente, mientras que la tercera fila informa la diferencia en sus efectos de tratamiento. 
las niñas se beneficiaron tanto del programa como los niños. En la prueba intermedia, 7 puntos porcentuales más de 
niñas en las escuelas de tratamiento pudieron escribir en comparación con las escuelas de comparación, en 
comparación con solo 2 puntos porcentuales de niños (esta diferencia de 5 puntos porcentuales es significativa). La 
prueba posterior también sugiere que las niñas se beneficiaron ligeramente más del programa que los niños, pero estas 
diferencias no son significativas. 
El programa aumentó el número de niños que se graduaron en las escuelas gubernamentales. Como se muestra en la 
Tabla 10, el 14 por ciento de los estudiantes en las escuelas de tratamiento se graduaron en las escuelas 
gubernamentales, en comparación con solo el 10 por ciento en las escuelas de comparación, un aumento del 40 por 
ciento. 
 
En la última fila de la Tabla 10, presentamos las tasas de deserción para los niños que abandonaron la escuela por 
completo. La tasa de deserción es ligeramente más baja para las escuelas de tratamiento, pero no podemos rechazar 
la hipótesis de que la diferencia entre las escuelas de tratamiento y comparación sea cero. 
4.4 Presencia del Maestro en el Aprendizaje 
La Tabla 11 interpreta lo que estas estimaciones pueden decirnos sobre el impacto de la presencia del maestro. Las 
Columnas 1 a 3 informan sobre correlaciones simples entre la presencia del maestro y las puntuaciones de las pruebas. 
informan sobre la estimación del coeficiente del número de veces que se encontró una escuela abierta (Openj) en una 
regresión de las puntuaciones de la prueba intermedia o posterior: 
 
continuamos controlando la puntuación de preprueba del niño y agrupando los errores estándar por escuela. 
 
• La Columna 1 informa sobre la estimación OLS de la Ecuación 2 para las escuelas de comparación con el fin de 
obtener la correlación entre la presencia y los niveles de logro infantil. 
• los datos de las verificaciones aleatorias se utilizan para estimar el número de veces que se encontró una 
escuela abierta. El coeficiente es 0.20, lo que indica que las puntuaciones de las pruebas de los niños en centros 
abiertos el 100 por ciento del tiempo serían 0.10 desviaciones estándar más altas que las de los niños en un 
centro abierto el 50 por ciento del tiempo. El coeficiente también es insignificante. 
• sugiere que el efecto de la asistencia del maestro en el aprendizaje no es tan grande. 
• Presentamos la estimación OLS del efecto de la presencia para los maestros de tratamiento utilizando los datos 
de verificación aleatoria (Columna 2) y los datos de la cámara (Columna 3). En general, el efecto de la presencia 
del maestro es mayor en las escuelas de tratamiento que en las escuelas de comparación (compare 0.39 en la 
Columna 2 con 0.20 en la Columna 1, ambas obtenidas con datos de verificación aleatoria). 
• el efecto de la presencia del maestro es mayor y mucho más significativo cuando se utiliza la medida más 
precisa de presencia, especialmente para las puntuaciones de la prueba intermedia (la estimación es de 0.87 
desviaciones estándar en la Columna 3, en comparación con 0.39 en la Columna 2). Para la prueba posterior, 
donde tenemos una medida mucho más precisa de la presencia a partir de los datos de verificación aleatoria, 
los resultados de los dos métodos son en cambio similares (0.98 en la Columna 3 frente a 1.17 en la Columna 
2). 
• en la Columna 4, combinamos ambas muestras e instrumentalizamos Openj (como se mide en la verificación 
aleatoria) mediante el estado de tratamiento de la escuela para obtener variación exógena en el porcentaje de 
tiempo que la escuela se encontraba abierta en la verificación aleatoria. 
 Dado que hemos demostrado que el programa tuvo un efecto directo en la duración del día escolar, así como en si la 
escuela se abría o no, la estimación de 2SLS captura el efecto conjunto de la ausencia total y de un día escolar más 
largo. Las estimaciones de 2SLS son más altas que los resultados de OLS encontrados en la Columna 1, y no se pueden 
distinguir de los resultados de OLS en la Columna 3, obtenidos con la ausencia medida con precisión. Esto sugiere que 
la correlación relativamente baja entre la ausencia del maestro y las puntuaciones de las pruebas que se observó en 
estudios anteriores es probablemente debido a errores de medición en los datos de ausencia del maestro, y que reducir 
la ausencia podría tener el potencial de aumentar significativamente las puntuaciones de las pruebas. Incluso una 
reducción del 10 por ciento en la tasa de ausencia resultaría en un aumento de 0.10 desviaciones estándar en las 
puntuaciones de las pruebas. 
4.5. Teacher and Child Characteristics 
En la Tabla 12, examinamos si el efecto del tratamiento varía según las características del maestro y del estudiante. 
Cada celda en la Tabla 12 presenta la estimación del coeficiente (β4) de la interacción entre estar en una escuela tratada 
y la característica de la escuela (Charj) en una regresión de la puntuación de la prueba: 
 
• Xij incluye controles para las puntuaciones de las pruebas previas y controles para la interacción de las 
puntuaciones de las pruebas previas con la característica de la escuela. 
• En las Columnas 1 y 2, interactuamos el efecto del tratamiento con las habilidades académicas del maestro al 
comienzo del programa; el efecto del tratamiento es ligeramente mayor para los maestros con puntajes de 
prueba más altos y paralos maestros con más años de escolaridad, pero este efecto es pequeño y no siempre 
significativo. 
• El efecto del tratamiento no varía según el nivel de infraestructura de la escuela (Columna 3), y no varía mucho 
según la pedagogía del maestro (Columna 4) o el comportamiento del estudiante (Columna 5) en el momento 
de las observaciones escolares en octubre de 2003. 
• Esto sugiere que independientemente del nivel de infraestructura escolar o competencia docente, iniciar el 
programa de incentivos puede dar como resultado ganancias positivas en el aprendizaje. 
 
IV. Conclusion 
mostramos que, en contraste con el monitoreo comunitario, el monitoreo externo, combinado con incentivos sólidos, 
puede ser un método rentable para mejorar la calidad escolar. 
demostramos que el monitoreo directo de los docentes, combinado con incentivos simples y creíbles basados en la 
presencia de los docentes, puede conducir a un gran aumento en la asistencia de los docentes, incluso si se implementa 
en un entorno difícil. 
El programa redujo la ausencia de los docentes de un promedio del 42 por ciento en las escuelas de comparación al 22 
por ciento en las escuelas de tratamiento. Como resultado, los estudiantes en las escuelas del programa se beneficiaron 
de aproximadamente un 30 por ciento más de tiempo de instrucción. 
El programa tuvo un impacto estadística y económicamente significativo en los puntajes de las pruebas. Después de 
un año, los puntajes de las pruebas de los niños en las escuelas del programa fueron 0.17 desviaciones estándar más 
altos que en las escuelas de comparación, y los niños tenían más probabilidades de ser admitidos en escuelas primarias 
regulares. A pesar de su implementación a pequeña escala, el programa es rentable.