Las-bases-para-la-evaluacion-de-los-objetivos-de-un-proyecto - Alex Casanova2

Vista previa del material en texto

Las bases para la evaluación de los 
objetivos de un proyecto
1
Definición de evaluación
La evaluación es el proceso de verificar si un proyecto logró sus objetivos. El propósito de la evaluación 
es que las partes interesadas puedan aprender sobre el desempeño del proyecto y brindar información 
confiable para rendir cuentas. La evaluación de un proyecto se puede resumir en tres pasos.
1. Como primer paso, el evaluador estimará la magnitud de los cambios que el proyecto causó para cada 
indicador asociado con los objetivos específicos. El evaluador estimará la diferencia entre los valores de 
fin de proyecto y los valores de línea de base. El evaluador estimará la diferencia entre las metas de fin de 
proyecto y las metas de línea de base. Finalmente, el evaluador estimará la razón entre estos dos valores. 
La razón de logro es la proporción de cambios logrados con respecto a los que el proyecto se propuso 
inducir. 
2. Como segundo paso, el evaluador valorará la atribución para cada razón de logro. La atribución se refiere 
a si los cambios logrados fueron causados por el proyecto o no. El evaluador comparará los resultados 
del proyecto a los cambios en el valor del indicador de resultados que se hubiese obtenido en un mundo 
sin el proyecto (escenario contrafactual). El evaluador identificará un grupo válido de comparación para 
realizar dicha valoración. La recolección de datos en un grupo no afectado por el proyecto puede ser 
costosa. Es por esto que la evaluación con atribución se realiza en momentos oportunos. Si los cambios 
en los valores de los indicadores de resultado se pueden explicar principalmente por factores externos 
al proyecto, el evaluador ajustará el valor de la razón de logro a 0. 
3. Como tercer paso, el evaluador valorará el cumplimiento de los objetivos. El evaluador enumerará las 
razones de logro asociadas con los indicadores asociados con el objetivo. A continuación, el evaluador 
calculará el promedio aritmético de esas razones. Con base en ese resultado, el cumplimiento de obje-
tivos individuales se clasificará como excelente (un promedio de razones de logro atribuibles del 100%), 
satisfactorio (un promedio de razones de logro atribuibles de más del 80% y menos del 100%), parcial-
mente satisfactorio (un promedio de razones de logro atribuibles de más del 50% y menos del 80%) o 
insatisfactorio (un promedio de razones de logro atribuibles menor o igual al 50%).
Esta lectura busca brindar a los equipos una comprensión básica sobre la 
evaluación de efectividad de los proyectos y su propósito. La valoración de la 
efectividad evalúa la medida en que el proyecto alcanzó los objetivos trazados. 
2
Evaluación para el aprendizaje
Uno de los objetivos de la evaluación es que las partes interesadas puedan aprender qué políticas son 
efectivas para promover el desarrollo y cuáles no. Sin embargo, identificar políticas efectivas no es fácil. 
Los problemas sociales y económicos tienden a ser complejos. No hay una única solución que sirva 
para todos los casos. Por lo tanto, en la etapa de diseño, la mayoría de las partes interesadas se basan 
en supuestos sobre cómo funcionará el proyecto. La evaluación del proyecto debe permitir a las partes 
interesadas comprobar si los supuestos planteados en la etapa de diseño se mantuvieron y si el proyecto 
propuesto fue efectivo para disminuir el problema abordado. 
La teoría del cambio, junto con una descripción apropiada del contexto y de los riesgos, deja explícitos 
los supuestos del proyecto. La teoría del cambio establece hipótesis sobre los vínculos entre las etapas 
del proyecto: 
1. Hipótesis en la etapa de implementación: Si se proveen insumos a la agencia ejecutora, y otros
supuestos se mantienen, entonces las actividades se llevarán a cabo. Si la agencia ejecutora lleva a cabo
las actividades y otros supuestos se mantienen, entonces se entregarán los productos.
2. Hipótesis en la etapa de solución, una por solución planteada: Si las necesidades se reducen y otros
supuestos se mantienen, entonces se materializarán los resultados, y se cumplirán los objetivos
específ icos.
3. Hipótesis en la etapa de problema: Si se cumplen los objetivos específ icos y otros supuestos
se mantienen, el proyecto ayudará a disminuir el problema y cumplirá su objetivo general.
Los datos recopilados durante la vida del proyecto y al cierre, permitirán a los evaluadores poner a prueba 
formalmente las hipótesis. 
La valoración de los vínculos entre las etapas del proyecto, junto con una descripción apropiada de 
la solución y del contexto, deben permitir a las partes interesadas entender mejor cómo funciona un 
proyecto.
La calidad de la evaluación se ve influenciada por dos características: la validez interna y la validez externa.
1..La validez interna se refiere a la validez del grupo de control. Un grupo de control apropiado debe 
permitir a los evaluadores analizar el valor de los indicadores de resultados en un mundo sin el 
proyecto. El impacto atribuible será la diferencia de los valores de resultados del proyecto y del 
escenario sin el proyecto. La evaluación de impacto es un tipo de evaluación que se enfoca en 
estimar los efectos del proyecto con validez interna. La validez interna es necesaria para estimar 
objetivamente los efectos causados por el proyecto. La validez interna es necesaria para la atribución.
2. La validez externa se refiere a la medida en que las lecciones aprendidas de una evaluación pueden 
ser extrapoladas a otros contextos. Cómo funciona un proyecto dependerá en las necesidades locales 
y otras variables de contexto. Por lo tanto, una evaluación apropiada deberá incluir una descripción 
de resultados materializados, una descripción de la justificación, y el diagnóstico. Esta información 
permitirá construir conocimientos, e idealmente debería permitir a otros reproducir los resultados. 
La evaluación debe brindar información sobre los puntos clave en que otros probablemente deberán 
adaptar su proyecto.
3
Recursos para la evaluación
La evaluación requiere recursos humanos y financieros. Los equipos deben asegurarse de que los 
mecanismos de evaluación sean planificados, programados y presupuestados. Respecto a los recursos 
humanos, la evaluación requiere, como mínimo, que haya un especialista responsable del mismo. El 
especialista en evaluación debe organizar reuniones con las partes interesadas, supervisar la recolección 
de datos, realizar el análisis de datos y preparar los informes de evaluación. Respecto a los recursos 
financieros, la evaluación requiere fondos para la recolección, almacenamiento, gestión y análisis de 
datos, y demás actividades relacionadas. 
Ejemplo
Un proyecto busca tratar el bajo desempeño en la prueba nacional de matemáticas de los niños en 
escuelas primarias públicas en Belice. Como solución, propone mejorar la calidad de la enseñanza, 
que es un determinante importante en el desempeño de los alumnos. El logro del objetivo específico 
se verificará mediante el aumento en el porcentaje de tiempo de aula dedicado a actividades en 
grupo. El proyecto se propuso aumentar el valor del indicador del 10% en la línea de base al 47% en 
el año 5. El proyecto planea proporcionar capacitación y materiales didácticos a los docentes.
El plan de evaluación se enfoca en dos hipótesis:
1. Si los docentes reciben capacitación y paquetes de materiales didácticos, y si perciben beneficios 
por la reducción de ansiedad al enseñar, entonces los docentes aumentarán el porcentaje 
de tiempo de aula dedicado a actividades en grupo. La calidad de la enseñanza mejorará.
2. Si la calidad de la enseñanza mejora mediante el aumento en el porcentaje de tiempo de aula 
dedicado a actividades en grupo y otros determinantes del rendimiento de los alumnos no 
varían (como los recursos del hogar, recursos escolares, gerenciamiento y administración escolar, 
estándares y contenidos curriculares), entonces los alumnos obtendrán mejores calificaciones en la 
prueba nacional de matemáticas.La calidad de la educación mejorará. 
Durante el segundo año de ejecución del proyecto, el gobierno modificó la legislación relativa a los 
ascensos de los docentes. La nueva legislación determina que los docentes deben ser evaluados 
cada dos años. Los ascensos ahora se basan en las calificaciones de los docentes. Una parte del 
nuevo sistema de evaluación incluye observaciones en el aula, en la que expertos evalúan la pericia 
pedagógica de los docentes mientras enseñan matemáticas. La nueva legislación pudo haber 
influenciado las prácticas pedagógicas de los docentes. 
***
∙ Razón de logro
El valor real del indicador para el año 5 fue 40. Por lo tanto, la razón de logro para el indicador de
resultados es (40-10)/(47-10)=0.81
4
Aprender más sobre evaluación
Esta lectura apunta a ilustrar brevemente cómo el diseño de un proyecto facilitará la evaluación 
al cierre del mismo. También muestra cómo la evaluación se relaciona con el aprendizaje y la 
rendición de cuentas. Sin embargo, la evaluación es un tema amplio. Sigue explorando el tema con 
los recursos provistos.
 
El proyecto contaba con un ensayo controlado aleatorio diseñado al inicio. La evaluación se
basaba en una muestra de 500 docentes, donde al menos un docente recibiría capacitación 
y materiales didácticos. De los 500 docentes, 250 fueron elegidos al azar para recibir las 
prestaciones del proyecto en el año 1, mientras que los otros 250 recibieron capacitación en el 
año 3. Al finalizar el año 2, los 250 docentes que recibieron capacitación en el año 1 dedicaron 
el 42% del tiempo de aula a actividades en grupo. Los 250 docentes que todavía no habían 
recibido la capacitación dedicaron el 5% del tiempo de aula a actividades en grupo. Por lo tanto, 
el proyecto provocó que los docentes aumentaran el tiempo de aula dedicado a actividades en 
grupo en 37 puntos porcentuales (del 5% al 42%). 
∙ Rendición de cuentas
El proyecto cumplió la meta de aumentar el porcentaje de tiempo de aula dedicado a actividades
en grupo en 37 puntos porcentuales (del 5% al 42%). El valor de línea de base indicaba un 
estimado del 10% en ausencia del programa, mientras que en realidad el valor fue del 5%. Por lo 
tanto, el valor de línea de base no es un grupo de control apropiado. La razón de logro debe ser 
ajustada a 1. La selección al azar crea dos grupos estadísticamente idénticos. Por consiguiente, 
ambos grupos fueron afectados de igual manera por la reforma. Por este motivo, el cambio 
puede ser atribuido completamente al proyecto.
∙ Aprendizaje
La evaluación de impacto determinó que los docentes aumentaron el porcentaje de
tiempo de aula dedicado a actividades en grupo en 37 puntos porcentuales. Por otra
parte, los alumnos con docentes capacitados obtuvieron un puntaje del 65% en la prueba.
Los alumnos con docentes que no fueron capacitados obtuvieron un puntaje del 55%
en la prueba. Por lo tanto, el proyecto provocó un aumento de 10 puntos porcentuales
en el rendimiento de los alumnos (del 55% al 65% de respuestas correctas en la prueba).
 Por ende, no se puede rechazar ninguna de las dos hipótesis puestas a prueba. Aprendimos que 
la capacitación de docentes en Pedagogía basada en Indagación y solución de Problemas (PIP) 
y la entrega de materiales didácticos pueden dar lugar a cambios en las prácticas pedagógicas 
de los docentes y el aprendizaje de los alumnos. Las condiciones para obtener estos resultados 
están explicadas en el diagnóstico, justificación y descripción del proyecto incluidos en la 
Propuesta de Desarrollo de la Operación y en la Matriz de Resultados.
∙ Análisis de atribución
5
AL DISEÑAR UN PROYECTO: 
1.
El equipo debe destinar un presupuesto 
apropiado para la evaluación.
2.
El equipo debe proponer una evaluación 
de impacto u otro análisis empírico con 
atribución si no hay evidencia ex ante 
sobre la causalidad de las intervenciones 
propuestas en contextos similares.
3.
El equipo debe especificar las fuentes 
de datos y su disponibilidad o cronograma 
de evaluación.
Conclusión
La evaluación es una valoración del logro de los objetivos de un proyecto. Una valoración de la efectividad 
del proyecto requiere una estimación de razones de logro y un análisis de atribución. La evaluación 
de impacto es un tipo de evaluación que se enfoca en estimar los efectos atribuibles al proyecto. La 
calidad de la evaluación se ve influenciada por la validez interna y externa. La evaluación permite poner 
a prueba las hipótesis plasmadas en el diseño del proyecto. Asimismo, facilita la rendición de cuentas, el 
aprendizaje y la mejora de proyectos futuros
Consejos prácticos
6
Glosario
• Aprendizaje. La adquisición de conocimientos.
• Atribución. La acción de considerar algo como causado por el proyecto.
• Evaluación de impacto. Un tipo de evaluación que cuantifica el cambio neto en los resultados que se
le puede atribuir a un proyecto específico, generalmente mediante la construcción de un contrafactual
plausible.
• Hipótesis. Una explicación propuesta para un fenómeno específico, que puede ser falsificada con
base en evidencia.
• Razón de logro. La proporción de los cambios logrados con respecto a los que el proyecto se propuso
inducir.
Recursos
∙ Curso en línea de evaluación de impacto https://www.iadb.org/es/topics-effectiveness-
improving-lives/lecciones-virtuales
∙ Portal de evaluación de impacto https://www.iadb.org/es/topics-effectiveness-improving-lives/
evaluacion-de-impacto
Bibliografía
∙ Banco Interamericano de Desarrollo (BID). 2011. “Revisión de la Matriz de Efectividad en el Desarrollo 
para operaciones con y sin Garantía Soberana”. Documento del Banco Interamericano de Desarrollo 
GN-2489-6, Washington, D.C.
∙ Banco Interamericano de Desarrollo (BID). 2018. “Informe de Terminación del Proyecto. Principios y 
Directrices”. Documento del Banco Interamericano de Desarrollo, Washington, D.C.
∙ Evaluation Cooperation Group (ECG). 2012. Big Book on Evaluation Good Practice Standards. https://
www.ecgnet.org/document/ecg-big-book-good-practice-standards [visitado el 2 de julio de 2018].
∙ Finan, F., Olken, B. A., y Pande, R., 2017. “The Personnel Economics of the Developing State.” 
Handbook of Field Experiments, Volume II. North Holland: Abhijit Banerjee y Esther Duflo (eds).
∙ Gertler, Paul J., Sebastián Martínez, Patrick Premand, Laura B. Rawlings y Christel M. J. Vermeersch. 
2017. La evaluación de impacto en la práctica, Segunda edición. Washington, D.C.: Banco 
Interamericano de Desarrollo y Banco Mundial. doi:10.1596/978-1-4648-0888-3. Licencia de atribución: 
Creative Commons CC BY 3.0 IGO http://documents.worldbank.org/curated/
en/698441474029568469/Impact-evaluation-in-practice
∙ Innovations for Poverty Action (IPA). 2016. “Guiding your Program to Build a Theory of Change.” 
https://www.poverty-action.org/sites/default/files/publications/Goldilocks-Deep-Dive-Guiding-
Your-Program-to-Build-Theory-of-Change_2.pdf [visitado el 25 de julio de 2018].
https://www.iadb.org/es/topics-effectiveness-improving-lives/lecciones-virtuales 
https://www.iadb.org/es/topics-effectiveness-improving-lives/lecciones-virtuales 
https://idbg.sharepoint.com/teams/ez-SPD/SDV/PD/15%20Project%20Closing%20Report/015.%20Technical%20D
https://idbg.sharepoint.com/teams/ez-SPD/SDV/PD/15%20Project%20Closing%20Report/015.%20Technical%20D
https://www.iadb.org/es/topics-effectiveness-improving-lives/evaluacion-de-impacto 
https://www.iadb.org/es/topics-effectiveness-improving-lives/evaluacion-de-impacto 
https://www.ecgnet.org/document/ecg-big-book-good-practice-standards
http://documents.worldbank.org/curated/en/698441474029568469/Impact-evaluation-in-practice 
https://www.iadb.org/es/topics-effectiveness-improving-lives/lecciones-virtuales
https://www.iadb.org/es/topics-effectiveness-improving-lives/evaluacion-de-impacto
https://www.ecgnet.org/document/ecg-big-book-good-practice-standards
http://documents.worldbank.org/curated/en/698441474029568469/Impact-evaluation-in-practice
https://www.poverty-action.org/sites/default/files/publications/Goldilocks-Deep-Dive-Guiding-Your-Program-to-Build-Theory-of-Change_2.pdf