Descarga la aplicación para disfrutar aún más
Vista previa del material en texto
Indicadores para el monitoreo y la evaluación 1 Indicadores Un indicador es una característica de un problema o determinante que está sujeta a medición y se expresa como una variable. Los indicadores sientan las bases para el monitoreo y la evaluación. Esta lectura busca brindar información sobre qué son los indicadores, qué características deben tener para permitir el monitoreo y la evaluación y cómo definir los indicadores en tu proyecto. Los indicadores pueden estar asociados a productos, objetivos específicos u objetivos generales. Indicadores de productos Los indicadores de productos (o simplemente “productos”) permiten a los equipos verificar la entrega de los bienes y servicios financiados por el proyecto. Durante el diseño, el equipo establece un plan de ejecución y metas para la entrega de cada producto. Durante la ejecución, los equipos reportarán sobre los avances. Una comparación de los avances contra las metas que se fijaron en el diseño permite a los equipos detectar eventuales retrasos en la implementación y tomar las medidas correctivas que sean necesarias. Indicadores asociados con los objetivos específicos Los indicadores asociados con los objetivos específicos permiten a las partes interesadas del proyecto verificar que se hayan logrado los resultados al cierre. Los indicadores de resultados deben permitir a los evaluadores verificar el logro de los objetivos específicos. Por lo tanto, para cada uno de los objetivos específicos del proyecto, el equipo debe identificar al menos un indicador de resultados. En algunos casos, los indicadores de resultados también podrían habilitar al equipo a hacer un seguimiento del desempeño del proyecto en puntos intermedios previos al cierre del proyecto. Indicadores asociados con los objetivos generales Los indicadores asociados con los objetivos generales buscan permitir a los evaluadores del proyecto analizar los impactos del proyecto sobre el problema social o económico que abordará el proyecto. Estos indicadores deben permitir a las partes interesadas verificar que se hayan logrado los objetivos generales del proyecto asociados1. Cantidad de indicadores Para dar seguimiento a un objetivo general o específico se requerirá una cantidad de indicadores que variará según el proyecto. La elección de cuántos indicadores utilizar dependerá de los resultados 1 El uso del término “indicador de impacto” no se analiza en esta lectura debido a los múltiples significados que tiene, que a veces son contradictorios entre sí. Por un análisis detallado sobre el tema, consulta el Anexo III.2 en ECG (2012, en inglés). https://www.ecgnet.org/document/ecg-big-book-good-practice-standards 2 esperados para el proyecto, los impactos esperados sobre las dimensiones de desarrollo e hitos críticos para el éxito. Es preferible contar con pocos indicadores significativos para verificar la compleción de las etapas relevantes del proceso. En el momento de decidir si incluir un indicador adicional, el equipo deberá evaluar el valor agregado que este aportaría a la toma de decisiones. Incluir demasiados indicadores podría hacer el seguimiento o la evaluación confusos para los miembros del equipo y terceros. Fuentes para identificar indicadores Algunas fuentes para identificar indicadores son el diagnóstico, las estrategias de país y el Marco de Resultados Corporativos (CRF). Las estrategias de país incluyen indicadores seleccionados para monitorear áreas prioritarias para un país específico. El CRF enumera indicadores seleccionados para monitorear áreas prioritarias para el Banco. Los equipos deben alinear los proyectos para que contribuyan a los objetivos del CRF y de la estrategia de país. Siempre que sea posible, los equipos deberán incluir indicadores del CRF o de la estrategia de país para evaluar el proyecto. La clasificación de estos indicadores como de productos, como resultados asociados a objetivos específicos o como impactos en el desarrollo asociados con el objetivo general dependerá de las características del proyecto2 . A veces no es posible obtener información sobre la característica exacta del proyecto que se necesita para hacer un seguimiento de un objetivo dado. En ese caso, puede utilizarse un indicador proxy. Un indicador proxy es aquel que proporciona una estimación razonable del valor real de un indicador que no se puede medir. Los indicadores proxy deben tener una alta correlación con la variable de interés. El equipo deberá asegurarse de que la elección de indicadores proxy guarde coherencia con los objetivos y la lógica vertical del proyecto. Por ejemplo, el producto interno bruto per cápita se usa con frecuencia como proxy de calidad de vida. Es necesario acordar los indicadores con los clientes, el Banco y otras partes interesadas. Los indicadores del proyecto deben proporcionar información relevante para aquellos que van a promover la efectividad del proyecto a través del monitoreo. La información que proporcionen los indicadores debe empoderar a estas partes interesadas para actuar al respecto si fuera necesario. Los indicadores también deben proporcionar información a quienes serán responsables por el éxito del proyecto. Indicadores SMART Los indicadores deben ser SMART: Específicos, Medibles, Alcanzables, Relevantes y Acotados en el tiempo (Specific, Measurable, Achievable, Relevant y Time-bound en inglés). Específicos: Precisos y no ambiguos Los equipos deben asegurarse de que un indicador particular haga el seguimiento de una sola característica del proyecto. Si un indicador hace el seguimiento de más de una característica, este no permitirá determinar si el proyecto está afectando a una o ambas características. Cada nivel de la lógica vertical del proyecto debe tratarse como un elemento distintivo y por separado; por lo tanto, el indicador adecuado para un nivel (por ejemplo, un indicador de resultados asociado a un objetivo específico) no puede ser el indicador adecuado para otro (por ejemplo, un indicador de productos). Si un indicador se lista en dos niveles, entonces el indicador no es lo suficientemente específico o la lógica vertical es 2 El CRF no proporciona una lista de indicadores listos para que los equipos de los proyectos los elijan y los usen. Más bien ofrece una lista de indicadores genéricos a los cuales podrían contribuir los indicadores específicos medidos por el proyecto, siempre que su definición y unidades de medida sean coherentes con los del indicador del CRF. 3 defectuosa. Dentro de cada nivel de resultados (productos, objetivos específicos y objetivos generales) los indicadores deben ser mutuamente excluyentes y colectivamente exhaustivos. Un indicador no se puede usar para medir dos resultados diferentes, y todos los resultados deben tener al menos un indicador para su seguimiento. Los equipos no deben confundir los indicadores con los objetivos. Los indicadores deben ser no direccionales (o sea, ni positivos ni negativos). Por ejemplo, un indicador no puede ser “aumentar la cantidad de palabras que leen los alumnos de cuarto grado por minuto”, sino más bien “cantidad de palabras que leen los alumnos de cuarto grado por minuto”. Cabe destacar el vínculo cercano entre objetivos e indicadores. En tanto un objetivo es una declaración que proporciona la razón de ser del proyecto y está lógicamente conectado al diagnóstico, un indicador es una característica del determinante o problema subyacente abordado. Una característica clave de los productos es la definición del estado que los califica como entregados. No especificar las características que permiten considerar que el producto está completo y fue entregado podría generar incoherencias durante el informe de los avances de la ejecución. Medibles: Susceptibles a ser medidos La función de los indicadores es facilitar la medición. Medir es asignar un número a una característica de un objeto o evento, que se puede comparar con otros objetos o eventos. Los indicadoresse apoyan en instrumentos para medir. Por ejemplo, el indicador “temperatura” mide una característica de una persona que se expresa como una variable. El instrumento es “termómetro”. La unidad de medida es “grados Celsius”. El termómetro permite medir la temperatura de una persona asignándole un número (por ejemplo, 37) en grados Celsius. La unidad de medida es una magnitud determinada de cantidad, definida y adoptada por convención o por ley, y que se utiliza como norma para medir el mismo tipo de cantidad. Algunos ejemplos son metros, dólares, kilómetros y litros. No deben confundirse las unidades de medida con los tipos de medida. El tipo de medida es el carácter metodológico de una comparación como por ejemplo razón, porcentaje u ordinal. Una definición adecuada de un indicador establece el proceso de medición y cálculo para que se pueda replicar. Para proporciones o porcentajes, esto significa que tanto el numerador como el denominador deben estar claramente definidos. Esto es fundamental para garantizar que los datos obtenidos por distintas personas en diferentes momentos sean coherentes y comparables 3. El equipo debe especificar además la unidad de observación (por ejemplo, personas, hogares, empresas y comunidades, entre otros) de cada indicador para que no haya ambigüedad en el cálculo de sus valores. Por último, ser medible significa además que el instrumento o fuente de información para cada variable incluida en el indicador está documentado. Si la fuente es un censo o una encuesta, no es suficiente decir “censo” o “encuesta”; es necesario especificar el nombre completo de la fuente y proporcionar enlaces a la documentación. 3 Con frecuencia los productos enumeran “paquetes” o “grupos”. Para este caso, el equipo podrá complementar la definición del indicador con una lista por separado de los productos específicos que se incluyen en un paquete. Una alternativa es especificar el objetivo del paquete y los estándares que se deben alcanzar en la entrega del producto. 4 Alcanzables: Realistas, razonablemente fáciles de medir y costo-efectivos Los indicadores deben ser alcanzables en dos aspectos principales: i) El proyecto debe tener indicadores con probabilidades realistas de afectar su valor de forma significativa antes del cierre del proyecto. Los mecanismos de monitoreo y evaluación no deben usar un indicador si los equipos no consideran realista que el proyecto pueda alcanzar metas de determinada magnitud para un resultado particular (por ejemplo, porque el proyecto no intenta afectar el resultado directamente, o porque es difícil cambiar el resultado). ii) Los indicadores seleccionados deben ser alcanzables en el sentido de que sea posible computar sus valores con los recursos disponibles. Algunos indicadores presentan problemas mayores para la obtención de datos debido a su costo o a las habilidades requeridas (por ejemplo, encuestas antropométricas y encuestas a gran escala). Ser realistas en el momento de planificar es importante y puede llevar a concesiones en otros criterios. Los equipos deben indicar cuál es la agencia responsable por la recolección de datos y las actividades asociadas con ella. Los equipos deben identificar los fondos con los que se financiará la recolección de datos. Relevantes: Precisos y relacionados con los objetivos del proyecto El indicador seleccionado debe proporcionar información sobre los resultados que se espera que la intervención específica afecte. Esto significa que los valores del indicador deberán ser sensibles a la intervención. Además, los indicadores del proyecto deben ser sensibles solo marginalmente a otros factores no relacionados con la intervención. El principal impulsor de cambios en los valores del indicador debe ser el proyecto. Un indicador debe ser focalizado para que aporte datos que informen sobre el desempeño del proyecto. Focalizado significa que la recolección de datos se centra en los beneficiarios previstos del proyecto, sus usuarios y/o la agencia ejecutora. Acotados en el tiempo: Que incluyen un cronograma para realizar mediciones Los indicadores deben ser acotados en el tiempo en varios aspectos: i) Los indicadores deben ser acotados en el tiempo para la recolección de datos. Por ejemplo, para evaluar la productividad agrícola, se recomienda realizar encuestas justo después de completar la cosecha principal. Reducir el período de recuerdo permite que la medición sea más precisa. El momento adecuado para recopilar datos depende del contexto específico en que se recabe la información. ii) Los indicadores deben ser acotados en el tiempo en cuanto a la cantidad de instancias de recolección de datos que se necesiten. Un plan básico de monitoreo y evaluación requiere al menos dos rondas de recolección de datos. ∙ Línea de base: Es un período previo a una intervención que describe la situación en la que se implementará el proyecto. La línea de base informa el estado “antes” en un análisis de tipo “antes y después”. 5 4 Validar indicadores asegura que un indicador mida el mismo concepto en diferentes objetos, arroje el mismo número si se aplica varias veces, y arroje el mismo número si lo miden diferentes observadores. ∙ Seguimiento: Es un período posterior a la implementación del proyecto que describe el estado de la entrega de productos y de los resultados. Los períodos para el seguimiento deben permitir evaluar el logro de objetivos. El seguimiento informa el estado de “después” en un análisis de tipo “antes y después”. iii) Es necesario definir los indicadores para permitir a los equipos fijar metas realistas. Una meta es un valor deseado para el indicador, que refleja mejoras a alcanzar dentro de un plazo específico. Las metas deben ser acotadas en cuanto al transcurso del tiempo entre la entrega de productos y los resultados esperados. iv) Por último, los indicadores deben ser acotados en el tiempo en cuanto al tiempo que requiere la recolección de datos. Esta condición se relaciona con los recursos disponibles, siendo críticos el tiempo del personal y el de los socios. Por ejemplo, si recolectar los datos de una encuesta de recuerdo dietario en un hogar lleva dos días, será necesario evaluar nuevamente la relevancia de este indicador. Índices y rankings Hay dos tipos de indicadores que con frecuencia requieren aclaración: índices y rankings. Un índice es una cantidad única utilizada para cuantificar el valor ponderado de un posiblemente complejo conjunto de cantidades. Generalmente, los índices miden muchas dimensiones, algunas de las cuales no son de interés para el equipo de proyecto. Los índices tienen valores que con frecuencia afectan muchos factores y podrían ser difíciles de interpretar en el contexto del proyecto. Para estos casos, el equipo deberá identificar los indicadores usados para construir el índice en el que se enfoca el proyecto. Esos indicadores estarán más estrechamente relacionados con la intervención y serán más adecuados para el monitoreo y la evaluación. El equipo podrá seguir vinculando la contribución del proyecto al índice. Si se usa un índice como indicador de resultados, el equipo deberá especificar qué dimensión mide, citar su validación y proporcionar la documentación asociada 4. Los rankings son indicadores que muestran un orden de precedencia, o sea, quién está en primer lugar, segundo, tercero, y así sucesivamente. Con frecuencia estos indicadores no son útiles a efectos de evaluación, ya que hacen una evaluación relativa sin una métrica subyacente. Los rankings tienden a ser inestables. Además, pueden comprometer el monitoreo y la evaluación, porque podrían conferir la idea de que el proyecto busca que los usuarios o beneficiarios sean tan “buenos” como alguien más. Este no es el objetivo de una evaluación. El objetivo de monitorear y evaluar es hacer un análisis objetivo de una situación y ayudar a los involucrados a mejorar de acuerdo con sus propias necesidades y aspiraciones. 6 ConclusiónLos indicadores son necesarios para monitorear la implementación y evaluar la efectividad de un proyecto de desarrollo. En la etapa de diseño, es necesario definir indicadores para establecer sistemas de monitoreo y evaluación. Los indicadores son características sujetas a medición de un problema o determinante y que se expresan como variables. Los equipos deben definir al menos un indicador por cada objetivo general o específico, y un indicador por producto. Los indicadores deben ser específicos, medibles, alcanzables, relevantes y acotados en el tiempo. Ejemplo Un proyecto busca tratar el bajo desempeño en la prueba nacional de matemáticas de los niños inscritos en escuelas primarias públicas en Belice. Como solución, propone mejorar la calidad de la enseñanza, que es un determinante importante en el desempeño de los alumnos. El proyecto planea proporcionar capacitación y materiales didácticos a los docentes. *** ∙ Objetivo general: Mejorar el desempeño de los alumnos ∙ Indicador: Puntaje en la prueba nacional de matemáticas ∙ Instrumento: Prueba nacional de matemáticas (Ministerio de Educación, Juventud, Deportes y Cultura, MoEYSC, 2012) ∙ Fórmula: [Cantidad de puntos por preguntas con respuestas correctas/Todos los puntos si todas las preguntas de la prueba son correctas]*100 ∙ Unidad de medida: [puntos]/[puntos] ∙ Agencia responsable por la recolección de datos: MoEYSC *** ∙ Objetivo específico: Mejorar la calidad de la enseñanza ∙ Indicador: Porcentaje del tiempo de clase transcurrido en actividades en grupo ∙ Instrumento: Tercer Estudio Internacional de Matemáticas y Ciencias (National Center for Education Statistics, 2003) ∙ Fórmula: Tiempo en clase durante el cual los alumnos llevan a cabo actividades en grupo/Tiempo total de clase ∙ Unidad de medida: [minutos]/[minutos] ∙ Agencia responsable por la recolección de datos: MoEYSC Productos ∙ Indicador de producto 1: Docentes de primaria capacitados en PIP ∙ Unidad de medida: [docentes] ∙ Instrumento: Lista de finalización del curso ∙ Indicador de producto 2: Paquetes de materiales didácticos entregados ∙ Unidad de medida: [paquetes] ∙ Instrumento: Recibos de la escuela ∙ Comentario: Los paquetes constan de 20 juegos de contadores, 20 juegos de figuras sólidas y 20 juegos de regletas de Cuisenaire ∙ Agencia responsable por la recolección de datos: MoEYSC 7 Consejos prácticos EN EL MOMENTO DE DESCRIBIR UN PROYECTO, RECUERDA QUE: 1. Idealmente, el objetivo general incluye al menos un indicador en la matriz de resultados 2. Cada objetivo específico debe tener al menos un indicador en la matriz de resultados para evaluar el avance del proyecto y los logros al cierre 3. Todos los indicadores deben ser SMART (sigla en inglés para específicos, medibles, alcanzables, relevantes y acotados en el tiempo) 4. La matriz de resultados, o el plan de monitoreo y evaluación del proyecto, debe incluir medios de verificación y una fuente definida de datos o un plan claro para la recolección de datos para cada indicador 8 Glosario ∙ Impacto en el desarrollo. El efecto positivo o negativo del proyecto en el problema social o económico que el proyecto busca abordar. ∙ Indicador. Una característica de un determinante o problema que está sujeta a medición y que se expresa como una variable. Los indicadores sientan las bases para el monitoreo y la evaluación. ∙ Indicador proxy. Un indicador que proporciona una valoración razonable del valor real de otro indicador que no se puede medir. ∙ Índice. Una cantidad única utilizada para cuantificar el valor ponderado de un posiblemente complejo conjunto de cantidades. ∙ Medir. El acto de asignar un número a una característica de un objeto o evento, que se puede comparar con otros objetos o eventos. ∙ Producto. Los bienes y servicios tangibles que se producen por las actividades del proyecto, y que están generalmente bajo el control directo de la agencia ejecutora. ∙ Ranking. Indicadores que muestran un orden de precedencia, o sea, quién está en primer lugar, en segundo lugar, etc. ∙ Resultado. El efecto positivo o negativo del proyecto, en una dimensión medible, vinculado a por lo menos un determinante del problema y causado por el uso de los productos que financia el proyecto. ∙ Seguimiento. Un período posterior a la implementación del proyecto que describe el estado de la entrega de productos y de los resultados. ∙ Tipo de medida. El carácter metodológico de una comparación, como por ejemplo razón, porcentaje u ordinal. ∙ Unidad de medida. Una magnitud determinada de cantidad, definida y adoptada por convención o por ley, y que se utiliza como norma para medir el mismo tipo de cantidad. Recursos ∙ Abdul Latif Jameel Poverty Action Lab (J-PAL). Measurement and Data Collection (Recolección y medición de datos, en inglés): https://www.povertyactionlab.org/research-resources/measurement- and-data-collection ∙ Gertler, Paul J., Sebastián Martínez, Patrick Premand, Laura B. Rawlings y Christel M. J. Vermeersch. 2017. La evaluación de impacto en la práctica, Segunda edición. Washington, D.C.: Banco Interamericano de Desarrollo y Banco Mundial. doi:10.1596/978-1-4648-0888-3. Licencia de atribución: Creative Commons CC BY 3.0 IGO http://documents.worldbank.org/curated/ en/698441474029568469/Impact-evaluation-in-practice ∙ Portal de evaluación de impacto del BID https://www.iadb.org/es/topics-effectiveness-improving- lives/evaluacion-de-impacto Bibliografía ∙ Banco Interamericano de Desarrollo (BID). 2011. “Revisión de la Matriz de Efectividad en el Desarrollo para operaciones con y sin Garantía Soberana”. Documento del Banco Interamericano de Desarrollo GN-2489-6, Washington, D.C. https://www.povertyactionlab.org/research-resources/measurement-and-data-collection https://www.povertyactionlab.org/research-resources/measurement-and-data-collection http://documents.worldbank.org/curated/en/698441474029568469/Impact-evaluation-in-practice http://documents.worldbank.org/curated/en/698441474029568469/Impact-evaluation-in-practice https://www.iadb.org/en/topics-effectiveness-improving-lives/impact-evaluation https://www.iadb.org/en/topics-effectiveness-improving-lives/impact-evaluation https://idbg.sharepoint.com/teams/ez-SEC/Registered%20Documents/RI-Reg-GN/RIRegGNSpanish/Revisión%20de%20la%20Matriz%20de%20Efectividad%20en%20el%20Desarrollo%20para%20Operaciones%20con%20y%20sin%20Garantía%20Soberana_%20Nueva%20versió%20%5b35773698%5d.PDF 9 ∙ Banco Interamericano de Desarrollo (BID). 2012. “Referencia rápida para el diseño de matrices de resultados”. Documento del Banco Interamericano de Desarrollo GN-2489-6, Washington, D.C. ∙ Evaluation Cooperation Group (ECG). 2012. Big Book on Evaluation Good Practice Standards. https:// www.ecgnet.org/document/ecg-big-book-good-practice-standards [visitado el 2 de julio de 2018]. ∙ Gertler, Paul J., Sebastián Martínez, Patrick Premand, Laura B. Rawlings y Christel M. J. Vermeersch. 2017. La evaluación de impacto en la práctica, Segunda edición. Washington, D.C.: Banco Interamericano de Desarrollo y Banco Mundial. doi:10.1596/978-1-4648-0888-3. Licencia de atribución: Creative Commons CC BY 3.0 IGO http://documents.worldbank.org/curated/ en/698441474029568469/Impact-evaluation-in-practice ∙ Innovations for Poverty Action (IPA). 2016. “Guiding your Program to Build a Theory of Change.” https://www.poverty-action.org/sites/default/files/publications/Goldilocks-Deep-Dive-Guiding- Your-Program-to-Build-Theory-of-Change_2.pdf [visitado el 25 de julio de 2018]. ∙ National Center for Education Statistics. 2003. Instrumentos en video del Estudio de las Tendencias en Matemáticas y Ciencias (TIMSS) http://www.timssvideo.com/instruments [visitado el 17 de septiembre de 2019]. ∙ Peter H. Rossi, Mark W. Lipsey y Howard E. Freeman. 2004. Evaluation: A Systematic Approach. Séptima edición. Thousand Oaks, CA. SAGE Publications. ∙ Practical Concepts Incorporated (PCI). n.d. “Guidelinesfor Teaching Logical Framework Concepts.” Obtenido de https://pdf.usaid.gov/pdf_docs/pnaec576.pdf [visitado el 25 de julio de 2018]. https://idbg.sharepoint.com/teams/ez-SEC/Registered%20Documents/RI-Reg-GN/RIRegGNSpanish/Revisión%20de%20la%20Matriz%20de%20Efectividad%20en%20el%20Desarrollo%20para%20Operaciones%20con%20y%20sin%20Garantía%20Soberana_%20Nueva%20versió%20%5b35773698%5d.PDF https://www.ecgnet.org/document/ecg-big-book-good-practice-standards https://www.ecgnet.org/document/ecg-big-book-good-practice-standards http://documents.worldbank.org/curated/en/698441474029568469/Impact-evaluation-in-practice http://documents.worldbank.org/curated/en/698441474029568469/Impact-evaluation-in-practice https://www.poverty-action.org/sites/default/files/publications/Goldilocks-Deep-Dive-Guiding-Your-Pr https://www.poverty-action.org/sites/default/files/publications/Goldilocks-Deep-Dive-Guiding-Your-Pr http://www.timssvideo.com/instruments [ https://pdf.usaid.gov/pdf_docs/pnaec576.pdf
Compartir