Descarga la aplicación para disfrutar aún más
Vista previa del material en texto
Guía para el Seguimiento y Evaluación de Proyectos Sociales Guía para el Seguimiento y Evaluación de Proyectos Sociales Coordinación de Proyecto: Project Concern International A.C. pcimexico.contacto@gmail.com Compilación y autoría: Castulina Niño-Martínez Castro Coautoría: María Alicia de la Macorra Barroso Revisión: María de los Ángeles Moreno Macías Diseño gráfico y fotografías: Carlos Ramiro Jaramillo Ibarra Impresión: Handel Mayer. Unicornio 23 Col. Prado Churubusco Coyoacán 04230 México D.F. © Project Concern International, A.C., pcimexico.contacto@gmail.com Queda prohibida la reproducción total o parcial de esta Guía, así mismo su distribución, sin autorización expresa del titular de la misma. Este material forma parte del Programa de Profesionalización de las Organizaciones de la Sociedad Civil 2013, para el módulo: Evaluación de Proyectos Sociales en el marco del Programa de Coinversión Social del Instituto Nacional de Desarrollo Social. mailto:pcimexico.contacto@gmail.com Contenido Presentación CAPITULO 1 Conceptos básicos del seguimiento o monitoreo y la evaluación 1.1 Importancia del seguimiento o monitoreo y la evaluación de los proyectos sociales 1.2 Propósito de un sistema de seguimiento o monitoreo y evaluación. 1.3 Del seguimiento o monitoreo a la evaluación. 1.4 SM&E en el ciclo del proyecto CAPITULO 2 El seguimiento o monitoreo de un proyecto implica 2.1 Planeación a. ¿Qué se va a monitorear? b. ¿Quiénes son los responsables de levantar la información? c. ¿Cómo se obtiene la información? d. ¿Cuándo se realiza el seguimiento o monitoreo de un proyecto? e. ¿Cómo se utilizan los resultados del monitoreo? f. ¿Qué presupuesto se requiere para las actividades de monitoreo? 2.2 Formatos para el seguimiento o monitoreo de un proyecto 2.3 Responsables del monitoreo por niveles de la organización CAPITULO 3 La evaluación de los proyectos sociales 3.1 Criterios básicos de la evaluación a. Pertinencia b. Eficiencia c. Eficacia d. Impacto e. Sostenibilidad 3.2 Metodologías de evaluación de carácter económico a. Análisis Costo Beneficio (ACB): b. Análisis del Costo Mínimo (ACM): c. Análisis Costo-Impacto (ACI): 3.3 Metodologías de evaluación de carácter social a. Según su función b. Según la etapa en el ciclo del proyecto c. Según el evaluador d. Según el tipo de análisis e instrumentos. e. Según el diseño metodológico de la evaluación 3.4 Desarrollo de la evaluación a. Criterios de selección de los proyectos a evaluar b. Planeación c. Términos de referencia d. Plan de trabajo e. Implementación f. Informe final 03 05 05 06 09 12 17 17 23 25 27 28 33 36 46 Contenido - 1 Contenido - 2 CAPITULO 4 De los objetivos a los indicadores 4.1 ¿Qué son los indicadores? Algunas definiciones 4.2 Cualidades de los indicadores 4.3 Objetivos metas e indicadores 4.4 Los indicadores y las áreas del desarrollo 4.5 Tipología de indicadores 4.5.1 Indicadores según medición. 4.5.2 Indicadores según nivel de intervención. 4.5.3 Indicadores según calidad. 4.5.4 Indicadores simples y compuestos. 4.6 Construcción de indicadores 4.6.1 Determinar lo que se quiere medir 4.6.2 Identificar las variables involucradas en el concepto a medir 4.6.3 Formular el indicador 4.6.4 Construcción de los índices 4.7 Problemas que surgen en relación con los indicadores. CAPITULO 5 Técnicas e instrumentos para la evaluación de los proyectos sociales 5.1 Características de la investigación cuantitativa y cualitativa 5.2 Premisas principales de cualquier investigación social 5.3 Técnicas, metodologías e instrumentos 5.4 Técnicas cuantitativas 5.4.1 Encuestas 5.4.2 Medición directa o medición por observación 5.4.3 Técnicas de análisis económico (ACE o ACI & ACB) 5.5 Técnicas cualitativas 5.5.1 Estudio de casos 5.5.2 Entrevistas individuales 5.5.3 Grupos Focales 5.5.4 Delphi- panel de expertos 5.5.5 Análisis documental 5.6 Técnicas participativas 5.6.1 Principios básicos CAPITULO 6 Análisis de la información, presentación y difusión de los resultados 6.1 Sistematización y organización de datos 6.2 Análisis e interpretación de datos 6.3 Conclusiones y recomendaciones 6.4 Integración del reporte de resultados 6.5 Comunicación y difusión. ANEXOS GLOSARIO PARA SABER MÁS 57 57 60 62 62 64 75 90 93 93 96 101 103 114 133 141 142 145 149 152 155 157 215 221 El seguimiento o monitoreo y la evaluación son reconocidos como dos etapas fundamentales en el ciclo del proyecto, los actores responsables del diseño, desarrollo y operación de proyectos, independientemente del tipo de proyecto que se trate (económico, político o social), la temática que se aborde (salud, educación, medio ambiente, productivo, derechos humanos, ciudadanía etc.) o del sector en el que se desarrolle (público, privado o social), reconocen la importancia de la evaluación. Sin embargo en la realidad el seguimiento o monitoreo y particularmente la evaluación no siempre se llevan a la práctica de forma metódica y sistemática, más aún en nuestra sociedad en un sentido amplio no existe una cultura de evaluación que nos permita aprender de las experiencias, promover un proceso de rendición de cuentas y tomar decisiones fundamentadas. Especialmente las organizaciones sociales que, por lo general están involucradas en una dinámica de exigencia constante y exceso de cargas de trabajo, no se permiten dedicar el suficiente tiempo y/o destinar los recursos adecuados a las actividades de recopilación y análisis de datos para un monitoreo regular; como consecuencia, la evaluación se realiza de manera superficial y apresurada restándole, con ello, una gran parte de su potencial para el mejoramiento de los procesos. Esta es una de las razones por las cuales, en algunas organizaciones sociales, existen resistencias para poner en tela de juicio las propias acciones y confiarlas en las manos de evaluadores externos o internos; actitudes de esta naturaleza obstaculizan avanzar hacia una cultura de la evaluación en el desarrollo de actividades sociales de gran importancia y generan juicios perjudiciales como considerarla un lujo inútil, una actitud intransigente del donante, una inquisición sin diálogo, un veredicto no negociable etc . Así también por mucho tiempo se ha tenido la ingenua creencia de que un proyecto social, al ser producto de buenas intenciones, garantiza buenos resultados. Sin embargo, la experiencia ha demostrado que no bastan las buenas ideas e intenciones, a veces los proyectos no generan los efectos deseados o incluso pueden llegar a tener impactos negativos sobre la población y el medio en el que intervienen. Los procesos sociales generalmente son a largo plazo y son difíciles de predecir, por lo que debemos estar preparados para cuando las cosas no salgan exactamente como lo planeamos. Si bien esto puede parecer un escenario bastante incierto, es también una oportunidad para aprender, adaptarse al cambio, desarrollar soluciones creativas y propiciar que el mismo aprendizaje sea un resultado positivo de la intervención, que sirva a la organización, a la teoría y a la experiencia, y de forma más importante a los beneficiarios. Presentación - 3 Presentación En este sentido, es importante acercar los conceptos y las herramientas a los responsables de las organizaciones sociales para facilitar el trabajo en el diario actuar y así mismo reconocer el valor del monitoreo y la evaluacióncomo una oportunidad de aprendizaje y apertura a nuevas perspectivas de mejoramiento de la gestión y organización de los proyectos sociales. Esta Guía para el Seguimiento o Monitoreo y Evaluación de proyectos (SM&E) no es un documento acabado, ha sido elaborada como un recurso “en construcción” que puede ser utilizada de acuerdo a la experiencia de cada lector, la idea simplemente es apoyar el seguimiento y la evaluación de las iniciativas de desarrollo social. La Guía compila los conceptos y metodologías esenciales para el desarrollo de una investigación de carácter evaluativo y ha sido elaborada para los responsables de organizaciones sociales que tienen el desafío de diseñar y desarrollar proyectos que tengan un impacto relevante sobre la calidad de vida de miles de hombres y mujeres que viven en una condición de marginación del bienestar económico y social. Las organizaciones sociales representan una oportunidad concreta para que estos miles de hombres y mujeres tengan acceso a servicios educativos y de salud, a medios de producción para incrementar los ingresos familiares, y particularmente importante, es lo que las organizaciones hacen para fortalecer a las comunidades en el conocimiento y ejercicio de sus derechos humanos. A partir de la reflexión anterior los objetivos de esta guía son: Ofrecer un panorama de los aspectos básicos de la evaluación, para que los responsables de las organizaciones sociales realicen sus propias evaluaciones internas. Presentar los conceptos teóricos y recursos metodológicos centrales, desde la recopilación de información hasta la difusión de la misma, que permitan a las organizaciones sociales aprovechar el potencial de la evaluación . La guía entonces, se ha estructurado para presentar los conceptos básicos para evaluar un proyecto y desarrolla de manera sucinta las principales metodologías que van desde las herramientas para la recopilación de datos, hasta el tema de la construcción de los indicadores, a partir de dos supuestos del enfoque participativo: la triangulación (aplicar una combinación de metodologías de análisis y/o herramientas) y la ignorancia óptima (no recoger más información de la que se necesita o se puede analizar); estos aspectos son claves para guiar a los responsables de las organizaciones sociales que trabajan todos los días con recursos limitados, pero con una gran dosis de vocación y creatividad en pro de aportar para que la población mexicana tenga mayores oportunidades de desarrollo y equidad. La información de la Guía ha sido reunida de diversas fuentes. Se ha hecho una recopilación de la información más relevante de los múltiples recursos y publicaciones disponibles, pero se invita a consultar la bibliografía y los recursos en línea, para saber más… Presentación - 4 El Monitoreo y la Evaluación para: Mejorar el desempeño de un proyecto. Fortalecer la toma de decisiones y la planeación. Contribuir al aprendizaje de la organización. Avanzar hacia el empoderamiento, desarrollo y crecimiento de la organización. Mejorar la rendición de cuentas. Contribuir al conocimiento Capítulo 1 Conceptos básicos del seguimiento o monitoreo y la evaluación (SM&E) 1.1. Importancia del seguimiento o monitoreo y la evaluación de los proyectos sociales. Para incrementar las posibilidades de efectividad de cualquier programa o proyecto social es necesario contar con un buen diseño, una buena planeación, una participación activa de los beneficiarios y un sistema o programa de seguimiento o monitoreo y evaluación (SM&E) apropiados. El SM&E permite darnos cuenta del avance de nuestro proyecto. El seguimiento o monitoreo y la evaluación generan información para mejorar la acción, reorientarla o hacer una planeación futura mucho más asertiva y efectiva. Capitulo 1 - 5 Sin un monitoreo y una evaluación efectivos, no es posible identificar si nuestro trabajo va en la dirección correcta, si los cambios se deben a nuestras acciones o son producto de otras circunstancias. Aún con todos los recursos, la implementación de un programa o proyecto social o de desarrollo no garantiza por sí mismo la consecución de los objetivos planteados ni un impacto positivo en la vida de las personas, a menos que haya un seguimiento del mismo. 1.2 Propósitos del seguimiento o monitoreo y evaluación. Existe una clara y lógica interrelación entre los propósitos del SM&E de un pro- yecto (Figura 1) siendo estos: Mejorar el desempeño a través de la detección de problemas de un proyecto en etapas iniciales de la implementación, reducir las posibilidades de fracaso y ahorrar recursos y tiempo al identificar de oportunamente alternativas de acción. Fortalecer la toma de decisiones y la planeación, aprender de los logros y las dificultades y contribuir con la toma de decisiones para el diseño de iniciativas futuras. Capitulo 1 - 6 Contribuir al aprendizaje institucional y al aprendizaje social, al promover el conocimiento del contexto, de los procesos y de las estrategias. Avanzar hacia el empoderamiento a través de fortalecer las capacidades de la población involucrada, de los socios locales, del equipo encargado de la ejecución y de la misma organización. Mejorar la rendición de cuentas de las organizaciones responsables informar a los donantes y a los beneficiarios sobre el uso de los recursos y el impacto de los proyectos, esto puede fomentar el apoyo público, privado y político de las iniciativas. Contribuir a la construcción del conocimiento, el análisis de la evaluación permite compartir con otros, difundir los aprendizajes y las mejores prácticas, contribuyendo al conocimiento general de los conceptos y procesos de desarrollo. Esto puede servir tanto a la misma organización como a otras organizaciones o instituciones gubernamentales y académicas o de investigación. Capitulo 1 - 7 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ Figura 1. Propósitos de un sistema SM&E Capitulo 1 - 8 1.3 Del seguimiento o monitoreo a la evaluación. El seguimiento o monitoreo es un proceso continuo y sistemático para obtener y analizar información sobre el avance hacia la consecución de las metas y objetivos de un proyecto, se refiere a la verificación continua de la implementación del proyecto (Gosparini et al., 2004). Con un buen seguimiento o monitoreo de un proyecto podemos conocer: Si los recursos materiales y financieros son suficientes Si el personal encargado de la ejecución tiene la calificación y las capacidades necesarias. Si el plan de trabajo ha sido implementado en los tiempos y en la forma planeada. Si las actividades realizadas son coherentes con los planes de trabajo. Si estamos progresando para avanzar hacia los resultados u objetivos propuestos. Si la respuesta de la población involucrada en las actividades del proyecto es positiva. Si existen circunstancias o eventos inesperados. La evaluación se define como una apreciación sistemática y objetiva de un Capitulo1 - 9 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ proyecto o programa que va en curso o ha concluido. Su propósito es determinar la pertinencia y el cumplimiento de los objetivos, la eficiencia, la eficacia, el impacto y la sostenibilidad (Organización para la cooperación y el desarrollo económicos /OECD/DAC, 2002). La evaluación es una estrategia fundamental para la toma de decisiones, porque permite reflexionar sobre la calidad y el alcance del propio trabajo, proporcionando valiosos insumos para la planeación futura. Los criterios básicos para la evaluación de un proyecto tienen que ver con la pertinencia (de los problemas y las necesidades identificados en relación a la formulación de las posibles soluciones) la eficiencia (de los procesos de conversión de insumos en resultados), la eficacia (en qué medida el proyecto puede producir los resultados esperados) el impacto (cómo contribuye a la introducción de cambios a largo plazo) y la sostenibilidad (permanencia o durabilidad de los cambios en el tiempo). El seguimiento o monitoreo y la evaluación están interrelacionados pero son procesos distintos, mientras que el monitoreo es un proceso continuo y permanente para asegurar que el proyecto va encaminado a alcanzar su objetivo, la evaluación se realiza en periodos establecidos, entre lapsos más largos. Capitulo 1 - 10 La evaluación, por su parte, permite la formulación de conclusiones acerca de lo que se observa a una escala mayor, del diseño del proyecto y sus impactos (Ortegón, Pacheco y Prieto, 2005). Los procesos de monitoreo y de evaluación son complementarios: Sin embargo, cada proceso tiene funciones específicas y existen algunas diferencias fundamentales que se resumen en la siguiente tabla. Tabla 1. Diferencias entre el monitoreo y la evaluación Fuente: Berumen M. Monitoreo y Evaluación de Proyectos con base en información de Gosparini 2004. Capitulo 1 - 11 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ Monitoreo Evaluación Función Información para la gestión del proyecto. Valoración más profunda enfocada en el aprendizaje y la rendición de cuentas. Enfoque Revisión del progreso del proyecto. Enfoque en los resultados, objetivos e impacto más amplio y a largo plazo. Insumos Levantamiento de datos/información. Información proviene de la recolección de datos y de fuentes secundarias para el monitoreo, para la línea base, etc. Tiempo Continuo, durante toda la implementación del proyecto. En momentos específicos del ciclo del proyecto. Responsable Equipo responsable del proyecto. Evaluadores internos o externos al proyecto (o a la organización ejecutora). Presentación Presentación directa con base en formatos estandarizados. Presentación menos estandarizada y enfocada en menos temas, pero analizados con mayor profundidad. Difusión Entre el equipo del proyecto y los usuarios. Más amplia: partes involucradas, donantes, opinión pública, etc. 1.4 SM&E en el ciclo del proyecto El proceso de diseño y desarrollo de un proyecto se resume en el Ciclo del Proyecto. Este ciclo consiste en una serie de pasos vinculados entre sí; la identificación de la situación, el diseño del proyecto, su ejecución, seguimiento y la evaluación (Figura 2). La etapa de planeación y diseño es crucial para todo el desarrollo del proyecto pues es cuando se define el SM&E, y se establece la información que se requiere antes de la intervención (línea base) y la información (a través de la formulación de indicadores) que permita conocer los avances, la efectividad y el impacto, es decir se integra un sistema de medición. El plan de SM&E se define antes de la ejecución de un proyecto, se define justo en la planeación del proyecto, para garantizar su desarrollo. El monitoreo se realizará periódica y sistemáticamente durante todo el tiempo de implementación del proyecto. Esto implica el seguimiento de las actividades y revisión de los objetivos, así como la recolección, sistematización y análisis de datos. Posteriormente, se lleva a cabo el proceso de evaluación que va más allá de la medición, es una etapa más del ciclo del proyecto. La evaluación producirá información que es fundamental para la rendición de cuentas, la implementación de recomendaciones y mejorar el desempeño. Estos aprendizajes pueden ser valiosos tanto para determinar las necesidades de reformulación del mismo proyecto o para ser considerados en la formulación de nuevos proyectos. Capitulo 1 - 12 Figura 2. SM&E en el Ciclo del Proyecto Fuente: Elaboración propia con base en Comisión Europea (CE, 1993) Un proyecto bien diseñado, con una cadena de efectos clara, será fácilmente monitoreado y evaluado. Un proyecto que no cumpla con esta característica muy probablemente fallará en la consecución de sus objetivos. Capitulo 1 - 13 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ En la etapa de diseño se recomienda: Que la lógica de intervención sea coherente y clara, que los objetivos, las actividades y las estrategias estén definidas correctamente. Que el marco de SM&E sea factible y significativo con relación a los objetivos del proyecto que existan los medios para verificar el avance y el resultado de la acción. Que exista un plan de seguimiento o monitoreo y evaluación con métodos, procedimientos y personas responsables claramente pre-definidos. Que las lecciones y las buenas prácticas aprendidas de los proyectos anteriores sean sistematizadas y capitalizadas en nuevos proyectos. En síntesis, el monitoreo se ocupa del análisis de los distintos componentes de la gestión interna, y la evaluación de un proyecto centra su atención en la relación entre los resultados y el logro de objetivos. Capitulo 1 - 14 En el monitoreo, el centro del análisis está en la eficacia, la eficiencia y la focalización (lo interno a la gestión del proyecto), en la evaluación se incorporan los efectos y el impacto (lo externo, los cambios en la población objetivo). Existen distintos modelos para la planeación de los proyectos, uno de los más utilizados por las organizaciones, es el Modelo Lógico que es un enfoque de análisis, diseño, planeación, ejecución y evaluación de proyectos que busca, a través de una matriz, resumir la lógicade funcionamiento de todo un proyecto o programa. En el anexo 1 se incluye una breve presentación de la planeación de un pro- yecto a través de un modelo lógico. Y en el anexo 2 una ficha técnica para inte- grar un proyecto siguiendo este modelo. Capitulo 1 - 15 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ El seguimiento o monitoreo implica: Un proceso continuo y estructurado de obtención y análisis de información que involucra a toda la organización y a los beneficiarios del proyecto. Un proceso sistemático paralelo a las actividades del proyecto. Un proceso que requiere de disciplina, periodicidad, y recursos para su desarrollo. Capitulo 2 - 17 2.1 Planeación Monitorear un proyecto implica un proceso continuo de verificación de la ejecución del proyecto de acuerdo a lo planeado. El seguimiento o monitoreo se desarrolla en distintos niveles de la gestión, con el objeto de conocer sobre los insumos, las actividades, los procesos y los productos, cuyos principales indicadores se relacionan con el tiempo, la cantidad, la calidad y el costo que tiene cada uno, debe ser visto como un proceso integral de la ejecución del proyecto, que se lleva a cabo de forma paralela a las actividades, las cuales deben ser revisadas sistemáticamente. Capítulo 2 El seguimiento o monitoreo de un proyecto implica Capitulo 2 - 18 El seguimiento o monitoreo está entonces tan ligado a las actividades del proyecto que en muchas ocasiones es visto como una labor cotidiana de la implementación y no como un proceso independiente y adicional. Para realizar un seguimiento adecuado del proyecto, se recomienda contar con un plan que debe ser acordado entre los involucrados (responsables y beneficiarios) y debe hacerse desde la etapa de diseño del proyecto, esto es fundamental para que puedan considerarse los recursos necesarios y para posibilitar la operación del monitoreo. Este marco debe facilitar el monitoreo o seguimiento sistemático y debe responder a las siguientes preguntas: Figura 3. Preguntas para orientar el SM&E. a. ¿Qué se va a monitorear? Es fundamental discutir con los responsables y beneficiarios del proyecto que información se requiere y definir las preguntas y los indicadores relevantes para obtenerla. La información que se determine para el monitoreo será esencial para la evaluación y la toma de decisiones, y se puede clasificar en tres categorías que corresponden a diferentes propósitos: Información sobre la ejecución de las actividades planeadas y nivel de participación de los beneficiarios para apoyar la gestión cotidiana de los proyectos sobre el campo. Estos datos se obtienen con un monitoreo sistemático que permite identificar los problemas de forma oportuna. Información sobre los resultados obtenidos y la respuesta de los beneficiarios para comprobar los avances y revisar los planes de trabajo. Esta información se puede obtener través de un monitoreo periódico, que permita analizar los problemas y obstáculos principales y sugerir medidas correctivas. Información sobre la consecución del objetivo específico para revisar la lógica de intervención y el avance hacia la transformación de problemas. Para este tipo de información se realiza el monitoreo en momentos específicos de la vida del proyecto de manera que pueda sugerir ajustes en el diseño o la intervención. Capitulo 2 - 19 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ b. ¿Quiénes son los responsables de obtener la información? Dependiendo del tipo de información que se vaya a recolectar, las fuentes y los métodos, habrá distintas personas responsables de obtenerla. La asignación de responsabilidades debe estar clara y ser aceptada por todos los que van a intervenir. Un proceso de monitoreo requiere de recursos humanos capacitados lo que im- plica que el propio proyecto debe asignar recursos para la capacitación del per- sonal. El valor guía del personal involucrado es la ética y honestidad. Ya que sin éstas cualidades solo sería un ejercicio no útil que puede traer consecuencias no deseadas. c. ¿Cómo se obtiene la información? Existen múltiples métodos y herramientas para la recolección de información, la selección de las adecuadas dependerá de la naturaleza del proyecto, así como de la capacidad del personal y de los involucrados, en el apartado 5 de esta Guía se presentan algunas técnicas que pueden ser utilizadas tanto en el segui- miento como en la evaluación. Capitulo 2 - 20 d. ¿Cuándo se realiza el seguimiento o monitoreo de un proyecto? Si bien el monitoreo es un proceso continuo y sistemático durante toda la vida del proyecto, la recolección de datos debe ser realista, lo cual implica asegurar que la frecuencia y la cantidad de herramientas y datos requeridos no se vuelva una carga para los responsables del proyecto o para los beneficiarios. Como regla general se recomienda una mayor frecuencia para indicadores y datos de proceso y una menor frecuencia para obtener información acerca del efecto o impacto del proyecto. Los cambios sociales por lo general toman mucho tiempo, e intentar comprobarlos de forma demasiado frecuente, dificulta ver la diferencia de un momento a otro. En la mayor parte de los casos, la información sólo es relevante cuando permite ver una tendencia, lo cual puede observarse solo a partir de la recolección de datos en distintos momentos de la vida del proyecto (Bakewell et al., 2003). La periodicidad como tal es entonces un tema estrechamente relacionado con la naturaleza del proyecto. Aun así se recomienda que el monitoreo se realice al menos dos veces al año. Capitulo 2 - 21 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ e. ¿Cómo se utilizan los resultados del monitoreo? La difusión de los resultados del monitoreo es importante para el aprendizaje, pues sirve tanto para el mejoramiento del proyecto en ejecución como para proyectos futuros. Por lo tanto, es fundamental que el plan de monitoreo contemple mecanismos, tiempos y recursos de difusión de resultados, de lecciones aprendidas y de mejores prácticas (Bakewell et al., 2003). Esta difusión se sugiere sea al menos entre los participantes del proyecto. f. ¿Qué presupuesto se requiere paralas actividades de monitoreo? Es necesario considerar recursos financieros del proyecto para el monitoreo y la evaluación y asignar un presupuesto para estas actividades. Se recomienda considerar los costos de personal e instalaciones, talleres y reuniones de capacitación y costos de la recolección de datos, (dependiendo de la técnica que se emplee, se deberán contemplar los recursos humanos y materiales necesarios). Se estima de alrededor del 15% del costo total del proyecto. Capitulo 2 - 22 2.2 Formatos para el seguimiento o monitoreo de un proyecto La sistematización del monitoreo puede facilitarse si se lleva un registro de la información, esto ayuda para dar continuidad en el proceso independientemente de las personas, cada organización puede definir y seleccionar las herramientas de campo para registrar la información del monitoreo o seguimiento de sus proyectos entre otros: 1. Reportes y minutas de reuniones y visitas de campo 2. Diarios de campo 3. Registro del proyecto por medios diversos como fotografías o notas en medios de comunicación (prensa, entrevistas, video). Es importante desarrollar instrumentos y prácticas de monitoreo que respondan a las estructuras y estrategias de intervención de cada organización, adaptando los formatos de acuerdo a las necesidades de cada proyecto. A manera de ejemplo se incluyen las tablas 2 y 3 para registrar un plan y los resultados del monitoreo. Capitulo 2 - 23 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ Tabla 2. Formato Registro plan del monitoreo Fuente: Elaboración propia utilizando formato Tassara, 2010. Tabla 3. Formato Registro de resultados del monitoreo Capitulo 2 - 24 PLAN DE MONITOREO Nombre del Proyecto: Producción de verduras y hortalizas Duración del Proyecto: 12 meses Equipo del Proyecto: grupo de operación y evaluación Intervención Indicadores Responsa- ble Actividades Tiempos Capacitación a mujeres en ecotecnias Construcción de invernadero orgánico hidropónico. Siembra/cosecha y venta de productos Número de mujeres capacitadas Grado de participación de las mujeres. Kgs. de verduras cosechadas / sembradas Ingreso económico Técnico en ecotecnias Verificación de talleres de capacitación Construcción del invernadero Siembra y cosecha de verduras y hortalizas. Venta de productos Talleres en marzo Construcción invernadero y siembra en abril. Cosecha y venta de productos en noviembre. RESULTADO DEL MONITOREO Nombre del Proyecto: Producción de verduras y hortalizas Fecha: Noviembre Técnica: Observación en campo Fuente: Grupo monitor Periodo de Informe: Intervención Indicadores Estado de Avance Comentarios o Recomendaciones Capacitación a mujeres en ecotecnias Construcción de invernadero orgánico hidropónico. Siembra/cosecha y venta de productos 30 de mujeres capacitadas 90 % de mujeres con muy buena participación. 400 Kgs. de verduras cosechadas de 430 sembradas 90% Por migración un 10% de mujeres abandonaron el proyecto A la fecha se desconoce el ingreso económico que ha representado para las mujeres de la comunidad, la venta de los productos. Se estima un incremento en su ingreso familiar del 12% por familia. Capitulo 2 - 25 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ 2.3 Responsables del monitoreo por niveles de la organización Un aspecto importante es la distribución de las actividades del monitoreo ba- jo la responsabilidad de distintos actores de la gestión del proyecto, desde los operativos de campo hasta los directivos de la organización. Tabla 4. El monitoreo por niveles de la organización Fuente: Gosparini et al., 2004 Conclusión: El monitoreo es el termómetro que mide la evolución del proyecto con indicadores sencillos de medir para cada nivel de los actores del proyecto. Es esencial que el monitoreo vaya más allá de las personas y que sea replicable por terceros. Informes Frecuencia Finalidad Contenido Responsables Registros y reportes de monitoreo Regulares (mensual o trimestral) Apoyar la gestión cotidiana Avances en el desarrollo del proyecto, participación de los beneficiarios Directores y administradores del proyecto y equipo de campo. Informes sintéticos Lapsos intermedios (de trimestrales a semestrales) Apreciar los avances hacia los resultados planeados y analizar cambios en los planes de acción Calidad de los resultados y coherencia con un pro- grama más amplio u otros proyectos de la misma región. Respues- ta de los beneficiarios Coordinador (a) nivel regional o nacional Informes generales Anuales Apreciar la pertinencia del proyecto o de la lógica de intención y hacer recomendacio- nes a futuro Revisión del proyecto, coherencia con estrategia de la organización, im- pacto en los beneficiarios Director/a de la organización Una buena evaluación se caracteriza por: Comparar una condición dada con una nueva condición resultado de una intervención. Ser imparcial y transparente. Tener credibilidad y presentar resultados significativos. Plantear alternativas de acción para mejorar. Tener elementos participativos. Retroalimentar a los involucrados en la evaluación. Contribuir al aprendizaje de la organización. Capítulo 3 La evaluación de los proyectos sociales La evaluación es una apreciación sistemática y objetiva, de un proyecto en curso o de un proyecto terminado. El propósito es valorar la pertinencia, el cumplimiento de los objetivos, la eficiencia en la realización del proyecto, la eficacia, el impacto y la sostenibilidad. La evaluación se construye a partir del monitoreo periódico y puede efectuarse en diferentes momentos del ciclo del proyecto, o incluso años después de completada la acción en el caso de evaluaciones de impacto o sustentabilidad (Ortegón, Pacheco y Prieto et al., 2005). Capitulo 3 - 27 En este sentido, las principales funciones de la evaluación son: La retroalimentación o mejora de los proyectos. El aprendizaje de las experiencias para el desarrollo a futuro. La rendición de cuentas hacia los patrocinadores o donantes de los proyectos, la opinión pública y todos los implicados en los procesos de acción social. 3.1 Criterios básicos de la evaluación Una evaluación es útil si: Tiene un diseño apropiado al proyecto que se pretende evaluar. Tiene un carácter explicativo, estableciendo relaciones de causalidad, sin quedarse en solo descripciones de la realidad. Satisface las necesidades de informaciónde todos los implicados, lo que supone una total transparencia en cuanto al acceso a los datos necesarios. Tiene un costo que esté en consonancia con el costo del proyecto o la acción evaluada. Proporciona resultados a tiempo y oportunamente, de tal manera que sus conclusiones se puedan aplicar dentro de un espacio razonable de tiempo y en el ciclo vital del proyecto. Capitulo 3 - 28 En la evaluación se valora si se están logrando los objetivos de un proyecto. Esta valoración del avance y la calidad del proyecto se fundamentan en cinco criterios básicos. Figura 4. Criterios básicos de la evaluación. a. Pertinencia: está relacionada con la formulación del proyecto, esto es, qué tanto el diseño de la intervención responde a las necesidades de los beneficiarios. Puede evaluarse con relación a la consistencia de diseño de acuerdo a la situación local y a las prioridades de desarrollo. Algunos factores para tomar en cuenta y asegurar la pertinencia de la acción son: Identificación y selección de los grupos meta o beneficiarios. Participación de las partes interesadas locales en la fase de formulación y en el ciclo del proyecto en general. Definición adecuada en la selección de los objetivos y de los servicios que se pretende ofrecer. Apreciación de las capacidades locales de adaptación, asimilación y de ejecución. Capitulo 3 - 29 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ Coherencia con otras iniciativas de desarrollo en el mismo país, región o sector. b. Eficacia: se refiere a la medida en la cual el proyecto produce los resultados esperados y por tanto lograr el objetivo específico del proyecto, esto es : Los factores que influyen en la consecución del objetivo específico. La capacidad de gestión para asegurar que los resultados conseguidos permitan lograr el objetivo específico. La reacción y apropiación de los beneficiarios. Los efectos potenciales obtenidos sobre los temas transversales (en diferentes casos podrán ser, por ejemplo, temas de género, medio ambiente, fortalecimiento de capacidades, etc.) c. Eficiencia: se refiere al análisis en el cual se brindan y gestionan los servicios y se realizan las actividades previstas optimizando los medios, recursos y tiempo disponibles para producir los resultados esperados. Este análisis se puede hacer a partir de: La gestión y administración del presupuesto. La oportuna prestación de los servicios según el cronograma establecido. Capitulo 3 - 30 El aprovechamiento de los recursos locales e involucramiento y alianzas con otros actores. La calidad de los procedimientos y las prácticas en relación a la optimización de los recursos. d. Impacto: se refiere a los efectos del proyecto (positivos y negativos; intencionales o no; directos e indirectos) sobre los participantes beneficiarios del proyecto, así como los efectos indirectos sobre un mayor número de personas, en un sector o un área geográfica determinada. El impacto puede ser técnico, económico, sociocultural e institucional. Es importante tener en cuenta que el proyecto es sólo una de muchas variables que contribuyen a un resultado más amplio. Así, el impacto se evalúa considerando el contexto general en el que se inscribe el proyecto, es decir, tomando en cuenta el papel de otros actores y variables sociales, económicas, políticas y medioambientales nacionales o globales. El análisis del impacto normalmente se concentra en: La medida en la cual se han logrado los objetivos y el aporte del proyecto. Los factores externos que han influido sobre el impacto global. Los posibles efectos a largo plazo del proyecto y su sostenibilidad. Los efectos no planeados del proyecto. Capitulo 3 - 31 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ e. Sostenibilidad: se refiere a la medida en la cual los impactos de la intervención tienen la posibilidad de continuar después de concluir el proyecto, considerando si los beneficiarios quieren y pueden dar continui- dad a los objetivos del proyecto (desarrollando actividades, gestionando apoyos, incidiendo en el gobierno local, etc.) aun después de la salida del personal del proyecto. Los análisis de sostenibilidad se enfocan en: El sentido de apropiación de los objetivos por parte de las personas involucradas. La sostenibilidad institucional, se refiere a la medida en la cual el proyecto respeta e influye en las características de las organizaciones o instituciones locales y en la capacidad de éstas de desempeñar su papel después concluido el proyecto. La sostenibilidad financiera, si los servicios pueden seguir funcionando aún después de que se terminen los fondos externos, y si se genera una capacidad local para sostener los gastos de operaciones. La sostenibilidad sociocultural, si el proyecto tiene en cuenta el contexto social y cultural, así como la percepción local de las necesidades y si los beneficiarios han aceptado y adoptado los cambios producidos por el proyecto. La sostenibilidad técnica, si la tecnología y el conocimiento brindados se concilian con las tradiciones, capacidades, conocimientos y herramientas existentes, y si los beneficiarios pueden mantener la tecnología adquirida sin asistencia externa. Capitulo 3 - 32 3.2 Metodologías de evaluación de carácter económico. La acción de evaluar tiene diferentes características. Podemos encontrar distintas metodologías de evaluación que definen una amplia tipología cuyos perfiles se nutren de diversas disciplinas, básicamente del ámbito económico y social, que han aportado su punto de vista a los procedimientos de gestión y evaluación de los proyectos. La evaluación compara información para la toma de decisiones. Requiere investigar, medir y comparar. Las diferencias teórico-metodológicas radican en los universos de análisis y las variables, indicadores e instrumentos de medición utilizados. Existe una tradición evaluativa que proviene del análisis económico y otra de la investigación social. Hay un continuo entre quienes ponen acento en los costos y los que lo hacen exclusivamente en el logro de los objetivos de impacto. Así, evaluar puede significar distintas cosas y tener distintos alcances. Cabe mencionar que no son excluyentes y que la tendencia es evaluar en lo posible un proyecto desde ambos tipos de análisis. En el análisis de proyectos de carácter económico se pueden distinguir tres metodologías que buscan comparar los costos con el logro de objetivos . La for- ma de medir los costos es la misma, lo que varía es las consideraciones sobre cuál consecuencia es más relevante: beneficio, costo mínimo o impacto. Capitulo 3 - 33 Notas: ________________________________________________________________________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ Figura 5. Análisis de costos. Análisis Costo Beneficio (ACB): consiste en comparar los costos con los beneficios económicos del proyecto. Si éstos son mayores que los costos, existe una primera indicación de que el proyecto debería ser, en principio, aprobado. Un requisito básico es que los costos y beneficios sean expresados en unidades monetarias, por lo tanto, es una metodología adecuada para el análisis de proyectos que tienen fines productivos. En el caso de los proyectos sociales, los beneficios difícilmente pueden expresarse en dinero, por lo que la utilización del ACB es muy limitada. Esta metodología se utiliza casi exclusivamente en la etapa antes de iniciar el proyecto, para tomar una decisión respecto a la ejecución, rechazo o postergación del mismo. Capitulo 3 - 34 Análisis del Costo Mínimo (ACM): Compara los costos-monetarios (tanto en una evaluación inicial como final), con el nivel de producción y distribución de los bienes y servicios que entrega el proyecto. El ACM deja de lado el análisis de los objetivos de impacto. Acepta que ellos derivan de una decisión política, y se dedica a asegurar que los mismos sean alcanzados incurriendo en los costos mínimos. Se limita a garantizar la eficiencia, pero nada dice respecto al impacto del proyecto. Análisis Costo-Impacto (ACI): Compara, al igual que el ACM , los costos (monetarios) con el logro de los objetivos de impacto. El ACI, no se restringe a considerar la eficiencia sino que también su impacto determinando en qué medida el proyecto alcanzará (o ha alcanzado sus objetivos), qué cambio producirá (o ha producido) en la población destinataria y cuáles son sus efectos secundarios. El ACI se aplica prioritariamente en la evaluación final de un proyecto. El ACI es también conocido como ACE (análisis de costo efectividad). Capitulo 3 - 35 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ 3.3 Metodologías de evaluación de carácter social. Las metodologías de evaluación de proyectos de carácter eminentemente social, están en función del tipo de proyecto y el área de desarrollo que abordan esto es si son educativos, de salud, de medio ambiente, vivienda y servicios, de seguridad pública, proyectos productivos, etc. Estos proyectos hacen referencia a actividades que tienen el propósito de producir resultados que están asociados a cambios o modificaciones de conductas, hábitos, actitudes, más que a la producción de bienes, sin embargo cabe mencionar que esos cambios pueden ser relacionados hasta cierto punto con la producción de bienes (como es el caso de los proyectos productivos agropecuarios) y por tanto de mejores condiciones de vida. Independientemente del área de desarrollo, la evaluación se clasifica en diversas tipologías que atienden a su naturaleza y a las características de aquello que se pretende analizar, a los momentos en los que se lleva a cabo, a los actores sociales involucrados y a la metodología de análisis que se utiliza. En la evaluación, todo esto se combina. Capitulo 3 - 36 Figura 6. Tipologías de evaluación. a. Según su función. La evaluación formativa son evaluaciones intermedias y periódicas sobre el desempeño del proyecto, se consideran formativas porque su objetivo básico es mejorar el desempeño del proyecto. Se ayuda del monitoreo pero va más allá de la descripción del momento que se evalúa. Capitulo 3 - 37 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ La evaluación sumativa: valora el impacto del proyecto una vez que este ha finalizado. También existen las evaluaciones o apreciaciones de impacto, que valoran los efectos positivos o negativos de un proyecto o programa tiempo después de concluido el proyecto. b. Según la etapa en el ciclo del proyecto Evaluación inicial: es un análisis del contexto, de estudios preliminares o de intervenciones anteriores que permitan valorar la factibilidad del proyecto que se pretende implementar. Evaluación intermedia: se realiza durante la ejecución del proyecto para evaluar las actividades del proceso mientras estas se desarrollan, e identificar los aciertos, errores y dificultades y brinda recomendaciones para hacer ajustes. Evaluación final: se realiza al final del proyecto para analizar y registrar los resultados y efectos tempranos de la intervención puede dar recomendaciones para intervenciones futuras. Evaluación de impacto: se realiza después de concluido el proyecto, evaluando los resultados con la intención de valorar el impacto, cambios o efectos producidos del proyecto en el largo plazo. Capitulo 3 - 38 c. Según el evaluador Tabla 5. Tipo de evaluación según quienes evalúan Fuente: Fernández Ballesteros 1995 Capitulo 3 - 39 ¿Quiénes evalúan? ¿Qué ventajas tiene? ¿Qué desventajas tiene? Evaluación interna o autoevaluación Equipo de la organiza- ción que implementa el programa. - Minimiza la reactividad de los acto- res. - Menos costosa económicamente y a nivel de recursos humanos. - Mayor influencia sobre el programa. - Minimiza la objetividad. - Minimiza la credibilidad social de la evaluación. - Minimiza la utilización de estánda- res y tecnología dura. - No necesariamente elimina el choque de intereses entre los diferentes actores. Evaluación externa Asesores externos a la organización que imple- menta el programa. - Maximiza la objetividad. - Maximiza la utilización de instrumen- tos metodológicos adecuados. - Maximiza la credibilidad social de la evaluación. - Maximiza la utilización de estándares. - Maximiza la reactividad de los sujetos. - Más costosa económicamente y en términos de recursos humanos. - Menor influencia sobre el progra- ma. Evaluación mixta Actores internos y exter- nos. - Minimiza la reactividad de los actores internos. - Maximiza la credibilidad social de la evaluación. - Maximiza la utilización de instrumen- tos metodológicos adecuados. - Maximiza la influencia sobre el pro- grama. - Requiere un trabajo conjunto entre actores internos y externos. - Proceso más largo que la evalua- ción interna o externa. Evaluación participativa Actores internos, externos y titulares del programa. - Minimiza la distancia que existe entre el/a evaluador/a y los/as titulares - Permitedetectar efectos no espera- dos. - Requiere un lapso de tiempo más largo que todas las anteriores. - Tiene un costo más alto que todas las anteriores. Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ d. Según el tipo de análisis e instrumentos. Evaluación cuantitativa: supone el acopio sistemático de elementos o datos que se pueden contar y codificar numéricamente. Se exploran teorías e hipótesis referentes a la relación entre fenómenos objetivos. Las técnicas cuantitativas suelen utilizar instrumentos de investigación estructurados, al realizar grandes cantidades de observaciones, el método permite obtener datos estadísticos que facilitan las generalizaciones. Es decir puede recabarse información entre muchas personas, tiene gran cobertura. Evaluación cualitativa: Comprende el análisis de datos no numéricos como el texto de las transcripciones de entrevistas, fotografías en los medios de información, u observaciones del investigador. Este método se utiliza cuando el investigador desea ahondar en el tema y estudiar respuestas a preguntas que no son fáciles de categorizar o que no son previsibles. En este caso la cobertura es limitada, pero la profundización es una gran ventaja. Capitulo 3 - 40 Las investigaciones de ambos tipos, cualitativa o cuantitativa, pueden utilizarse independientemente o en el marco de una estrategia de investigación con métodos múltiples; por ejemplo, puede recurrir a entrevistas individuales (investigación cualitativa) para estudiar las razones que explican los resultados de una encuesta nacional (investigación cuantitativa) o a la inversa, se pueden utilizar temas extraídos de entrevistas de los grupos de discusión para diseñar un instrumento cuantitativo. Estos “tipos” de investigación no son excluyentes, es decir se combinan en su aplicación por ejemplo: la evaluación que hacen los encuestadores después de su primera salida a campo, tiene un enfoque formativo en una etapa inicial del ciclo del proyecto, cualitativo, o una evaluación sumativa, por personas internas y externas con participación de todos los actores del proyecto, evaluado tiempo después y con métodos cuantitativos. En cualquier caso es esencial la definición clara de los criterios que se considerarán en la evaluación. Capitulo 3 - 41 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ e. Según el diseño metodológico de la evaluación El diseño metodológico constituye un punto central del proceso de evaluación. Al tiempo que se definen las diferentes necesidades informativas y se seleccionan los diferentes criterios de evaluación y los indicadores, hay que definir cómo se ha de recopilar y analizar la información requerida. Se trata no sólo de seleccionar una serie de técnicas para recolectar la información y sus correspondientes tipos de análisis, sino de definir el diseño metodológico de la evaluación. La evaluación implica comparar una condición dada con una nueva condición resultado de una intervención y esta comparación puede hacerse al menos de tres formas (Guijt y Woodhill, 2002). a. Comparar la situación “inicial” o anterior a la del proyecto con la situación “después de la intervención”. b. Comparar los cambios percibidos en el contexto o territorio del proyecto con los cambios en otros territorios o proyectos similares. c. Comparar las diferencias entre dos o más grupos: Uno que haya trabajado con el proyecto y otro que no (grupo de referencia o control). Capitulo 3 - 42 El diseño metodológico experimental resulta muy apropiado desde la perspectiva de los investigadores y para evaluar los proyectos sociales, pero no siempre es fácil de cumplir en su totalidad desde la perspectiva de las organizaciones sociales en atención a la complejidad en términos de conocimiento, tiempo y costo. Tabla 6. Diseño metodológico experimental y no experimental. Fuente: Elaboración propia con base en Fernando Ballesteros 1995. Capitulo 3 - 43 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ Experimental No experimental El evaluador manipula una o más variables para incidir o producir algún cambio en un objeto de estudio. Se trata de hacer un cambio en el valor de una variable (variable independiente) y observar su efecto en otra variable (variable dependiente). Esto se lleva a cabo en condiciones controladas, con el fin de describir de qué modo o por qué causa se produce una situación o acontecimiento en particular. Los métodos experimentales son los adecuados para poner a prueba las hipótesis de relaciones causales. El evaluador tiene una orientación principal- mente cualitativa de los hechos Se hace análisis e interpretación de los efec- tos ya producidos con base en las relaciones que se establecieron en un tiempo y espacio en el pasado, por ejemplo el psicoanálisis. Esta metodología es útil e interesante cuando se trata de analizar una persona y de producir conocimiento. Entre las principales características de la metodología experimental se mencionan: 1. Equivalencia estadística de sujetos en diversos grupos normalmente formados al azar: dicho de otra forma, los sujetos se reúnen en grupos equivalentes para que de esta forma las diferencias en los resultados de la investigación no sean provocadas por diferencias iniciales entre los grupos de sujetos. Normalmente estos grupos se forman mediante asignación al azar de los sujetos. 2. Comparación de dos o más grupos o conjuntos de condiciones: es necesario que haya un mínimo de dos grupos de sujetos para establecer comparaciones entre ellos, ya que un experimento no se puede llevar a cabo con un único grupo y una única condición experimental. 3. Manipulación directa de una variable independiente: como ya hemos dicho, un experimento consiste en manipular variables independientes para observar su efecto en las variables dependientes. Por ello, es una de las características más distintivas del enfoque experimental. La variable independiente se manipula en forma de diferentes valores o condiciones que el experimentador asigna. Dicha asignación por parte del investigador es importante que ocurra, pues de lo contrario, no puede considerarse un experimento real. Capitulo 3 - 444. Medición de cada variable dependiente: deben poder asignarse valores numéricos a las variables dependientes. Si el resultado de la investigación no puede ser medido ni cuantificado de este modo, difícilmente hablaremos de una investigación experimental. 5. Uso de estadística inferencial: la estadística inferencial nos permite hacer generalizaciones a partir de las muestras de sujetos analizadas. 6. Diseño que permita un control máximo de variables extrañas: de esta manera nos aseguramos que este tipo de variables no influyen en la variable dependiente, o si influyen, lo hacen de un modo homogéneo en todos los grupos. De este modo los resultados no son interferidos por las variables extrañas. En el Anexo 3 se presentan los sistemas de representación según se trate de un diseño pre-experimental, experimental o cuasi- experimental, la decisión de utilizar alguno de estos está en función del objeto de estudio y de los objetivos de la evaluación o investigación. Capitulo 3 - 45 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ 3.4 Desarrollo de la evaluación Para el desarrollo de una evaluación se consideran siete etapas, que no necesariamente son lineales o inamovibles, pero deseablemente requieren de una secuencia de intervención. Figura 7. Etapas para el desarrollo de la evaluación Capitulo 3 - 46 a. Criterios de selección de los proyectos a evaluar. Por lo general, es difícil contar con recursos para evaluar los proyectos de una organización. Por lo que es importante conocer los criterios para definir y priorizar. (United Nation Educational, Scientifc and Cultural Organization [UNESCO], 2009). Cuándo evaluar un proyecto: Si un proyecto tiene un presupuesto muy alto, por ejemplo; calcular la prevalencia de droga en el país. Si se está proponiendo una segunda fase o una ampliación del proyecto, por ejemplo; la construcción de un huerto comunitario y en una segunda fase construir infraestructura para la conservación y almacenamiento de productos. Si un proyecto es considerado nuevo o estratégico, y se quiere ampliar el conocimiento para mejorar acciones futuras, por ejemplo; transferir un proyecto exitoso sobre seguridad pública en el norte del país a una re- gión del sur del país. Cuando un proyecto está teniendo muchas limitaciones, atrasos o no ha logrado avanzar hacia la consecución de los objetivos planteados. Si un proyecto tiene una larga duración. Por ejemplo seguir a grupo de personas con sobrepeso u obesidad durante varios años. Cuando un proyecto se lleva a cabo bajo modalidades operativas particulares, por ejemplo; si es cofinanciado por diferentes donantes. Capitulo 3 - 47 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ En este sentido es fundamental preguntar: ¿Qué nos interesa evaluar? ¿Se quiere evaluar todo un proyecto o solo una parte en especial? ¿Se quieren evaluar todos los temas del proyecto o sólo una estrategia o tema transversal del mismo? b. Planeación. Si bien las evaluaciones pueden enfocarse en distintos aspectos o temas, por lo general se centran en un proyecto, un programa, un sector, una estrategia, un tema transversal o en las relaciones de una organización, por lo que se debe tener claro cuál será el propósito de la evaluación, ya sea que esté en función de las necesidades de la organización o del donante. Esto es la finalidad de la evaluación puede estar relacionada con la gestión del proyecto, para introducir medidas correctivas; con el aprendizaje, para fortalecer el conocimiento de las organizaciones y mejorar el desempeño, o con el fortalecimiento de las capacidades de socios locales, el equipo del proyecto y los beneficiarios, en cualquier caso, una evaluación debe tener claro los objetivos y metodologías, lo cual se puede facilitar mediante la elaboración de términos de referencia y la selección adecuada del evaluador. Capitulo 3 - 48 c. Términos de referencia. Los términos de referencia son elaborados por la organización que está solicitando la evaluación, sea ésta interna o externa. Sirven para guiar toda la evaluación al determinar su enfoque y propósito, y lo que se espera del evaluador. Los términos de referencia deben desarrollarse en coordinación cercana con los beneficiarios del proyecto, describen el objetivo (por qué se realiza la evaluación); el alcance (qué se debe evaluar), y los parámetros generales para llevarla a cabo (actividades y metodología). Por lo general incluyen también: información básica sobre el proyecto (datos, antecedentes, alcance, características, e información básica de la organización que lo implementa); pro- pósito y enfoque de la evaluación (objetivo general y objetivos específicos); metodología (parámetros generales para realizar la evaluación: qué metodologías se necesita emplear, si se requiere llevar a cabo actividades particulares, preguntas clave, nivel de participación de beneficiarios, formatos de informes de evaluación, etc.), y condiciones del contrato de evaluación (capacidades requeridas en el evaluador, responsabilidades, tiempos y costos). Lo que sigue es seleccionar al evaluador o al equipo de evaluación. En la selección del evaluador es importante considerar la combinación de cualidades, Capitulo 3 - 49 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ habilidades y experiencia necesarias y buscar un equilibrio entre capacidades de evaluación, experiencia técnico-sectorial y conocimiento del contexto local. Agregando el ingrediente principal para el desarrollo de una exitosa y útil evaluación, nos referimos a la presencia constante de honestidad, es decir ser imparcial, apegarse a los resultados independientemente de los diferentes intereses que puedan existir. d. Plan de trabajo. El plan de trabajo es fundamental, ya que será un punto de referencia para todo el desarrollo de la evaluación, el cual deberá incluir: Visión general del proyecto y del contexto: comprensión del evaluador del contexto y los antecedentes, del proyecto y de la organización. Diseño metodológico indicativo: el enfoque de la evaluación, los objetivos (generales y específicos) de acuerdo a las demandas de la organizacióny características del proyecto a evaluar. Capitulo 3 - 50 Matriz de evaluación: reformulación de las preguntas específicas vinculadas a los criterios de evaluación, los indicadores, las fuentes de datos y los métodos para su recolección (tabla 7). Metodología para la recolección y análisis de datos según corresponda cuantitativa o cualitativa o mixta. Cronograma de actividades: tareas y fechas límite de las fases de evaluación. Composición del equipo de evaluación: y responsabilidades de cada uno. Perfil del informe: contenidos del informe de evaluación y la estructura de la presentación. Capitulo 3 - 51 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ Tabla 7. Ejemplo de una matriz de evaluación. Fuente: Elaboración propia con base en Gosparini et al, 2004. Capitulo 3 - 52 Criterios Preguntas de desempeño Indicadores Métodos de recolección de datos Pertinencia ¿Es la capacitación la estrategia para mejorar a producción de los huer- tos? ¿Las técnicas aprendi- das son culturalmente adecuadas en su comunidad? Grado de participación de los productores en la capacitación. Historia y antecedentes de otros proyectos productivos de la comunidad. Reuniones colectivas con población de la comunidad. Entrevistas a líderes del campo. Eficiencia ¿Fueron los insumos suficientes y oportunos? Dinero invertido en los insumos. Tiempo de trabajo inverti- do. Número de hectáreas sembradas y cosechadas. Registro de ingresos y egresos. Informe presupuestario. Observación en campo. Análisis de registros contables y financieros. Eficacia ¿Cómo se mejoró el desempeño de los productores como resultado de la capacita- ción técnicarecibida? Número de productores con un mejor conocimiento y desempeño. Calidad de la producción. Observación de los productores en el campo. Evaluación de la calidad de la producción. Impacto ¿Qué tanto se incrementó el ingreso familiar? Proporción de familias que incrementaron su ingreso familiar y porcentaje de incremento. Comparativo de condiciones de ingreso familiar inicial y un año después. Sostenibilidad ¿Qué tanto la venta de productos podrá ser re-invertida en la compra de insumos, para garantizar varios ciclos más de producción? Ingreso por la venta de productos. Re-inversión en insumos para próximos ciclos de siembra. Comparativo de condiciones de producción e inversión inicial y proyección a dos años. Capitulo 3 - 53 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ e. Implementación de la evaluación. Reunir y revisar la información disponible sobre el contexto y sobre el proyecto (propuesta inicial reportes intermedios y finales, información de línea base, estadísticas oficiales, investigaciones y documentos sobre la problemática o el contexto, etc.). Programar una visita previa al lugar del proyecto para asegurar una contextualización adecuada Entregar a los responsables del proyecto el cronograma, los itinerarios y el plan de evaluación. Considerar aspectos logísticos y organizativos y planear agendas alternas a partir de un análisis de riesgos. Seleccionar las técnicas para la recolección de datos y los distintos métodos de evaluación. Seleccionar y desarrollar los instrumentos necesarios para la recolección de datos. Involucrar la participación de diversos actores: beneficiarios, socios, autoridades, equipo del proyecto, otras organizaciones, donantes y otras partes interesadas, sobre todo del nivel local, a partir de analizar si es pertinente y existen las condiciones necesarias para realizar una evaluación participativa. Capitulo 3 - 54 Finalmente hacer una compilación y análisis de los datos obtenidos y evaluarlos en relación con los criterios y objetivos establecidos, para po- der interpretar los resultados, llegar a conclusiones y lecciones aprendidas. f. Informe Final. El informe final de evaluación debe ser coherente con los requisitos de contenido de los términos de referencia y la propuesta del plan de evaluación. Si bien los informes son extensos, basados en información diversa a partir de las múltiples fuentes de información, el texto del informe de- be ser lo más claro y concreto posible, e incluir solo la información más rele- vante y las recomendaciones a futuro. Algunos elementos esenciales que debe considerar un informe de evaluación son: Resumen ejecutivo: en esta sección se responden brevemente las preguntas definidas en los términos de referencia y se exponen las principales conclusiones y recomendaciones de la evaluación. Metodología: descripción de la metodología utilizada, los métodos de recolección de datos y de análisis de la información. Capitulo 3 - 55 Notas: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ Resultados de la evaluación: es el texto principal del informe. Esta sección debe responder a los objetivos y a las preguntas concretas e hipótesis definidas en los términos de referencia y en la matriz de evaluación. Aquí se desarrollan al detalle los resultados de la evaluación y las recomendaciones, incluyendo evidencia concreta de la información y las conclusiones. Conclusiones y recomendaciones: presentar las conclusiones de acuerdo a los criterios de evaluación y las recomendaciones en términos del objetivo general del proyecto. Anexos: Términos de Referencia (TdR), currículum del evaluador, figuras y tablas. Referencias: bibliográficas y recursos en línea. Las principales funciones de un indicador son: Simplificar: la realidad en la que se actúa que es multidimensional, pero un indicador sólo puede considerar una de sus dimensiones sea la económica, social, ambiental o política. Medir: permite comparar la situación actual de una dimensión de estudio en el tiempo o respecto a patrones establecidos. Comunicar: todo indicador debe transmitir información relevante so- bre un tema en particular para la toma de decisiones. Capítulo 4 De los objetivos a los indicadores 4.1 ¿Qué son los indicadores? Algunas definiciones: “Un indicador es una expresión cualitativa o cuantitativa, que permite
Compartir