Descarga la aplicación para disfrutar aún más
Vista previa del material en texto
Guía operativa de evaluación de la acción comunitaria Edición IGOP-UAB (marzo 2016) Autores Óscar Rebollo Izquierdo Ernesto Morales Morales Sheila González Motos (capítulo instrumento 20) Institut de Govern i Polítiques Públiques (IGOP) — Universitat Autònoma de Barcelona (UAB) Con el apoyo de Àrea de Qualitat de Vida, Igualtat i Esports Ajuntament de Barcelona Revisión Elisenda Vegué y Jaume Blasco Traducción al castellano Montse Pallarés 3 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria SUMARIO PRESENTACIÓN 6 PARTE I. EVALUAR LA ACCIÓN COMUNITARIA 1. INTRODUCCIÓN 10 1.1. Sobre el hecho de evaluar y sobre la evaluación de la acción pública 10 1.2. La acción comunitaria 11 1.3. Perspectivas de evaluación 13 1.4. Evaluación, seguimiento, supervisión e investigación 15 2. CONSIDERACIONES SOBRE LA EVALUACIÓN DE LA ACCIÓN COMUNITARIA 17 2.1. Debemos tomar conciencia de la complejidad de la tarea evaluadora 17 2.2. Necesitamos un marco institucional que dé sentido a la evaluación 20 2.3. ¿Qué evaluamos? 21 2.4. Sobre el proceso y los instrumentos de evaluación 23 3. PRINCIPIOS METODOLÓGICOS DE CARÁCTER GENERAL 24 3.1. La evaluación y la planificación van siempre de la mano 24 3.2. Debemos disponer de unos objetivos evaluables 25 3.3. Debemos hacer explícita nuestra “teoría del cambio” 26 3.4. La evaluación no solo analiza información, también debe generarla 27 3.5. Algunos apuntes sobre la evaluación de impactos 28 3.6. Anexo: una lluvia de preguntas 30 PARTE II. MARCO OPERATIVO DE LA EVALUACIÓN (MOE): CONCEPTOS Y DEFINICIONES PARA EL DISEÑO DE LOS INSTRUMENTOS DE EVALUACIÓN 1. INTRODUCCIÓN 34 1.1. Objetos y objetivos de la evaluación 35 1.2. Quién debe evaluar 36 1.3. Evaluar la calidad de las acciones comunitarias 38 1.4. Evaluar los impactos en la población 41 1.5. Evaluar los espacios de trabajo profesional 43 4 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria PARTE III. INSTRUMENTOS DE EVALUACIÓN 1. CUESTIONARIOS DE EVALUACIÓN 46 1.1. Para evaluar actividades 46 1.2. Para evaluar la calidad de programas y proyectos 50 1.3. Para evaluar impactos en la población 63 1.4. Para evaluar los espacios profesionales de trabajo 80 2. INSTRUMENTOS Y DINÁMICAS DE AUTOEVALUACIÓN CUALITATIVA O PARTICIPATIVA 92 3. INSTRUMENTOS PARA UNA EVALUACIÓN IMPRESIONISTA 95 4. INSTRUMENTOS PARA LA RECOGIDA Y LA SISTEMATIZACIÓN DE INFORMACIÓN 102 5. ANÁLISIS DE REDES 104 Anexo: ejemplo de cuestionario de análisis de redes 114 6. FICHA DE PROGRAMACIÓN DE LAS ACCIONES COMUNITARIAS 117 7. FICHA DE SEGUIMIENTO DE LAS ACCIONES COMUNITARIAS 125 8. ANEXOS 133 ÍNDICE DE LOS INSTRUMENTOS INSTRUMENTO 1. Cuestionario de evaluación de una actividad 46 INSTRUMENTO 2. Cuestionario de evaluación de la planificación 50 y la organización INSTRUMENTO 3. Cuestionario de evaluación de los objetivos 54 INSTRUMENTO 4. Cuestionario de evaluación de la participación 58 comunitaria (metodología) INSTRUMENTO 5. Cuestionario de impactos en el individuo 63 INSTRUMENTO 6. Cuestionario de evaluación de los impactos 67 en el grupo INSTRUMENTO 7. Taller de evaluación de impactos 73 en la comunidad-población INSTRUMENTO 8. Cuestionario de evaluación del equipo de un servicio 80 INSTRUMENTO 9. Cuestionario de evaluación de una mesa técnica 84 INSTRUMENTO 10. Cuestionario de evaluación de un equipo comunitario 88 INSTRUMENTO 11. Reunión de evaluación con un grupo o espacio comunitario 92 INSTRUMENTO 12. DAFO 94 5 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria INSTRUMENTO 13. Gráfico de evolución de una actividad 96 INSTRUMENTO 14. La línea del tiempo 97 INSTRUMENTO 15. Termómetro 98 INSTRUMENTO 16. CAP (critico - aplaudo - propongo) 100 INSTRUMENTO 17. Diana de evaluación 101 INSTRUMENTO 18. Modelo de acta 102 INSTRUMENTO 19. Sociograma 104 INSTRUMENTO 20. Análisis de las redes 106 ÍNDICE DE TABLAS Tabla 1. Marco Operativo para la Evaluación de la calidad 39 de la acción comunitaria Tabla 2. Instrumentos para evaluar la calidad de la acción comunitaria 40 Tabla 3. Marco Operativo para la Evaluación de los impactos 42 de la acción comunitaria Tabla 4. Instrumentos para evaluar impactos de la acción comunitaria 42 Tabla 5. Marco Operativo para la Evaluación de los espacios 44 de trabajo profesional Tabla 6. Instrumentos para evaluar espacios de trabajo profesional 44 ÍNDICE DE LAS FIGURAS Figura 1. Triángulo de la acción comunitaria 12 Figura 2. Marco conceptual de la acción comunitaria 41 PRESENTACIÓN 7 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria La edición en lengua castellana de la Guía operativa de evaluación de la acción comu- nitaria (editada originalmente en catalán por el Ajuntament de Barcelona) es el resultado de un convenio de colaboración entre el Ajuntament de Barcelona y el IGOP (Institut de Govern i Polítiques Públiques de la Uni- versitat Autònoma de Barcelona) . Se trata de una colaboración entre ambas institucio- nes bastante prolongada y que, en fechas anteriores, ha dado lugar a otras publicacio- nes, así como a la realización de múltiples actividades de formación, asesoramiento, acompañamiento y otras, por parte del IGOP a los equipos y procesos comunita- rios que se desarrollan en la ciudad. Con todo, el interés demostrado por este trabajo, sobretodo en el ámbito profesio- nal catalán, nos ha animado a realizar una versión en castellano, por si pudiese ser de interés también en otros ámbitos más allá de Cataluña y, claro está, para contri- buir, ni que sea modestamente, a un con- junto de conocimientos del que nosotros también nos venimos enriqueciendo. La realización original de la guía de evalua- ción que ahora presentamos fue posible, como hemos dicho, gracias al apoyo del Ajuntament de Barcelona y gracias, tam- bién, a las oportunidades de aprendizaje e intercambio de conocimientos entre aca- démicos, activistas y profesionales de la acción comunitaria, que la colaboración institucional que hemos apuntado ha veni- do propiciando. Nos sentimos, por ello, enormemente agradecidos. Finalmente, solo nos queda desear que es te trabajo sea útil en una tarea que se pre senta cada día más necesaria: la de poder evaluar las acciones sociales. La guía nace como un instrumento de evaluación de acciones comunitarias, pero se evidenciará que su utilidad puede extenderse más allá de ese campo. Os invitamos a todas y a todos a que, en su utilización, la adaptéis o “hacke- éis”, como se dice ahora, a conveniencia. Entrando ya en la presentación de la guía propiamente dicha, nos parece obligado apuntar algunos aspectos para orientar el criterio de aquellas personas que piensen en darle uso, y así sabrán lo que pueden encontrar en sus páginas y lo que no. Desde el principio nuestro trabajo ha esta- do presidido por tres ideas centrales: sen- cillez, practicidad y producción comparti- da de conocimiento. Así, hemos querido hacer una guía que fuese sencilla y fácil de utilizar por parte de profesionales, sin la necesidad de que estos tengan un conoci- miento especializado en la materia y re- nunciando, por tanto, a cualquier tipo de sofisticación metodológica o instrumental. También hemos perseguido desde el pri- mer momento que fuese una guía útil para la práctica de profesionales y activistas, huyendo de ejercicios puramente concep- tuales o teóricos a los que cueste ver a primera vista utilidad práctica. Lo que te- néis entre manos es una guía para evaluar, no una investigación ni un relato académi- co. En tercer lugar, hay que destacar que, desde el inicio, la realización de la guía ha contado con las aportaciones, la discusión y el contraste de muchos profesionales que han contribuido, de manera nada tan- gencial y sí muysignificativa, a construir la guía que necesitan. A través de grupos de discusión, entrevistas, implementacio- nes prác ticas, contrastes puntuales de los instrumentos de evaluación, etc., la guía re- coge las aportaciones de muchos pro fe- sionales comunitarios, trabajadoras socia- les, vecinos y activistas, directivos municipales, consultores y académicos. Hemos organizado los contenidos de esta guía en tres partes. La parte I recopila al- gunas definiciones y aproximaciones con- ceptuales al significado y al sentido de la evaluación, junto a ciertos principios me- todológicos de carácter general. Aún no se entra en el detalle de definir instrumen- tos de evaluación, pero se recogen toda una serie de reflexiones, muchas de ellas debatidas en grupos de trabajo, que pen- samos que siempre se deben tener pre- PRESENTACIÓN 8 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria sentes y que a menudo nos orientan en la tarea evaluadora en todo lo que los instru- mentos de evaluación más concretos no siempre pueden resolver. La parte II, que hemos llamado MOE (Mar- co Operativo para la Evaluación), recoge un ejercicio de síntesis de los que deben ser los principales objetos y objetivos de la evaluación de las acciones comunitarias: las dimensiones de la evaluación. El con- junto de las aportaciones hechas en los grupos de trabajo ha puesto de manifiesto la enorme cantidad de aspectos suscepti- bles de ser evaluados cuando nos acerca- mos a las acciones comunitarias. El MOE apunta los criterios para identificar y orde- nar todas estas dimensiones. La parte III recoge los instrumentos de evaluación que se derivan del MOE. Un to- tal de 20 instrumentos ordenados según objetos y objetivos de evaluación. Algunos de los instrumentos propuestos no son nuevos: ya tienen una validez acreditada. Pero muchos sí lo son (todos los cuestio- narios, por ejemplo) y se han diseñado a partir de las aportaciones realizadas en los grupos y en las sesiones de contraste con profesionales y experiencias, pensando en las experiencias de acción comunitaria de Barcelona. En especial, de la acción co- munitaria que llevan a cabo los equipos de servicios sociales de base y los PDC (Pla- nes de Desarrollo Comunitario). PARTE I EVALUAR LA ACCIÓN COMUNITARIA 10 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria A pesar de que hace ya unos cuantos años que se habla de evaluación de políticas públicas, lo cierto es que no hay una gran tradición, ni una cultura de la evaluación, incorporada a nuestras organizaciones y administraciones públicas. Si nos fijamos en las organizaciones del tercer sector, en nuestras entidades y asociaciones (con al- gunas excepciones entre las entidades más grandes) y que son importantes pres- tadoras de servicios, podríamos decir que en ellas todavía está menos presente la cultura de la evaluación. Así que el primer problema que nos en- contramos a la hora de plantearnos este encargo es que en muchos aspectos se deberá “empezar de cero”. Es decir, hay que empezar por el hecho de preguntar- nos qué es evaluar, qué entendemos por evaluar, qué sentido tiene y para qué que- remos hacerlo. Todo esto antes de hacer- se preguntas sobre “cómo” evaluar. Además, el hecho de evaluar a menudo posee connotaciones negativas y provoca resistencias. Ya sea porque pensemos que la evaluación dejará entrever nuestras limi- taciones y los errores que cometemos, por que se ve como el momento que usan los que están arriba para controlar y fisca- lizar lo que hacen los que están abajo, o porque se ve simplemente como un ejerci- cio legitimador de la supresión de progra- mas y subvenciones. La evaluación casi nunca se vive bien, en positivo, como una oportunidad para el aprendizaje, el cambio y la mejora. Seguramente, una parte de esta “mala fama” está bien merecida, ya que su sen- tido no se ha trabajado lo suficiente, ni la manera de hacerla útil reincorporando a los procesos de trabajo los cambios que se puedan derivar de sus resultados. Mu- chas veces se han usado instrumentos y metodologías difíciles de entender y de incorporar a la tarea cotidiana de las orga- nizaciones o de los procesos comunita- rios. Además, muchos ejercicios de eva- luación aportan poco rendimiento en comparación a su coste, razón por la cual se hace difícil ver algo útil en el hecho de evaluar. También es recurrente la idea de que la evaluación acostumbra a ser un ejercicio pesado y burocrático que consiste en re- llenar fichas y registros que después nadie mira y que nos ocupa un tiempo precioso que podríamos dedicar a otros asuntos más urgentes o necesarios, como si se hi- cieran ejercicios de evaluación para “cu- brir” el expediente. En otros casos, bue- nas evaluaciones, bien hechas, no han servido para introducir cambios, ya que han prevalecido otros criterios a la hora de tomar decisiones. Pero no podemos olvidar que, cuando se trata de acciones públicas, de recursos pú- blicos, la evaluación es una obligación. Hablamos de la obligación de dar explica- ciones, de rendir cuentas, y estos son ejer- cicios muy próximos a la evaluación. Todas estas reflexiones estaban presentes en el punto de partida de nuestro trabajo. De hecho, lo primero que hicimos fue com- partirlas en grupos de trabajo. Eso nos permitió abrir el debate por el principio: ¿para qué debemos evaluar? Las respues- tas a esta pregunta apuntaban desde el inicio a una triple dirección: (1) Debemos evaluar para rendir cuentas de lo que ha- cemos, ya que trabajamos en lo público con recursos públicos. (2) Debemos eva- luar para poder tomar decisiones en la reorientación de las prácticas, de los pro- gramas, de las prioridades, todavía más en tiempos de fuertes limitaciones presu- puestarias que, seguramente, obligarán a priorizar partidas e intervenciones: así que también necesitamos la evaluación para justificar, en parte, la necesidad del trabajo que hacemos y sus rendimientos. Final- mente, (3) debemos evaluar para aprender y poder mejorar nuestras formas y estrate- gias de trabajo. 1. INTRODUCCIÓN 1.1. Sobre el hecho de evaluar y sobre la evaluación de la ac- ción pública 11 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria Como esta es una guía para evaluar la ac- ción comunitaria es necesario que haga- mos en estas páginas iniciales una mínima referencia a “nuestra” manera de entender esta perspectiva de intervención social. La intención de este documento no es entrar en debates teóricos y conceptuales sobre la acción comunitaria, pero es muy cierto que no todo el mundo la entiende de la misma forma y, por lo tanto, es necesaria una delimitación conceptual mínima. Hace ya tiempo que en Barcelona se vie- nen desarrollando acciones comunitarias. En muchos casos, con el apoyo de las ad- ministraciones públicas, cuando no están impulsadas por los equipos de profesiona- les de los servicios públicos, como puede ser el caso de los servicios sociales muni- cipales. Todas estás prácticas han acumu- lado unas formas de hacer, tradiciones y culturas profesionales, a veces plasmadas en documentos de orden muy diverso1 y, si no, formando parte del bagaje profesio- nal y de los equipos técnicos. Se trata de la perspectiva de la acción comunitaria que compartimos, de forma más o menos explícita, la gran mayoría de las personas que hemos formado parte de los grupos de trabajo y discusión que han dado ori- gen a esta guía. Por eso, antes hablába- mos de “nuestra” manera de entender la acción comunitaria. Hay que decir, no obstante, que no pretendemos que todas las prácticas comunitarias construidas en Barcelona con el apoyo municipal sigan siempre y de manera exacta la misma perspectiva de intervención, ni que, a pe- sar de compartirla, las prácticas siempre sean coherentes con esta perspectiva (a veces, las declaracionesapuntan en una dirección y las prácticas en otra; eso le pasa a todo el mundo en muchos ámbitos de la vida). De ahí, la necesidad de esta guía de evaluación: para ofrecer instru- mentos que permitan saber hasta que punto las prácticas que se están desarro- llando responden a este planteamiento común, en relación con la acción comuni- taria, que a continuación intentaremos es- 1. Ver el anexo sobre documentación municipal en relación con la acción comunitaria. bozar mínimamente, y que más adelante, en la parte II de esta guía, cuando hable- mos del Marco Operativo para la Evalua- ción (MOE), volveremos a formular de for- ma más esquemática. De manera intuitiva, la acción comunitaria nos habla de gente que se organiza para hacer cosas conjuntamente (trabajar co- lectivamente objetivos colectivos). Lo pri- mero que tenemos que dejar claro es que no se trata de un tipo de intervención pro- pia de un determinado ámbito de interven- ción social, ni de unos profesionales espe- cíficos. Se puede hacer acción comunitaria en un barrio, en una escuela o en un hos- pital, la pueden hacer maestros y educa- dores, profesionales de la salud, de los servicios sociales, de la animación socio- cultural o de cualquier otro campo en el que se tenga la voluntad de trabajar colec- tivamente objetivos colectivos. A modo de ejemplo, podríamos señalar la importante tradición comunitaria que hay en el ámbito de la salud o en el de la cooperación al desarrollo. Últimamente se habla de eco- nomías comunitarias o de gestión comuni- taria de equipamientos de proximidad, por ejemplo. Cuando hablamos de acción comunitaria siempre hablamos de maneras de partici- pación, pero una participación que involu- cra a profesionales y servicios públicos que pueden ser diversos. En un sentido amplio, se podría pensar en acciones co- munitarias desarrolladas de manera autó- noma, independientes de la acción de las instituciones públicas. Pero las acciones comunitarias en las que piensa esta guía se caracterizan por el hecho de tener la presencia y el apoyo de las instituciones públicas a través de la acción que llevan a cabo los diferentes servicios y profesiona- les involucrados. Pensamos, entonces, en equipos o profesionales de los servicios públicos que participan o promueven pro- yectos comunitarios, y no en la acción co- munitaria entendida exclusivamente como “acción vecinal”: este sería uno de los pri- meros elementos de caracterización de la acción comunitaria tal como se ha enten- 1.2. La acción comunitaria 12 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria dido y practicado en Barcelona: organiza ción y participación vecinal, y trabajo con junto entre vecindad y servicios públicos a través de la implicación de las administra ciones públicas, especialmente de la ad ministración local (Ayuntamiento). Así, la acción comunitaria muestra una do ble cara: la que tiene que ver con la mejora de ciertas condiciones de vida de la gente (problemas colectivos, mejora del barrio) y la que tiene que ver con los procesos de fortalecimiento ciudadano, que serán ne cesarios para que la gente pueda ser pro tagonista, y que tienen que ver con las for mas de organización colectiva y de participación vecinales, y con las estrate gias y las formas de relación entre las per sonas, las entidades y los servicios públi cos. Así, entonces, en un sentido muy amplio o general, podríamos enumerar los objetivos siguientes (en parte metodológicos y en parte sustantivos) para la acción comuni taria: a) Construir procesos planificados para la mejora de las políticas públicas y de los servicios públicos a través de la im plicación y de la cooperación de la ciu dadanía, del trabajo coordinado entre profesionales y servicios, y de un clima de consenso, proactividad y correspon sabilidad en torno a la intervención pública. b) Construcción de ciudadanía, el forta lecimiento ciudadano (empowerment): como proceso de responsabilización individual y colectivo. También podría mos hablar aquí de creación de perte- nencia, capital social, de vínculos, de confianza, de redes sociales, etc. c) Las transformaciones en las condiciones de vida y la creación de nuevas oportu nidades para afrontar carencias y ne cesidades de la población, mediante la construcción de espacios de convi- vencia. d) La inclusión social en el sentido de una clara intencionalidad de no dejar a nadie fuera, de contar con todos y trabajar para todos, y no solo para la mejora de las condiciones de vida de unas cuantas personas. Incorporando en los proce- sos a los colectivos más vulnerables. Este sería nuestro marco común para toda acción comunitaria, pero sin olvidar que los objetivos evaluables en cada acción comunitaria particular (los objetivos espe cíficos) tendrán que ser más concretos, más precisos y deberán responder a diag nósticos concretos y a aspiraciones espe cíficas en cada territorio o colectivo. Figura 1. Triángulo de la acción comunitaria en Barcelona Fortalecimiento ciudadano (empowerment) Trabajar colectivamente objetivos colectivos Mejora de las condiciones de vida Procesos de inclusión Fuente: Morales Morales, Ernesto y Rebollo Izquierdo, Óscar (2014). 13 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria En relación a la evaluación de proyectos sociales y de políticas públicas hay di ver- sas perspectivas de trabajo, planteamien- tos teóricos y metodológicos que apuntan formas de entender qué es eva luar y cómo debe hacerse, que también pueden ser diversas. Un repaso a la literatura espe- cializada nos permitiría diferenciar entre eva luaciones más convencionales o tecno- cráticas y evaluaciones participativas, en- tre evaluaciones cualitativas y cuantitati- vas de procesos o de impactos. También podríamos diferenciar entre evaluar para aprender, para tomar decisiones o para fortalecer a la población, o entre evalua- ciones como estrategias de trabajo inter- nas a los equipos técnicos y promotores, o como ejercicios exteriorizados que, su- puestamente, tendrán que aportar puntos de vista más objetivos. Pero no siempre tenemos que leer esta diversidad como discrepancia. A menudo se trata de pers- pectivas y métodos absolutamente com- plementarios. Evaluar procesos no se con- tradice con evaluar impactos, y tampoco son contrapuestos (y sí complementarios) los análisis cuantitativos, los cualitativos y los participativos. Una posible clasificación, muy esque má tica, de las perspectivas de evaluación teniendo en cuenta los métodos que se uti lizan nos permitiría diferenciar entre me- todologías cuantitativas, cualitativas y par- ticipativas. Dicho de una manera muy resu- mida, y tal vez también demasiado simple, las metodologías cuantitativas son aque- llas que basan sus análisis en la re co pi- lación y el tratamiento estadístico de da- tos, las metodologías cualitativas son las que recogen y analizan opiniones, y las metodologías participativas son las que pretenden dar un paso más y conseguir la activación de los protagonistas en la ac- ción evaluada: promover acciones en los sujetos y no solo entender sus opiniones. Se debe decir que, en cierto modo, las metodologías participativas incluyen el ins trumental del análisis cualitativo, pero le suman procedimientos que tienen una funcionalidad más política y que tienen que ver con el control y la apropiación del proceso y de los resultados de la evalua- ción por parte de la población, sin dejarlo todo solamente en manos de los técnicos o de los responsables políticos que lo en- cargan. Pero, tal como acabamos de decir, las tres perspectivas metodológicas pue- den ser absolutamente complementarias y, de hecho, los mejores usos de las meto- dologías participativas incorporan siempre instrumentos de análisis cuantitativos y cua litativos. Del mismo modo, se hace di- fícil pensar en una evaluacióncualitativa que no parta de un cierto dimensiona- miento —cuantitativo— de la realidad que quiere valorarse. Si nos fijamos en el objetivo de la eva luación (evaluar, ¿para qué?), podríamos decir que existen dos tipos de evaluación que, claramente, son también más com- plementarios que alternativos: evaluar la eficacia (o evaluación de impactos); eva- luar para descubrir si conseguimos los re- sultados que nos habíamos propuesto y evaluar la eficiencia (o evaluación del fun- cionamiento); evaluamos para saber si hacemos las cosas tal como nos las ha- bíamos propuesto. En el primer caso (im- pactos), evaluamos los efectos derivados de nuestras acciones, y en el segundo caso (funcionamiento) evaluamos el pro- ceso: las formas de trabajar que tenemos. A veces se usa la distinción entre una eva- luación finalista (la de los objetivos y los impactos) y otra intermedia (la del funcio- namiento del proceso). Evaluar eficacia = Evaluar impactos = Evaluar objetivos = Evaluación finalista Evaluar eficiencia = Evaluar procesos = Evaluar funcionamiento = Evaluación in- termedia Nos preguntamos si es posible plantear una tercera visión o perspectiva sobre la evaluación: evaluar la inteligencia, que pone énfasis en la capacidad de apren- dizaje y de cambio de las organizaciones [Como dice el proverbio: aprender es cam- biar]. Debemos preguntarnos, en este caso, cómo se dan los procesos de cam- 1.3. Perspectivas de evaluación 14 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria bio dentro de las organizaciones o de los grupos promotores de la acción comuni- taria, e identificar las dimensiones de es- tos procesos y evaluarlos. Para empezar, podríamos decir que una organización in- teligente es aquella que hace un uso estra- tégico de la evaluación e incorpora los re- sultados a los procesos de trabajo. También podríamos decir que una orga- nización inteligente es aquella que sabe escuchar y relacionarse con el “mundo exterior”, etc. Finalmente, tenemos que plantearnos también la necesidad de evaluar necesi- dades, de hacer diagnósticos, y hemos visto que esta visión de la evaluación como ejercicio de identificación de necesi- dades, y también de oportunidades, debi- lidades, fortalezas o amenazas en torno a un proyecto comunitario no se puede en- tender como un proceso tecnocrático y sí como un proceso participado, en el que tengan cabida diversos agentes: afecta- dos y protagonistas de los procesos de mejora de la realidad en la cual se quiere intervenir, profesionales de los servicios públicos, expertos, ciudadanía..., que de- berían aportar sus visiones, opiniones y valoraciones para construir la evaluación. Hay que apuntar también, en relación a los diagnósticos, la importancia que tienen para fijar el punto de partida: debemos confrontar los resultados de nuestras ac- ciones con la situación tal y como era en el momento de empezar a actuar, y el hecho de saber cuál es el punto de partida resul- ta fundamental para poder evaluar los cambios que se han producido. La evaluación de necesidades nos condu- ce hacia la construcción de “problemas sociales” que, inmediatamente, se con- vierten en dianas o en objetos de la acción pública: “hemos hecho un diagnóstico y estos son los problemas a los cuales tene- mos que enfrentarnos.” Bien, ante este tipo de ejercicio de evaluación surgen al- gunas preguntas que no podemos obviar: cuando hablamos de problemas, de nece- sidades, etc., ¿llegamos a su identifica- ción por la vía de un supuesto conoci- miento objetivo, o mediante el diálogo y el consenso? ¿Cuáles son los problemas que debemos abordar?, ¿los que pueda identificar un científico social, los que de- cida un directivo público o los que ha con- sensuado una “comunidad”? También tie- ne todo el sentido preguntarse sobre los objetivos estratégicos de esta elaboración participada de diagnósticos sociales. Concretamente, sobre si estos deben limi- tarse a ampliar el conocimiento que tene- mos de una determinada realidad o entor- no social, o si hace falta que vayan más allá —incluso sacrificando en parte los ob- jetivos de conocimiento— incorporando de una manera especial objetivos más centrados en la dinamización, en la activa- ción de procesos relacionales que hagan de los participantes en la evaluación no solo “opinadores” o “evaluadores” sino también “actores”: protagonistas activos de los procesos comunitarios de cambio y mejora de su situación. 15 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria En las sesiones de trabajo en los grupos se ha dado una gran coincidencia entre muchos de los participantes al detectar la necesidad de los profesionales que traba- jan en el día a día de las acciones comuni- tarias de disponer de espacios para poder contrastar sus prácticas y mejorar su fun- cionamiento, cambiar lo que se deba cam- biar y reforzar lo que funciona. Pero tam- bién hemos podido ver que esta necesidad no siempre se expresa en los mismos tér- minos. A veces se hace referencia a la ne- cesidad de ir contrastando con alguien el día a día, o determinadas situaciones con- cretas que nos conducen a callejones sin salida, a no saber qué hacer en un mo- mento puntual. Otras veces la necesidad de contraste apunta directamente a la efi- cacia y la eficiencia de los procesos de in- tervenciones (¿trabajamos como debe- mos trabajar?, ¿estamos consiguiendo resultados?) con una visión más global. Ciertamente, la necesidad de evaluación tiene que ver con todo eso, pero nos pre- guntamos si debemos encontrar la res- puesta a todas estas necesidades de co- nocimiento en metodologías, instrumentos y espacios de evaluación o si, por el con- trario, hay que diferenciar la evaluación de otras formas de contraste de nuestras prácticas e intervenciones. En parte, en las sesiones de trabajo en los grupos ha surgido la idea de que es impo- sible no evaluar, que siempre evaluamos en la medida en que pensamos o emitimos juicios de valor sobre lo que hacemos no- sotros o lo que hacen los otros y, por lo tanto, y estirando un poco el argumento, también podríamos afirmar que todo con- traste de la práctica es evaluación, y no son necesarias más diferenciaciones. Pe- ro, a pesar de esta apreciación, sí que nos ha parecido interesante diferenciar la eva- luación de otras posibles estrategias de contraste que pensamos que pueden ayu- dar. No se trata de hacer disquisiciones conceptuales o terminológicas (cuanto más, mejor) ya que este no es nuestro ob- jetivo, pero tal vez vale la pena hacer algu- na para facilitar la construcción de deman- das y el diseño de posibles respuestas metodológicas a las necesidades de co- nocimiento de cada momento. Así, enton- ces, diferenciaremos entre el seguimiento, la supervisión y la investigación de la eva- luación. Así, hablaremos de seguimiento cuando lo que nos interesa destacar es la necesi- dad de disponer de espacios de contraste que tengan una intencionalidad política, cosa que da a estos espacios cierto tipo de exigencias metodológicas específicas. Podríamos pensar, por ejemplo, en una comisión de seguimiento de un plan co- munitario. Los espacios de seguimiento de una ac- ción comunitaria se orientan a validar y le- gitimar las prácticas que se desarrollan, contrastándolas con personas que poseen una relevancia política para el proceso co- munitario y no son las promotoras direc- tas. El objetivo principal de los espacios de seguimiento suele ser validar las estra- tegias que se siguen, consensuar posibles reorientaciones y gestionar posibles con- flictos. Un buen seguimiento requiere bue- na información y pluralidad, significación y representatividad de los participantes. Cuando hacemos seguimiento también estamos haciendo evaluación, ya que emi- timos un juicio de valor, pero los espacios de seguimiento pueden hacer más cosas, además de evaluar. La supervisión es el campo de trabajoasentado en las prácticas profesionales de intervención social y, normalmente, hace referencia al papel que desarrolla una per- sona que posee los conocimientos y las habilidades necesarias para saber escu- char y para hacer pensar a los profesiones que se encuentran en el día a día de la ac- ción. Hacer supervisión también es hacer evaluación, pero con las finalidades mucho más enfocadas al análisis de los procesos y las formas de trabajo de los equipos pro- fesionales, y se hace más difícil pensar en unos instrumentos de supervisión inde- pendientes de la persona que los utiliza, cosa que quiere decir que la atención no se pone en el hecho de que la supervisión 1.4. Evaluación, seguimiento, supervisión e investigación 16 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria ofrezca unos resultados objetivos y, sí, en cambio, en el hecho de que el profesional que supervisa sea capaz de hacer un buen acompañamiento a los equipos. Algunas de la intervenciones que se han hecho en los grupos de trabajo han queri- do destacar expresamente el papel crucial que tiene la investigación científica. El ob- jetivo fundamental de la investigación es llegar a un conocimiento profundo y siste- mático del funcionamiento de los proce- sos y de los impactos de las acciones co- munitarias en general. Disponer de una buena base de conocimiento, a partir de investigaciones continuadas, puede mos- trarnos efectos o impactos de la acción comunitaria que sería difícil que aparecie- ran como resultado de la evaluación de un proyecto concreto. Llegar a la conclusión, por ejemplo, de que en los barrios en los que se ha desarrollado una acción comu- nitaria de calidad, con implicación de los servicios sociales y los centros educati- vos, esta ha tenido efectos positivos en la convivencia en el espacio público, o en la mejora del rendimiento escolar, es más el resultado de una investigación fundamen- tada en análisis transversales y longitudi- nales de diversas experiencias en diversos contextos sociales, que no el fruto de la evaluación de un proyecto concreto du- rante un tiempo limitado. Hacer este tipo de investigación también es, en efecto, evaluar la acción comunitaria. 17 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria Como ya se ha dicho en la presentación, el contenido de esta guía es fruto de las aportaciones de muchas personas que, a través de diferentes roles y responsabili- dades, participan en el desarrollo de la ac- ción comunitaria en Barcelona. En este apartado, queremos recoger las aporta- ciones principales hechas en los grupos de trabajo por todas aquellas personas que son las que han marcado el camino a recorrer en el desarrollo de la guía de eva- luación, al señalar las necesidades, de- mandas, preguntas, retos, etc., vinculados a la tarea evaluadora. Evidentemente, no podemos recogerlo todo: no están todas las intervenciones, pero sí la más relevantes o significativas para la tarea que nos hemos propuesto lle- var a cabo. Muchas ideas son comparti- das por más de una persona. Hemos in- tentado recopilarlo todo en unos cuantos apartados con las aportaciones agrupa- das por categorías o ideas fuerza sobre la evaluación: 1. Debemos tomar conciencia de la com- plejidad de la tarea evaluadora 2. Necesitamos un marco institucional que dé sentido a la evaluación. 3. ¿Qué evaluamos? 4. Sobre el proceso y los instrumentos de evaluación. Para presentar esta información, una vez agrupada en las ideas fuerza anteriores, primero recogeremos las aportaciones principales hechas en los grupos de traba- jo por los participantes y, al final de cada apartado, haremos una síntesis o conclu- sión en relación con la idea fuerza que las aglutina. 2.1.1. Aportaciones principales hechas en los grupos de trabajo La evaluación se considera una tarea ab- solutamente necesaria, pero a la vez se ve como algo sumamente complejo. La gran complejidad que se identifica con la tarea evaluadora no tiene que ver únicamente con su dimensión más técnica o metodo- lógica. Otras muchas dimensiones se po- nen en escena en el momento de pensar la complejidad de la evaluación. Esta com- plejidad se atribuye principalmente a los siguientes aspectos: - En las diferentes visiones, intereses, encargos, voluntades y capacidades del abanico de actores implicados: …Los PDC plantean cambios, transforma- ciones —como la mejora del éxito esco- lar—, pero existe una previa, que es saber qué motivación tienen los agentes del te- rritorio invitados a participar para cambiar esta realidad. Y sin eso se puede participar en un proceso comunitario por ganas de participar, pero la motivación inicial no es la misma que la que tiene un servicio públi- co, por ejemplo. …Hay una disociación entre la reivindica- ción y la colaboración y eso hace difícil evaluar. También puede existir la percep- ción de que hay cosas que deberían hacer las administraciones y no las acciones co- munitarias. …Me interesa del grupo cómo podemos construir una información compartida entre los agentes que sacamos adelante un plan comunitario y poder hablar más allá de los intereses: del lado más admi- nistrativo a veces hay intereses políticos que justifican una cosa que técnicamente no se sostiene y del lado de las entidades a veces se justifica un sueldo, aunque el impacto sea -3. …No tenemos tiempo ni encargo para eva- luar. Somos un colectivo de acción, y no de evaluación. 2. CONSIDERACIONES SOBRE LA EVALUACIÓN DE LA ACCIÓN COMUNITARIA 2.1 Debemos tomar conciencia de la complejidad de la tarea evaluadora 18 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria …Creo que una evaluación de un proyecto no es la suma de las partes, que cada parte debe hacer la evaluación de qué le repre- senta y qué significa, y que tiene que haber una evaluación conjunta que trascienda la suma de cada una, tiene que ser otra cosa diferente. Me interesan las dos. - A falta de unos objetivos claros, espe- cíficos y evaluables en los proyectos de AC: …No puede ser que todos los PDC tengan los mismos objetivos, las realidades del te- rritorio son diferentes... …Trabajamos con objetivos demasiado generales o imposibles de alcanzar a corto plazo. …Un grupo de trabajo que sabe definir bien sus objetivos sabe evaluarlos. – En las rigideces de los procesos buro- cráticos en las administraciones públicas: …La visión burocrática de la Administra- ción va en nuestra contra, deberíamos ser capaces de recopilar toda esta parte más cualitativa, estas percepciones más indivi- duales, aquellas cosas que no están en la memoria, pero que puedes percibir cuan- do visitas las experiencias. …De la misma manera que hacemos un “re lato” del diagnóstico, necesitamos tam- bièn un “re lato” de la evaluación. - En la necesidad de disponer de con- ceptos claros y compartidos, que signi- fiquen lo mismo para todos: …Necesitamos un esquema o esqueleto lo suficientemente compartido que permita planificar y evaluar. …Hacer una buena conceptualización de elementos clave también nos ayudaría a evaluar. Si tenemos que evaluar el fortale- cimiento (empowerment), ¿qué entende- mos por fortalecimiento? ¿Qué dimensio- nes tiene? Si tenemos que evaluar la transformación o la coordinación... - En las diferentes “escalas” o “niveles” por los que transitan los procesos comu- nitarios y los cambios que se buscan: …¿Evaluamos una acción concreta, un programa, un PDC, la política pública y de los PDC, los actores y sus actitudes y es- trategias...? ¿Observamos los cambios a escala individual, grupal, de participantes, de barrio...? …Para que sea útil me interesa qué signifi- ca aquello para mi servicio, pero también qué es lo que representa para cada una de las partes que conforman aquel proyecto. …De la misma manera, lo que es impor- tante no es la evaluación de cada proyectoy no tenemos que evaluar todos los niveles de la acción comunitaria (individual, gru- pos, barrio), ya que los indicadores tal vez son diferentes... Debemos poder objetivar. …Los efectos positivos de un programa se ven en otro programa porque el anterior nos facilita relaciones. …Debemos distinguir tres niveles: evaluar un plan después de x años; evaluaciones anuales o de curso y la evaluación cotidia- na (del día a día y en el día a día). - En las expectativas de una evaluación que sea “objetiva” y las dificultades que eso implica: …Yo me lo planteo para conseguir aquella información contrastada, útil y objetiva que permita a quien debe tomar la decisión te- ner más elementos objetivables... - En la necesidad de más conocimiento en torno de la AC para que la evalua- ción sea más eficaz: 19 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria …Necesitamos investigación sobre la AC y sobre la acción de los servicios sociales. …Tenemos necesidad de evaluación y, también, de investigación: no todo saldrá de la evaluación. 2.1.2. Conclusiones La acción comunitaria nos remite a una plu- ralidad de actores que colaboran pero que también pueden atravesar momentos de conflicto y si esto ocurre es porque los di- versos actores que participan pueden te- ner, en ciertos aspectos, posiciones o inte- reses contrapuestos. En un mismo proyecto o acción comunitaria, en un plan comuni- tario, etc., siempre se dan momentos de conflicto y momentos de cooperación entre los diferentes actores que intervienen, o un tipo de relación en la cual es posible discer- nir estas dos caras (conflicto y coopera- ción) en proporciones diversas. Así que también nos podemos encontrar con una significativa pluralidad de visiones y de in- tereses en torno a la evaluación. Eso nos hace pensar que seguramente la evalua- ción no siempre es un ejercicio tan “científi- co” y “objetivo” como a veces pensamos y puede ocurrir fácilmente que lo que para unos es un éxito para otros sea un fracaso, algo no relevante o, incluso, una amenaza. Pero la acción comunitaria, a pesar de asu- mir la existencia inevitable de conflictos y visiones contrapuestas entre los diferentes participantes (técnicos y profesionales, aso- ciaciones, grupos y personas no asocia das, administraciones, expertos, etc.) basa bue- na parte de su planteamiento metodológico en la necesidad de construir espacios de consenso y acuerdos que permitan un tra- bajo de colaboración entre gente diversa en torno a un proyecto compartido. Eso signifi- ca que también será necesario construir un cierto acuerdo sobre los objetivos y los mé- todos de evaluación. Podríamos decir que evaluar, emitir juicios de valor sobre una situación o acción es también una actividad “política” y no sola- mente “científica” o “técnica”. Otra manera de decirlo sería que, cuando evaluamos, muchas veces estamos comparando, al menos en parte, “lo que realmente pasa” con “lo que querríamos que pase”, y no siempre es fácil ponerse de acuerdo sobre alguna de las dos cuestiones. Ponerse de acuerdo en la primera afirmación “lo que realmente pasa” puede llegar a ser posible, aunque la experiencia nos demuestra que no siempre es fácil y, a veces, puede resul- tar casi imposible (donde unos ven autono- mía, otros ven alboroto; lo que para unos es actividad cultural para otros es ruido o pro- paganda...), pero la segunda cuestión “qué debería pasar” depende claramente de principios éticos, ideológicos o políticos que no tienen porque compartirse y que proyectan una determinada intencionalidad en la acción que tiene que desarrollarse. Por lo tanto, en el momento de plantear un proceso de evaluación en acciones comu- nitarias, hay que diferenciar entre: a) Discernir sobre qué objeto se quiere eva- luar, el éxito o impacto de un programa, cuestión principalmente de tipo político. b) Inferir causalidad entre la acción comu- nitaria y la variación del objetivo de esta, siento este un reto metodológico. Es importante entender las dos cuestiones para no confundirlas. Esto no debería significar que renunciemos de entrada a toda pretensión de mínima ob- jetividad. Más bien lo que nos dice es que tenemos que ser conscientes de los lími- tes y cuidadosos con los métodos para con- seguir esta objetividad. Hay aspectos que pueden ayudarnos. Para empezar, promo- ver eva luaciones participadas y plu ra listas: que recojan el máximo de visiones, intereses y opiniones. También, construir vocabu- larios, marcos conceptuales y operativos, que sean lo suficientemente compartidos, hacer un esfuerzo para aclarar previamente los objetivos que perseguimos, dotarnos de instrumentos de evaluación eficaces y de otros que veremos más adelante. 20 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria A pesar de considerar la evaluación casi como una necesidad urgente, no es me- nos cierto que se trata de una tarea que siempre genera inquietudes y suspicacias: ¿sirve para algo?, ¿se usa para retirar fon- dos de financiación de los proyectos?, ¿o para “castigar” a unos profesionales y “premiar” a otros? Es necesario aclarar de antemano los objetivos de la evaluación. No pocas intervenciones han remarcado la importancia de disponer de un “marco” (normativo, institucional, político...) que deje bien claro el porqué de la evaluación. Vamos a ver diversas intervenciones de los participantes en los grupos. 2.2.1. Aportaciones hechas en los grupos de trabajo - Necesitamos situar la tarea evaluado- ra dentro de un “marco” o un “acuerdo institucional” que explicite el porqué de la evaluación y contribuya a generar confianza en el proceso: …para que la evaluación sea compartida y objetiva, lo importante es que genere un clima de confianza y compromiso entre to- dos los agentes. …muchas veces empezamos a trabajar juntos y no tenemos definido por qué lo hacemos... y tardamos en definirlo. Mu- chos PDC se han puesto con calzador, no porque vengan de una definición conjunta del problema... Si es así, es mucho más fá- cil evaluar. …existen resistencias vinculadas a quien las impulsa, y a la transparencia en relación con las consecuencias de la evaluación. …la evaluación tiene que ser capaz de re- coger las diferentes visiones. …es importante acotar la temporalidad: evaluar un periodo de tiempo. Un plan debe tener un momento final, pero, si no es así, debe poder evaluarse un periodo concreto de tiempo. 2.2.2. Conclusión Las razones pueden ser diversas pero lo cierto es que la evaluación no es una acti- vidad incorporada naturalmente a nuestra cotidianidad y eso hace que, a menudo, se viva como algo extraordinario, farragoso y sin demasiado sentido. A veces, incluso, como una amenaza directa a nuestro tra- bajo o a nuestra posición en la organiza- ción en la que trabajamos. Se hace porque tiene que hacerse, eso de evaluar, pero todavía con poco convencimiento y mu- cha cautela. Si nos queremos tomar seriamente la tarea de evaluar lo primero que tenemos que hacer es dotarla de sentido. Otra manera de decirlo es que necesitamos disponer de una o más respuestas claras a la cues- tión de “por qué evaluamos”. Es eso lo que dará sentido a la tarea evaluadora: las razones por la cual la llevamos a cabo. Cuando decimos que la evaluación necesi- ta un marco institucional claro nos referi- mos al hecho de que dentro de nuestras organizaciones, ya sea una entidad vecinal, una empresa de prestación de servicios o una administración pública, se puedan saber con claridad las razones por las cua- les queremos evaluar y, por lo tanto, qué haremos con los resultados de la evalua- ción. Nos resulta difícil imaginar una buena evaluación sin que este “paso previo” que- de suficientemente claro. De esta manera, una evaluación bien “enmarcada” será aquella que, más allá de desplegar unas u otras metodologías, transmita desde el ini- cio para qué tiene queservir, cuál es su fi- nalidad y, por lo tanto, cuál es su sentido. Este marco facilitará el proceso de evalua- ción desde muchos puntos de vista. Des- de saber qué papel deben tener los dife- rentes actores hasta escoger entre unos u otros métodos o instrumentos. Las metodologías de evaluación son di- versas, como los instrumentos que pue- den usarse en el momento de evaluar. Pero no es el método lo que tiene que dar 2.2. Necesitamos un marco institucional que dé sentido a la evaluación 21 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria sentido a la evaluación. Más bien es todo lo contrario: es el sentido institucional de la evaluación (su finalidad) lo que nos debe hacer elegir entre unos métodos u otros. Escoger entre los diversos métodos o ins- trumentos de evaluación puede responder a consideraciones diferentes (disponibili- dad de recursos y de tiempo, tipos de ac- ciones que deben evaluarse, etc.) una de las cuales es la finalidad de la evaluación. Muchas intervenciones en los grupos han planteado que el objeto de la evaluación, el qué de la evaluación, puede llegar a ser muy diverso; a veces, muy difícil de identificar. “Si tenemos claro qué es lo que debemos evaluar, tenemos la mitad del trabajo he- cho”, es lo que vienen a decirnos muchas de las intervenciones. Tanto por el número de las intervenciones como por los debates suscitados, podríamos decir que este ha sido el gran tema y esta es, entonces, la gran pregunta: “¿Qué evaluamos?” Aquí surgen muchos aspectos, desde los objeti- vos del proyecto hasta el fortalecimiento individual (empowerment), pasando por el alma de los proyectos. Vale la pena leer al- gunas de las intervenciones para hacerse una mejor idea de lo que estamos diciendo. 2.3.1. Aportaciones principales hechas en los grupos de trabajo - La cuestión de “qué evaluamos” apa- rece como uno de los retos operativos más importantes: …No tenemos bien definido el problema que después querremos evaluar. …Cuesta evaluar porque cuesta definir qué evaluamos. …para mí, lo difícil es extraer qué es lo que tenemos que evaluar, y que no pasa por lo cuantitativo, sino que pasa por el hecho de medir otros aspectos que son importantes y que garantizan el éxito del proyecto (¡los intangibles!). …la evaluación tendría que permitir saber si aquel proyecto tiene o no tiene alma, una sensación que sabemos que existe y que tenemos que identificar (hay proyec- tos que “huelen a podrido”). …Los objetivos que nos marcamos, algu- nos son muy macro y otros son muy micro. …Se hablaba por ejemplo de mejora de las relaciones... ¿Eso lo podremos traducir a números? 2.3. ¿Qué evaluamos? 22 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria …pero los procesos comunitarios […]. Yo tengo muchas cosas que no sé si puedo evaluar porque tienen que ver con la rela- ción con la gente, el contacto personal... Hay muchas cosas que hacen que un pro- yecto salga adelante... …deben marcarse como una prioridad los objetivos generales del proceso, la creación de redes, el fortalecimiento (empowerment) de las personas (si han asumido responsa- bilidades), si estamos avanzando hacia la autogestión de los proyectos y los grupos. …lo que debemos evaluar es el cambio. …debemos evaluar los vínculos. …debemos evaluar procesos (no produc- tos) en su contexto. …debemos evaluar la capacidad proyecti- va: capacidad de estar generando nuevos proyectos y nuevas acciones. …debemos evaluar el impacto, debemos dar respuesta a la pregunta: “¿Esto para qué sirve?” 2.3.2. Conclusión La conclusión en relación con el gran tema de cuáles deben ser los objetos de la evaluación (qué debemos evaluar) es bastante sencilla, pero muy contundente. En primer lugar, es necesario tener claro qué queremos evaluar, y este es un ejerci- cio que exige dimensionar la acción co- munitaria para poder ver los diversos as- pectos que comprende y la multitud de elementos en los cuales puede llegar a tener incidencias significativas. Realmen- te, son muchas las “cosas” susceptibles de ser evaluadas. Así, uno de los retos principales de la tarea evaluadora consis- tirá en poner orden en el Qué (ver más adelante la parte II de esta guía: El Marco Operativo para la Evaluación). Las diversas dimensiones, los diferentes aspectos que pueden evaluarse, no deben considerarse contradictorios o excluyentes entre sí. Debemos poder evaluarlo todo, aunque evaluarlo todo sea imposible. Di- cho de otra manera: no tenemos por qué renunciar a la evaluación de ningún aspec- to o dimensión relacionada con la acción comunitaria, pero, del mismo modo, no se puede pensar en la evaluación de una ac- ción comunitaria que lo tenga todo en cuenta. También está claro que las demandas en relación a la evaluación se construyen desde los diferentes roles profesionales, vecinales e institucionales que la prota- gonizan. Así, lo que un profesional de un equipo de servicios sociales espera de la evaluación, por ejemplo, puede perfecta- mente no coincidir con lo que necesitan los responsables políticos de la institución para la que trabaja o lo que querría un co- lectivo organizado de ciudadanos y ciuda- danas. De hecho, hemos podido ver en los debates en los grupos que la diversidad de expectativas de los participantes ante la evaluación que se ha presentado pro- venía precisamente de sus diversas nece- sidades de objetos y objetivos de eva- luación. 23 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria Los aspectos más puramente metodoló- gicos no han sido los más presentes en los debates en los grupos, pero se han dicho algunas cosas que no hay que per- der de vista. En especial, la necesidad de ser innovadores y creativos en relación a las técnicas y los instrumentos de eva- luación, la importancia de combinar las perspectivas cuantitativa, cualitativa y participativa, la importancia de combinar, también, evaluación interna con evalua- ciones externas, y la necesidad de una reflexión de las administraciones públi- cas respecto a los sistemas de segui- miento y registro (memorias) que se utili- zan, y que deberían ser más compartidos y estables. 2.4.1. Aportaciones principales hechas en grupos de trabajo - Necesitamos estrategias e instrumen- tos de evaluación que sean útiles y sen- cillos, ágiles y creativos: …Memorias, las administraciones hace- mos dos (Ayuntamiento y Generalitat), y las cargamos a una sola persona, y donde se puede sacar más es cuando esto se hace en grupos, como en el grupo comunitario ... Esto da más ítems que la memoria. …La cantidad de datos que pedimos, des- de organismos diferentes, sometidos a la presión de las memorias, de mil formatos y organismos, que finalmente no nos apor- tan nada. …Analizar el clima que tiene ese barrio, ejemplo de interrelación positiva, etc., esto puede ser un indicador valorado a escala política..., cooperación, corresponsabili- dad... Esto no se puede valorar con núme- ros, lo mismo que los proyectos de inser- ción, cuántas personas han encontrado trabajo... …Los formatos de la evaluación, hay que ser muy creativo ...una cena, un audiovi- sual, una asamblea de barrio, una consulta ciudadana... no tengo la receta. …Debemos incorporar elementos lúdicos, la gente tiene que pasárselo bien evaluan- do. …Para que sea útil para mí, debe permitir poder contrastar estas valoraciones que ha- cemos los técnicos en el día a día, que son valoraciones individuales o en equipo, poder contrastarlas con el resto de per- cepciones de los agentes que participan... y también con una visión externa, que a veces es la que te dice esto es lo que yo veo desde fuera que estáis pasando por alto, o que no está funcionando, como una especie de asesoramiento... Creo que esta herramienta y poder contrastar los que es- tamos en el día a día con alguien de fuera, con un visión externa.…La evaluación tiene sentido dentro de un proyecto. No podemos hablar de un único instrumento de evaluación descontextuali- zado de un proyecto concreto. …Hay que diseñar un modelo de acta de reuniones que facilite el trabajo a la hora de evaluar. …hay vicios, cronificación, que no se pue- den detectar si no es con una evaluación externa. 2.4.2. Conclusión La conclusión principal de este último de- bate apunta a la necesidad de observar la evaluación con una visión bastante amplia y creativa, para que tengan cabida méto- dos, instrumentos y estrategias de orden muy diverso. Que tengan cabida y que sean compatibles y no excluyentes entre sí. Además, tenemos que hacer el esfuer- zo de incluir la creatividad en los procesos de evaluación como única vía posible para incorporar la diversidad de experiencias y participantes que pueden llegar a confluir en una acción comunitaria: gente con y sin formación, niños y ancianos, de aquí y de allá, profesionales y voluntarios, etc. 2.4. Sobre el proceso y los instrumentos de evaluación 24 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria Al final, toda evaluación pasa por aplicar o utilizar unos instrumentos concretos si- guiendo unos métodos o modelos predefi- nidos. Independientemente de cuáles sean estos instrumentos, de si utilizamos unos modelos de evaluación u otros, he- mos podido identificar unos principios metodológicos generales que deberemos tener siempre presentes cuando hablemos de evaluar acciones comunitarias. No son muchos, y no nos extenderemos a la hora de presentarlos, pero sí que son suficien- temente importantes como para dedicar- les un apartado específico. Los procedimientos para la evaluación no pueden estar muy alejados de los procedi- mientos de planificación. De hecho, las ideas apuntadas hasta ahora nos remiten claramente a la necesidad de que la tarea evaluadora forme parte, desde el inicio, de la planificación de la acción. Cuando pla- nificamos debemos planificar también la evaluación. Del mismo modo, cuando pen- samos en instrumentos de evaluación, es- tos nos hacen pensar en aspectos que debemos tener en cuenta a la hora de di- señar y planificar nuestras acciones. Planificar la evaluación nos exige, por ejemplo, pensar y diseñar procedimientos de recogida y registro de información rela- tiva al desarrollo de las acciones que se querrán evaluar. Si esto no lo pensamos desde el principio, si no lo planificamos, difícilmente dispondremos de esta infor- mación al final. Veremos también, por ejemplo, que para evaluar tenemos que disponer de objetivos evaluables, o de una teoría del cambio que vincule nuestras ac- ciones a los resultados que esperamos obtener. Pues bien, esto también debe quedar claro de antemano. En definitiva, ninguna evaluación puede ser una “sorpresa”, improvisada en el últi- mo momento, ya que claramente corre- mos el riesgo de que el ejercicio de eva- luación se convierta en un ejercicio de autojustificación hecho a última hora con la información que hemos podido recoger en el último momento. La evaluación tam- poco debería convertirse en un trámite bu- rocrático más que no nos debe “molestar” mucho y que podemos hacer mientras te- nemos la cabeza en otra cosa. La evalua- ción debe hacernos pensar, nos tiene que ayudar a planificar y a redefinir estrategias, y debe “inquietarnos” y “molestarnos” un poco. Evaluación y planificación van siempre de la mano. La evaluación se planifica la vez que se planifica la acción. Y esta asocia- ción entre planificación y evaluación con- lleva un doble beneficio; a) la evaluación se beneficia por los motivos expresados y 3. PRINCIPIOS METODOLÓGICOS DE CARÁCTER GENERAL 3.1. Evaluación y planificación van siempre de la mano 25 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria b) la planificación se beneficia de la eva- luación porque le aporta cierto rigor a la hora de decir qué se va a hacer, cómo se va a hacer y para qué se va a hacer. De hecho, las cuestiones que abordaremos en los diversos puntos de este apartado tienen que ver, precisamente, con aspec- tos a considerar en los primeros momen- tos, antes de que el proyecto se traduzca en acción. La evaluación nos obliga a hacer explícitos nuestros objetivos y pone a prueba su per- tinencia y viabilidad. Seguramente, no toda la tarea evaluadora de nuestro pro- yecto deba centrarse en medir el grado de consecución de los objetivos que nos ha- bíamos planteado, ya que también eva- luamos el proceso para alcanzarlos, pero difícilmente nos podemos imaginar una evaluación que prevea, de alguna manera, una mirada sobre el grado de consecución de los objetivos. Aquí aparecen algunas cuestiones de gran importancia. En primer lugar, la necesidad de disponer de unos objetivos lo suficien- temente claros y concretos para que sean evaluables. A veces explicitamos unos ob- jetivos tan generales, o a tan largo plazo, que luego no encontramos la forma de presentar sus resultados. Cuando nos po- nemos a proyectar nuestra actividad, nos imaginamos un “mundo mejor” y nos plan- teamos el objetivo de alcanzarlo con nues- tras acciones comunitarias, pero eso no quiere decir que sea posible, al menos en los plazos con los que nosotros trabaja- mos y en los cuales tenemos que presen- tar resultados. Es bien cierto que la acción comunitaria es una estrategia de trabajo que no puede mostrar resultados espectaculares en un plazo corto de tiempo, pero eso no quiere decir que no nos podamos plantear objeti- vos más cercanos y alcanzables. O que no podamos establecer diferentes objetivos en el corto, en el medio y en el largo plazo. No debemos olvidar que el camino más directo hacia el fracaso es plantear objeti- vos inalcanzables. Del mismo modo, tam- poco podemos olvidar que las acciones comunitarias encuentran su sentido en la promesa que incorporan de transformar relaciones y condiciones de vida, y esta intencionalidad debería quedar recogida de alguna manera en los objetivos. Necesitamos, entonces, objetivos claros, específicos y acotados en el tiempo. Vin- culados a necesidades y demandas es- pecíficas y a oportunidades y amenazas 3.2. Debemos disponer de unos objetivos evaluables 26 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria concretas. No es suficiente hacer de cla raciones de principios y definiciones ge nerales de los objetivos, de modo que después pase que todas las acciones co- munitarias acaben teniendo los mismos ob- jetivos. Nosotros proponemos que los objetivos específicos marquen metas que tengan que alcanzarse en seis meses, un año y tres años vista. Una idea que genera bastante consenso entre los técnicos de la acción comunitaria es que si un equipo de trabajo es capaz de formular bien sus objetivos, entonces se- guro que es capaz de evaluarlos. También se ha dicho que no puede ser que todos los proyectos comunitarios tengan los mismos objetivos, ya que esto significa que todos se mueven en un plano muy ge- neral y pensando solo a muy largo plazo. Hay quien habla de una evaluación “libre de objetivos”, que es adecuada en aque- llos casos en los que se emprende una ac- ción para que pasen cosas positivas (de fortalecimiento democrático o de mejora de condiciones de vida), pero no se sabe muy bien cuáles. Entonces hay que estar atentos a lo que va pasando y conjugar perspectivas diversas (outputs externos). Finalmente, también se ha comentado que debemos ser muy prudentes en el mo- mento de redactar proyectos, ya que el papel lo soporta todo, pero los procesos sociales tienen sus tiempos y sus ritmos. Una teoría del cambio es un conjunto de hipótesis de trabajo que ponen en relación una actividad, o un conjunto de acti vi da- des, y una manera de desarrollarlas, con unos resultados esperados en el proceso de cambio: “Si hacemos estas actividades deesta manera, esperamos obtener estos resultados.” La evaluación debe someter a prueba nuestra teoría del cambio y es fun- damental que así sea. Por ejemplo, una “teoría del cambio” en el mundo de la educación puede plantear que los niños aprendan más y mejor en entor- nos fuertemente afectivos: el niño y la niña necesitan ver en el maestro a alguien que los respeta y los quiere. Al contrario, otras teorías del cambio en relación con la edu- cación pueden plantear todo lo contrario: que “La letra con sangre entra” y que lo que los niños necesitan es un clima de discipli- na y ver en el maestro una figura de autori- dad. Bien, se trata de dos teorías o hipóte- sis del cambio que nos tienen que conducir a dos planteamientos pedagógicos bastan- te diferentes, es decir, a dos maneras de proceder y actuar. La evaluación debería servir para ver hasta qué punto nuestra teo- ría es correcta, y qué resultados da. Si estamos trabajando en un programa pa- ra que los jóvenes del barrio encuentren trabajo, dependiendo de cuál sea nuestra teoría del cambio, podemos llevar a cabo unas u otras actividades. Una teoría muy extendida es que la actividad que más faci- lita encontrar trabajo es la formación. Así, si estamos de acuerdo con esta teoría del cambio (más formación = más empleo), lo que haremos será ofrecer formación a los jóvenes del barrio. ¿Y si después estos jó- venes no encuentran trabajo? Puede pasar porque no hayamos hecho bien la forma- ción, o porque esta no era adecuada a los perfiles solicitados, o tal vez lo que ocurre es que nuestra teoría del cambio es errónea y la formación no se traduce en empleo. Es eso lo que tenemos que averiguar, lo que tenemos que aprender con la evaluación. Esta es una cuestión clave señalada en la teoría de la evaluación. Tenemos que ha- 3.3. Debemos hacer explícita nuestra “teoría del cambio” 27 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria cer explícita nuestra teoría del cambio y la evaluación que hacemos debe someter a prueba su validez. Esto nos ayudará a orientar nuestras acciones hacia los cam- bios que queremos conseguir. ¿Cuál es nuestra teoría del cambio en el ámbito de la acción comunitaria? ¿Cuáles son nuestras hipótesis de trabajo? Si que- remos que un grupo de población se haga cargo de ciertos programas de mejora de su vida cotidiana (salud, educación), si queremos que los jóvenes participen en el plan de mejora del barrio, si lo que quere- mos es fortalecer el tejido asociativo del barrio, ¿cuál es nuestra teoría del cambio? Es decir, ¿cuáles son las actividades que pensamos que tenemos que llevar a cabo? Y, ¿cómo debemos hacerlas, para alcan- zar estos objetivos? Hacer explícita nuestra teoría del cambio también nos obliga a no hacer las cosas porque sí, ni porque siempre se han hecho de este modo. Nos ayudará a planificar mejor nuestras actividades y encontrar siempre el sentido a las cosas que hace- mos, por más pequeñas e insignificantes que parezcan. La evaluación exige recopilar información de forma ordenada o sistemática. Esta información puede ser de tipo muy di- verso, pero casi siempre estaremos traba- jando con datos (¿cuánta gente ha asistido a la actividad?, ¿cuánta gente ha hecho uso del servicio?, ¿cuántos jóvenes han en contrado trabajo?) o con opiniones (¿qué valoración hacen los usuarios?, ¿qué piensan los ciudadanos?). Lo que es im- portante señalar desde el primer momento es que difícilmente dispondremos de la in- formación que necesitamos a la hora de evaluar si antes no nos hemos preocupado de definirla y la hemos ido recogiendo a lo largo del proceso. Muchas veces nuestra capacidad para evaluar encuentra uno de sus límites en la capacidad real —limitada— que tenemos de ir recopilando información (datos u opi- niones) de manera sistemática, ordenada. Por eso es tan importante pensar en la evaluación desde el principio y tratar de identificar la información que nos interesa- rá en el momento de evaluar para ir reco- pilándola. En este sentido, también será muy impor- tante definir no solo qué información nos interesará recopilar, sino también el proce- dimiento y los criterios que seguiremos para hacerlo, para que su utilidad y “vera- cidad” no dependa de quién es la persona que la recoge. Más adelante veremos como ciertos ins- trumentos con la que trabajamos coti- dianamente nos pueden ser de mucha utilidad. Por ejemplo, las actas de las reu- niones, los protocolos de trabajo, las fi- chas de seguimiento, etc., pueden hacer perfectamente este papel de facilitar la recogida de información. Puede ser muy conveniente también ir re- copilando las valoraciones más subjetivas de la gente, lo que piensa acerca de cada cosa en cada momento, y no solo datos cuantitativos. Cuando hacemos una entre- vista a una persona y le preguntamos qué 3.4. La evaluación no solo analiza información, también debe generarla 28 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria pensaba hace dos o tres años de tal pro- yecto, o cómo veía la situación en su ba- rrio, por ejemplo, lo que de hecho nos está contestando es lo que piensa ahora que pensaba antes, y no lo que realmente pen- saba, ya que con el paso del tiempo las personas vamos interpretando inevitable- mente nuestro pasado. Dos razones hacen que la evaluación de impactos sea hoy en día una exigencia para las acciones comunitarias en la ciu- dad de Barcelona. En primer lugar, el he- cho de que ya hace tiempo que se están impulsando acciones comunitarias en la ciudad con financiación pública, y hace tiempo que algunos proyectos están en marcha. Parece que ya ha pasado el tiem- po suficiente para evaluar el impacto de este tipo de intervenciones. La segunda razón tiene que ver con el contexto actual de restricciones presupuestarias a mu- chos niveles, que obliga a los gestores pú- blicos a priorizar unos programas por en- cima de otros. Los programas que se quieran mantener podrán encontrar argu- mentos para hacerlo en la evaluación de los impactos que producen. No podemos negar, pues, la necesidad de evaluar los impactos que tienen las inter- venciones comunitarias. Aunque, para empezar, no siempre le queda claro a todo el mundo qué quiere decir impactos. En un sentido estricto, deberíamos entender por impacto de nuestra intervención lo que ocurre en comparación con lo que habría pasado si nuestra intervención no se hu- biera producido: este es el impacto que hemos tenido o generado con el proyecto. Evaluar impactos tiene de esta manera un componente de “misión imposible”, ya que nunca podremos comparar con exac- titud estos dos estadios: lo que sucede mientras el programa se desarrolla con lo que habría pasado si no se hubiera hecho el programa. Las estrategias de eva luación utilizan técnicas diversas para encontrar la manera de hacer este tipo de comparati- vas: disponer de grupos o poblaciones de contraste, analizar y comparar series his- tóricas de un determinado fenómeno so- cial, crear simulaciones y estimaciones a partir de modelos, etc. Nada de esto pue- de garantizar que podamos medir con exactitud el impacto real de nuestra ac- ción, pero nos podremos acercar mucho si disponemos de los conocimientos, las in- formaciones y las series estadísticas, o los modelos y las simulaciones que nos lo permitan. 3.5. Algunos apuntes sobre la evaluación de impactos 29 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria La literatura especializada nos habla de al- gunas condiciones que deben darse para poder evaluar impactos: - El programa debe ser estable. Si eva- luamos un programa que va variando sus actuaciones y estrategias, su escala o sus dimensiones de forma significativa, o que ahora está operativo y ahora no, difícil- mente podremos evaluar su impacto real con un mínimo rigor. Tendríamos dificulta- des importantes paraestablecer relacio- nes de causalidad entre las cosas que ha- cemos y las cosas que pasan. - Es necesario haber descrito una teoría del cambio coherente. Ya hemos habla- do de la importancia crucial en evaluación (también en programación) de disponer de una teoría (o conjunto de hipótesis) que re- lacionen nuestra práctica con los resulta- dos que queremos obtener. Si no dispone- mos de esta teoría del cambio, difícilmente podremos establecer una evaluación de impactos con rigor, ya que necesitamos esta teoría para identificar las consecuen- cias esperadas de nuestras acciones. - Tenemos que disponer de informa- ción/conocimiento adecuado del pro- grama. Esto tiene que ver con la necesi- dad que comentamos en relación con la información: qué necesitamos y cómo te- nemos que conseguirlo y registrarlo. - Los impactos tienen que haberse po- dido producir. Estamos hablando de ajus- tar la evaluación de los impactos al tiempo que lleva funcionando el programa. Tam- bién en lo que nos dice nuestra teoría del cambio, nuestras hipótesis de trabajo, so- bre el tiempo que hay que esperar para tener resultados. La evaluación de impactos debe permitir- nos ver los cambios y las transformacio- nes que se producen. Básicamente, el grado de consecución de los objetivos que nos habíamos planteado, sin olvidar los resultados no previstos. También nos indicará cuáles son las potencialidades del proyecto y sus limitaciones. En algunos casos, también podemos dis- poner de mediciones de impactos en tér- minos de lo que se denomina retorno so- cial de la inversión hecha en el programa. Sería el caso de la metodología SROI, un análisis costebeneficio en base a la cons- trucción de simuladores que permitan asociar beneficios, en principio “intangi- bles”, a “aspectos tangibles”. Ya se ha co- mentado que las propuestas metodológi- cas en este trabajo no pueden llegar a este grado de sofisticación, ya que deben ser sencillas y fáciles de aplicar por los opera- dores (deben permitir la autoevaluación). 30 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria Existe un amplio consenso en la literatura especializada y entre los expertos en eva- luación en el hecho que una de las piedras angulares para tener éxito en la evaluación es hacerse buenas preguntas. Sin una buena pregunta, lo suficientemente con- creta y que interpele a las cuestiones real- mente relevantes, difícilmente podremos organizar un proceso de evaluación que sea útil. El riesgo reside en moverse entre cuestiones que sí pueden ser claras y con- cretas, pero que no nos llevan a ninguna parte; y otras muy interesantes, pero que son tan generales que nos resulta prácti- camente imposible hallar respuestas es- pecíficas para nuestra evaluación. A raíz de los trabajos realizados en los gru- pos hemos llevado a cabo una recopilación de preguntas que pueden ser muy inspira- doras a la hora de saber qué debemos eva- luar. Muchas de estas preguntas las hemos incorporado a nuestros instrumentos. Aho- ra las recogemos todas pensando que, tal vez, igual que nos han inspirado a nosotros, pueden ser una fuente de inspiración para otros ejercicios o estrategias de evaluación, para la construcción de más instrumentos, para preparar sesiones de evaluación en grupo, etc. Recordemos, sin embargo, la importancia de que cuando aterrizamos en un proyecto concreto, las preguntas tienen que ser tam- bién concretas y en relación al proyecto. 3.6.1. Sobre los diagnósticos, las programaciones y la teoría del cambio Nos interesa saber si se dispone de una (buena) planificación o si, por el contrario, se realizan actividades de manera más im- provisada, teniendo en cuenta tradiciones, rutinas u otros factores. Una buena planifi- cación posee muchos aspectos a conside- rar, que son los que deberíamos traducir en preguntas concretas: objetivos claros, diag nósticos actualizados, etc. • ¿Disponemos de objetivos claros y con- cretos (evaluables)? • ¿Disponemos de diagnósticos actuali- zados? • ¿Los diagnósticos se han construido de manera participada? • ¿La planificación aborda los temas cla- ve identificados en el diagnóstico? • ¿Disponemos de una planificación anual escrita? • ¿La planificación se ha hecho de mane- ra participada? • ¿Hemos pensado cómo evaluaremos los objetivos? • ¿Hemos hecho explícita nuestra “teoría del cambio”? • ¿La “teoría del cambio” ha sido debati- da por los actores promotores del pro- ceso comunitario? • ¿Se han trabajado temas/problemas nue- vos este año en relación a los anteriores? 3.6.2. Sobre la memoria de nuestras actividades ¿Hacemos las actividades que nos había- mos propuesto desarrollar? Quizás sí que disponemos de una buena planificación, pe ro después no le hemos hecho el caso su- ficiente, o las circunstancias nos obligan a “improvisar” actuaciones no previstas, o las actividades previstas no funcionan. En defi- nitiva, independientemente de otras consi- deraciones, nos interesa disponer de cier- tos elementos de “memoria” de lo que se hace realmente, lo que pasa de verdad. • ¿En qué grado se han desarrollado las actividades programadas? ¿Totalmente, poco, nada? • ¿Cuánta gente ha participado? • ¿Qué perfiles sociales tienen los partici- pantes (edad, sexo, origen...)? 3.6. Anexo: una lluvia de preguntas 31 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria • ¿Ha venido gente nueva? ¿Qué porcen- taje sobre el total de gente participante? • ¿Hemos sido constantes en nuestras reuniones de trabajo? • ¿Hemos hecho actividades no previstas en la programación inicial del curso? ¿Cuáles? ¿Por qué? 3.6.3. Sobre la metodología comunitaria La acción comunitaria es una manera “es- pecífica” de hacer las cosas, una metodo- logía. No nos sirve obtener los resultados de cualquier manera, ya que el proceso comunitario, las formas relacionales, la manera en que se trabaja, cómo se toman las decisiones, cómo se lidera, cómo se gestiona el conflicto, etc., es lo que define la esencia de la acción comunitaria, así que debemos preguntarnos si nuestras formas de trabajar y de relacionarnos res- ponden a las premisas de la acción comu- nitaria (participación de la gente, calidad deliberativa, promoción de la autonomía, etc.). • ¿Cómo se distribuye la jornada laboral del equipo comunitario? ¿Porcentaje de jornada dedicado a “trabajo de ofici- na”? ¿Porcentaje de jornada dedicado a “trabajo de calle”? • ¿Qué porcentaje de la actividad progra- mada ha sido organizado autónoma- mente por la ciudadanía? • En relación al año anterior, ¿aumenta o disminuye el número de actividades au- toorganizadas por la ciudadanía? • ¿Con qué periodicidad se reúne el equi- po técnico? • ¿Con qué periodicidad se reúne la di- rección política? • ¿Hay espacios dedicados regularmente al debate o a la deliberación sobre las líneas de trabajo? • ¿Hacemos reuniones específicas de evaluación a lo largo del año? ¿Con qué periodicidad? ¿Quién participa en ellas? • ¿Se dan con regularidad relaciones de trabajo entre el equipo comunitario y los técnicos y profesionales de la Adminis- tración local? • ¿Se dan con regularidad relaciones de trabajo entre el equipo comunitario y los técnicos y profesionales de los ser- vicios públicos (educación, salud, se- guridad...)? • En general, los técnicos y profesionales del territorio están implicados: ¿mucho, poco, nada? • ¿Qué importancia (porcentaje de dedi- cación) tiene la gestión del conflicto en el trabajo relacional que hace el equipo comunitario? ¿Mucha, poca, nada? • ¿Hay conflictos entre servicios, profe- sionales, técnicos... que tengan que ver con ámbitos competenciales, encargos, roles? 3.6.4. Preguntas sobre la evaluación de impactos La acción comunitaria debe tener una in- tencionalidad transformadora. Apunta ha- cia la mejora de las condiciones de vida, de las capacidades de la gente para organizar- se y hacerse
Compartir