Autoevaluación de centros educativos - San Fabián Maroto

Vista previa del material en texto

AUTOEVALUACIÓN DE CENTROS EDUCATIVOS
CÓMO MEJORAR DESDE DENTRO
2
PROYECTO EDITORIAL
BIBLIOTECA DE EDUCACIÓN
Director:
Antonio Bolívar Botia
3
AUTOEVALUACIÓN DE CENTROS EDUCATIVOS
CÓMO MEJORAR DESDE DENTRO
JOSÉ LUIS SAN FABIÁN MAROTO
ANA GRANDA CABRALES
4
Consulte nuestra página web: www.sintesis.com
En ella encontrará el catálogo completo y comentado
Colaboración técnica: Inés Villamil Rico
Reservados todos los derechos. Está prohibido, bajo las sanciones penales y el resarcimiento civil previstos en las
leyes, reproducir, registrar o transmitir esta publicación, íntegra o parcialmente, por cualquier sistema de
recuperación y por cualquier medio, sea mecánico, electrónico, magnético, electroóptico, por fotocopia o por
cualquier otro, sin la autorización previa por escrito de Editorial Síntesis, S. A.
© José Luis San Fabián Maroto
Ana Granda Cabrales
© EDITORIAL SÍNTESIS, S. A.
Vallehermoso, 34. 28015 Madrid
Teléfono 91 593 20 98
http://www.sintesis.com
ISBN: 978-84-995875-0-9
5
http://www.sintesis.com
http://www.sintesis.com
Índice
Prólogo
Introducción: ¿La evaluación al servicio de la educación? Una duda legítima
PARTE I:
EVALUACIÓN DE CENTROS Y APRENDIZAJE INSTITUCIONAL: EL PAPEL DE
LA EVALUACIÓN INTERNA
1. La evaluación de centros educativos en el contexto actual
1.1. La evaluación de centros en nuestro país: una breve reseña
1.2. El auge de la evaluación estandarizada
1.3. Los excesos de la evaluación externa basada en estándares
1.4. Tendencias que reclaman nuevas formas de evaluación
1.4.1. Autonomía institucional de los centros educativos
1.4.2. Creciente diversidad de los centros
1.4.3. Limitaciones de los sistemas de inspección
1.4.4. Insuficiencia de la evaluación externa
1.5. El referente de toda evaluación: una idea sobre la calidad educativa y la
manera de obtenerla
6
2. Evaluación interna y evaluación externa
2.1. Un debate: evaluación interna versus externa
2.2. Una necesidad: coexistencia de la evaluación externa y la evaluación interna
2.3. Un problema: el papel de la inspección
2.4. La autoevaluación no es una inspección interna
2.5. El difícil equilibrio entre la presión externa y la responsabilidad interna
3. Un nuevo paradigma de evaluación
3.1. De la perspectiva del control a la perspectiva de la responsabilidad
3.2. De la perspectiva eficientista a la perspectiva de la complejidad
3.3. De la perspectiva jerárquica a la perspectiva democrática
3.4. De la perspectiva sancionadora a la perspectiva constructiva
3.5. De la perspectiva técnica a la perspectiva sociopolítica
4. La autoevaluación institucional
4.1. Marcos teóricos de referencia
4.1.1. Innovación basada en el centro
4.1.2. Investigación-acción institucional
4.1.3. Movimiento para la mejora
4.1.4. Organizaciones que aprenden
4.1.5. Comunidades de aprendizaje
4.1.6. Evaluación participativa
4.2. Conceptualizando la autoevaluación
4.2.1. Qué es lo específico o novedoso de la autoevaluación
4.2.2. Finalidades y efectos positivos de la autoevaluación
4.3. La autoevaluación del centro: una puerta a la innovación y el aprendizaje
institucional
PARTE II:
LA PRÁCTICA DE LA AUTOEVALUACIÓN INSTITUCIONAL
5. Principios básicos de autoevaluación
7
5.1. Transparencia
5.2. Visión global del centro
5.3. Contextualización
5.4. Participación
5.5. Orientación a la acción
5.6. El diálogo como método: el papel del evaluador
6. La autoevaluación escolar en diferentes contextos educativos
6.1. Experiencias en otros países
6.2. La autoevaluación en nuestro sistema educativo
6.2.1. Marco legal de la autoevaluación de centros
6.2.2. Experiencias en varias comunidades autónomas
6.2.3. El caso de Asturias: los planes experimentales de autoevaluación y
mejora
7. El ciclo de revisión y mejora interna: descripción de las etapas básicas
7.1. Contextualización y preparación del campo
7.1.1. Frente a la pérdida de tiempo, utilidad y mejora como objetivo
7.1.2. La participación y confidencialidad como método
7.1.3. Condiciones para el éxito: formación, tiempos y apoyos externos
7.2. Planificación y coordinación
7.2.1. Formación del equipo de evaluación y mejora
7.2.2. Elaborar el plan de acción
7.2.3. Negociar y difundir
7.2.4. Formar y buscar asesoramiento
7.3. Revisión interna
7.3.1. Concretar los aspectos a evaluar
7.3.2. Formular indicadores
7.4. Recogida de información
7.4.1. De los indicadores a los instrumentos
7.4.2. Decidir momentos y muestras
7.4.3. Recoger y analizar la información
7.5. Redacción y difusión del informe
7.5.1. Elaboración del informe provisional
7.5.2. Discusión y validación del informe
7.5.3. Difusión del informe a la comunidad
7.5.4. Metaevaluación del proceso
8
7.6. Elaboración del plan de mejora
7.6.1. Identificación de las áreas de mejora
7.6.2. Elaboración del plan de mejora
7.6.3. Integración en la dinámica del centro
8. Aprendiendo de la experiencia previa
8.1. Diversidad de prácticas y flexibilidad metodológica
8.2. Ser conscientes de las dificultades y vencer las resistencias
8.3. Metaevaluación: criterios de calidad de la autoevaluación
8.4. Las condiciones internas
8.5. Coherencia del apoyo externo
8.5.1. El papel de la formación
8.6. Desafío y confianza
9. Materiales y recursos
Nota bibliográfica
9
Prólogo
Aún sabiendo que los centros escolares tienen una buena imagen social en el conjunto de
las instituciones públicas, es menester admitir que existe siempre un umbral para la
mejora, umbral que justifica los esfuerzos para acometer su evaluación. Con frecuencia
los centros escolares, al no asumir su evaluación, tienden a esperar, solicitar e incluso
contratar evaluaciones externas, cuando deberían ser los más interesados en poner en
práctica su propia evaluación, sin esperar a las ofertas o directrices procedentes de fuera.
La hipótesis de la que parte este libro es la de que el potencial de las organizaciones
educativas para el cambio se relaciona directamente con su capacidad de llevar a cabo
procesos internos de diagnóstico y planificación de su acción, esto es, con su capacidad
para evaluarse.
Una organización escolar que se define cada vez con mayor autonomía profesional
para tomar decisiones, más participativa y corresponsable, demanda nuevas formas de
evaluación acorde con estos postulados. Desde una perspectiva de la gestión, la
evaluación es un proceso de producción de información jerarquizado dirigido a
incrementar la calidad de las decisiones organizativas. Sin embargo, esta perspectiva
clásica es insuficiente si tenemos en cuenta que la organización es algo más que gestión,
es un conjunto de relaciones, grupos, tradiciones, intereses, etc.
En gran medida lo que necesita un centro para mejorar está dentro de él. El
desarrollo de su capacidad y responsabilidad para reflexionar y analizarse se convierte así
en la condición básica de su mejora. Autoevaluarse requiere de una actitud investigadora
dirigida a recoger evidencias de la práctica cotidiana para llegar a un mejor conocimiento
de la misma. Al mismo tiempo exige un compromiso ético y de autoexigencia a los
diferentes colectivos implicados en la educación.
La autoevaluación escolar, lejos de ser una reacción defensiva frente a las demandas
de control y responsabilización, puede contribuir a hacer más públicas las políticas y las
prácticas educativas (Simons, 1982). Según esta autora una autoevaluación basada en
principios democráticos permite, por un lado, ayudar a los miembros del centro a tomar
decisiones y, por otro, informar de su trabajo a otros colectivos de la comunidad.
La autoevaluación es una vía para introducir la reflexión en las prácticas educativas,
tanto las que se desarrollan en el aula como aquellas que tienen lugar en el centro.
¿Conocemos realmente nuestros centros, nuestras prácticas, nuestros alumnos? ¿Cómo
podemos poner ese conocimiento al servicio de los fines educativos?
10
La constatación inicial o, si se prefiere, la hipótesis de partida que motiva la
elaboración de este libro, es que toda la maquinaria de evaluación de la eficacia de
nuestros sistemaseducativos no parece guardar una relación muy directa con la
generación de procesos de cambio y mejora en el interior de las organizaciones
encargadas de materializar esa educación (Merchán, 2011). Sus efectos en la mejora de
los sistemas educativos, ¿justifican el gasto en energías humanas y recursos materiales y
formales que conllevan las evaluaciones educativas?
Esto lleva a plantearnos no solo qué tipo de evaluación (enfoque o metodología) es
el más adecuado para promover procesos de cambio orientados a la mejora educativa,
sino cómo y dónde se sitúan los procesos evaluativos dentro de esa red compleja de
intercambios, poderes e influencias que constituye el sistema educativo. En definitiva,
nos preguntamos por las modalidades, condiciones y contextos de evaluación
generadores de la mejora docente, con especial referencia a los modelos de
autoevaluación (en este libro utilizamos indistintamente las denominaciones
autoevaluación y evaluación interna).
Con esa finalidad en la Parte I del libro se analiza críticamente el papel que
desempeña la evaluación en la mejora de los centros educativos. Los efectos no deseados
de los enfoques de evaluación externa basados en estándares junto con las nuevas
tendencias en la gestión de la educación (autonomía, responsabilización institucional,
etc.) cuestionan las políticas de evaluación dominantes, más preocupadas por medir la
calidad educativa que por mejorarla. La tensión entre la evaluación externa y la interna
pone de manifiesto la necesidad de crear un nuevo paradigma de evaluación basado en la
perspectiva de la responsabilidad, la complejidad, la participación, el constructivismo y
las relaciones sociopolíticas.
También se describen los principales marcos teóricos que sirven de referencia al
desarrollo de la autoevaluación institucional, tales como la innovación basada en el
centro, la investigación-acción o la evaluación participativa… lo que nos permite
acercarnos a una conceptualización de esa corriente evaluativa.
En la Parte II del libro se recogen principios básicos, políticas y estrategias de
autoevaluación, con referencia a diferentes sistemas educativos, nacionales e
internacionales. Por otra parte, se describen las principales etapas y procesos implicados
en el ciclo de revisión y mejora interna: contextualización, planificación, coordinación,
recogida de información, redacción de informes y elaboración de un plan de mejora.
Finalmente, las experiencias y análisis previos realizados en este ámbito nos permiten
derivar criterios de calidad y ser conscientes de las posibles resistencias que han de
afrontarse en el desarrollo de un proyecto de autoevaluación institucional, con el objeto
de crear las condiciones internas y externas que faciliten su implantación.
Expresamos nuestro agradecimiento a las comunidades educativas de los centros
participantes en los proyectos experimentales de autoevaluación y mejora durante los
años 2005 a 2009 y al Servicio de Evaluación y Calidad de la Consejería de Educación y
Ciencia del Principado de Asturias.
11
12
Introducción: ¿La evaluación al servicio de
la educación? Una duda legítima
Dado que las personas somos ‘evaluadores naturales’, podemos asumir el compromiso de
desarrollar esta capacidad para ponerla al servicio de la mejora de las instituciones en las que
trabajamos y vivimos.
Educación y evaluación son expresiones que suelen ir juntas, aunque a menudo sus
relaciones no son cordiales. En su planteamiento más básico, si la educación pretende
tener efectos, por ejemplo generar cambios en las personas, la comprobación de esos
cambios constituye una parte inseparable del propósito educativo (evaluación de
resultados). Por otra parte, si la enseñanza debe someterse a revisión y actualización para
garantizar su continuo perfeccionamiento, ha de contar con algún procedimiento
sistemático de recogida y análisis de la información acerca de la práctica docente
(evaluación de procesos). De ambos casos se deriva una misma consecuencia: los
sistemas de evaluación no pueden constituirse en un componente independiente o
autónomo de los propósitos educativos, sino que adquieren su sentido al servicio de las
finalidades educativas. A su vez, la práctica educativa, como práctica deliberada, necesita
de algún mecanismo que le permita conocer sus efectos a corto y medio plazo.
Pero esta lógica impecable suele chocar con una realidad implacable. A través de
diversos mecanismos las prácticas evaluadoras pueden frustrar las intenciones de los
agentes educativos, llegando a obstaculizar, enmascarar o pervertir los mismos procesos
educativos. Al preguntarnos si la evaluación contribuye a la calidad educativa
simplemente estamos planteando la duda legítima que suscita la aplicación de numerosos
sistemas de evaluación cuya relación con la mejora de la educación queda lejos de ser
demostrada.
Los sistemas de evaluación externa de los centros educativos vienen generando
desde hace años mucha información sobre los resultados obtenidos, las estructuras
organizativas o los recursos existentes. Los métodos y los instrumentos se han ido
perfeccionando progresivamente, logrando que los datos que derivan de estas
evaluaciones sean cada vez más precisos y puedan ser comparados unos con otros.
Permiten incluso conocer las condiciones en las que trabajan los centros y sus
profesores. Constituyen un “barómetro” cada vez más preciso sobre la situación y
evolución de la educación escolar, informando sobre la eficacia así como sobre las
13
posibles causas de los éxitos y fracasos del sistema. Y sin embargo, esta maquinaria de
evaluación de la eficacia de nuestros sistemas educativos no parece guardar una conexión
muy directa con la generación de procesos de cambio en el interior de las organizaciones.
Esto no significa que las evaluaciones carezcan de efectos. La evaluación, como
dispositivo social e institucionalmente legitimado, es un instrumento de poder cuya
utilización media las relaciones entre la teoría y la práctica educativa. El poder de la
evaluación es tal que puede llegar a subvertir la misión de la educación, imponiendo
criterios particulares, generalmente de forma implícita, y promoviendo relaciones y
procesos antieducativos en aras de la eficacia y la eficiencia. Así, a veces se utilizan
metodologías de evaluación sofisticadas que tienden a mistificar los procesos evaluativos
e inhibir a los agentes del programa. En otras ocasiones las evaluaciones se plantean de
forma superficial y paralela a los procesos y prácticas educativas, al margen de los
lugares donde se toman las principales decisiones.
La difusión de sistemas de evaluación externa no ha evitado que en muchas
ocasiones se sigan tomando decisiones sin información. Guerrero Ortiz (2007) sugiere
que esto se produce porque:
a) En el mundo de la educación el hábito de tomar decisiones basándose en
información es en general muy escaso. Muchas veces los decisores son
personas bien intencionadas pero cuya larga experiencia y trayectoria
profesional les hace sentirse poseedores de todo el saber necesario para tomar
buenas decisiones; luego, la información sobra o, en todo caso, concurre a
reforzar sus ideas previas sobre los males y los remedios de la educación. Si
creen saber lo que se debe hacer y han convertido su convicción en prédica y
en una obvia verdad, no habrá realidad que los desmienta, ni fuente lo
suficientemente creíble, ni instrumentos sobradamente confiables, ni expertos
mínimamente solventes, que les hagan modificar sus certezas ni sus
decisiones.
b) El sistema educativo está diseñado de tal modo que vuelve sumamente lento,
incómodo y engorroso cualquier cambio significativo en las decisiones. Es una
cadena larga de procedimientos la que se afecta y que puede llegar a amenazar
los difíciles equilibrios internos entre distintos grupos de interés y de poder.
Naturalmente, todo se mueve cuando llega una orden expresa del más alto
nivel, pero la organización termina siempre arreglándoselas para cumplirla sin
modificar en esencia sus agendas.c) Otra razón, asociada a la anterior, reside en el carácter básicamente ejecutor de
los aparatos de gestión educativa. Los planes anuales y multianuales suelen
elaborarse a toda prisa, en medio del vértigo de un sinnúmero de actividades
pendientes y en plazos usualmente perentorios, tendiéndose, pragmáticamente,
a dar continuidad a lo que se venía ejecutando en años anteriores. No hay
tiempo ni tranquilidad para detenerse a analizar y discutir más información de
la que cada uno tiene en mente ni para sentarse a leer los informes de la
14
evaluación nacional o de las mediciones internacionales. Pero si alguien lo
intenta, más pronto de lo que supone puede ser acribillado con demandas
operativas, todas urgentes, que lo harán desistir con resignación.
d) Quienes toman las decisiones no suelen tener el tiempo ni la experiencia
suficiente para analizar y digerir cuerpos complejos de información, que
exigen establecer relaciones a varios niveles y dimensiones entre distintos
aspectos de la realidad. Ciertamente, el actor político no tiene que hablar
necesariamente el lenguaje del investigador; pero la evitación de la
complejidad, la prisa y la poca familiarización con el tipo de información que
se le presenta, puede derivar en simplificaciones tan arbitrarias como inútiles
para resolver los problemas y a las que podría haberse llegado, además, sin
mirar dato alguno.
e) La necesidad que tiene el decisor de considerar otras cuestiones, a las que
atribuye mayor peso que los resultados de una evaluación. Es el caso del
presupuesto. Si las cifras indican, por ejemplo, que los problemas principales
de rendimiento están en los primeros grados de la primaria y se concentran en
las áreas rurales y más pobres del país, asignar recursos especiales a una
intervención dirigida a esas escuelas puede suponer ajustes en el presupuesto
que van a generar conflictos.
f) Los expertos muchas veces dan cuenta de sus hallazgos a través de su lenguaje
especializado. Quienes toman decisiones y quienes producen información son
actores que pertenecen a “culturas” separadas con intereses y lenguajes
distintos.
Esto lleva a la cuestión decisiva: ¿qué hacer para que las evaluaciones educativas
sean realmente útiles para tomar mejores decisiones?
El poder de la evaluación es a la vez simbólico, instrumental e institucional (ver
Correia, 2010). Por una parte, la evaluación tiene un gran poder simbólico en cuanto
ejercicio sancionador, en su doble sentido de lo bueno (autorizando) y de lo malo
(penalizando), como juicio acerca de lo correcto y lo incorrecto. Esto se relaciona a su
vez con el poder instrumental que la evaluación ejerce mediante el uso de una tecnología
específica que permite reducir la complejidad de la realidad educativa a unos pocos
parámetros y, en última instancia, a un juicio o sello final. A su vez, tanto el poder
simbólico como el poder instrumental de la evaluación necesitan una estructura para
ejercerse de forma estable, asociándose a un poder institucional. De esta forma, la
función evaluadora se vincula al ejercicio de autoridad legítimo y pasa a formar parte de
la estructura organizativa, creando dentro del sistema unidades específicas para su
ejercicio.
La expansión de las prácticas evaluadoras va pareja a la existencia de un problema
ampliamente difundido, como es la utilización inadecuada o incluso la noutilización de los
resultados de las evaluaciones, lo que cuestiona la justificación de los recursos invertidos.
Por una parte, las sucesivas iniciativas de reformas plantean cambios rara vez basados en
15
datos; por otra, desde la administración se recogen continuamente datos que apenas se
utilizan. Esto cuestiona directamente el papel que desempeña la evaluación en la mejora
del sistema.
Lo anterior no impide que las propuestas evaluadoras aparezcan casi siempre
asociadas a términos de mejora, calidad, eficiencia… Por una parte, existe la
consideración explícita y general de que la evaluación es un instrumento necesario para
ayudar a la toma de decisiones en el diseño, implementación y gestión de la educación;
pero, a su vez, es habitual encontrarse prácticas evaluadoras que no responden a estas
expectativas o que incluso generan efectos no deseados. Esta doble potencialidad de las
evaluaciones para crear expectativas y a la vez para frustrarlas debe ser tenida en cuenta
como punto de partida para el desarrollo de cualquier proyecto o propuesta evaluadora.
Y es que el ámbito de la evaluación no es ajeno a las paradojas de la realidad educativa,
al contrario, se sitúa en el centro de sus contradicciones.
Los discursos recientes sobre las reformas educativas dan por sentado el papel
central que ha de tener la utilización de “datos” para mejorar la enseñanza, la toma de
decisiones basada en evidencias. Pero ¿cómo pueden ayudar los datos a mejorar las
prácticas docentes? Generar datos, evidencias, no es suficiente para mejorar la práctica
educativa. Una evaluación para la mejora debe ser una evaluación que permita un uso
formativo de los datos. Muchas evaluaciones se denominan a sí mismas formativas
porque tienen entre sus propósitos mejorar la toma de decisiones, pero eso no significa
que tengan en cuenta las condiciones necesarias para que esto de produzca. Parecen
influir factores como las prácticas de evaluación, el tipo de datos (relevancia, utilidad,
accesibilidad), el papel a desempeñar por los profesores, los contextos de trabajo de los
docentes, esto es, el liderazgo, el apoyo para la utilización de los datos, las estrategias
institucionales de formación o los estándares de aprendizaje y de colaboración de los
adultos (Young y Kim, 2010). En su revisión de la literatura, estos autores comprueban
que la expresión evaluación formativa es imprecisa y analíticamente inadecuada.
La débil socialización profesional, el aislamiento docente y las normas burocráticas
determinan prácticas de evaluación individuales y descontextualizadas. Es importante la
unidad de evaluación elegida. El docente individual y su aula no son la única unidad de
evaluación, la cual debe ir más allá de la evaluación del rendimiento. Ello remite a las
condiciones organizativas necesarias para el uso formativo de la evaluación: liderazgo de
apoyo y no amenazante, información relacionada con el aprendizaje de los estudiantes,
colaboración docente, papel de los asesores… llegando a ser más importante el proceso
que el tipo de datos recogidos (Wayman et al., 2007; Young, 2006).
Hablar de evaluación educativa conlleva hacer referencia a diferentes niveles en la
toma de decisiones del sistema educativo, esto es, el político-administrativo, el técnico-
evaluador, el director-gestor, el profesional-docente y el de los beneficiarios. Uno de los
principales retos del sistema educativo es establecer relaciones entre estos niveles, que
con frecuencia constituyen mundos separados que se desarrollan en recíproca ignorancia:
el de la política educativa, el de la gestión, el de la práctica docente, el de la evaluación-
investigación educativa. El contexto de la práctica docente suele ser obviado desde los
16
entornos políticos de decisión y apenas tenido en cuenta por la gestión escolar, mientras
que las políticas se deciden al margen de los resultados obtenidos en la investigación y la
evaluación educativa (San Fabián, 2010). Una consecuencia de esto es la falta de
impacto de las políticas y las evaluaciones educativas en la toma de decisiones sobre la
práctica docente.
Los factores que han llevado a esta situación, algunos de los cuales serán descritos a
lo largo de este libro, suelen tener en común la existencia de una desconfianza recíproca
entre los diferentes ámbitos institucionales así como la pervivencia de un modelo
jerárquico de toma de decisiones, lo que repercute directamente en la evaluación. Los
docentes no creen en la utilidad de las evaluaciones y dudan de sus propósitos explícitos,
las evaluaciones se diseñan y desarrollan sin la implicación necesaria del profesorado, las
consideraciones políticas y económicaspesan más que las pedagógicas a la hora de
decidir por parte de gestores y políticos, etc. Una vía para modificar esta realidad pasa
por revisar los modelos de evaluación dominantes, cuestionar sus presupuestos y, a la
vez, desarrollar modelos alternativos.
Pruebas, tests, notas, exámenes, auditorías, informes, actas… forman parte del
funcionamiento cotidiano de las instituciones educativas, constituyendo lo que se ha
denominado un tipo de “evaluación bancaria”, entendida como un proceso donde se
genera y acumula información sin tener en cuenta a sus actores ni los escenarios donde
se realizan las prácticas (Azevedo, 2007). Este sin sentido de la evaluación como
acumulación de papeles e informes, resultado de la inercia burocrática del sistema, es lo
primero que debe ser cuestionado. En el contexto de esta sociedad de la información, la
evaluación educativa provoca, y también padece, una enfermedad ampliamente
extendida: la acumulación de información no utilizada, mal utilizada y, cómo no, inútil,
esto es, no utilizable. Frente al exceso de información, los procedimientos sistemáticos de
provisión del conocimiento −la evaluación es uno de ellos− se ven obligados a ser
altamente selectivos; ante la superficialidad de la información requieren ser relevantes y
rigurosos; ante el predominio de lo anodino han de ser incisivos y críticos. En una
sociedad del conocimiento, donde el exceso de información plantea la necesidad de una
selección inteligente de la misma, la evaluación no puede seguir desempeñando una
función “bancaria”.
Se receta evaluación como si de ella viniesen las respuestas a los principales problemas o
como si constituyese en sí una política o un valor. Por el contrario, los procesos de evaluación
están inmersos en el campo de la política e implican valores y aspiraciones de la sociedad. En este
sentido, la cuestión pertinente será: ¿cómo puede la evaluación contribuir a la lucidez? (Azevedo,
2007: 17).
17
PARTE I
Evaluación de centros y aprendizaje
institucional: el papel de la evaluación
interna
18
1
La evaluación de centros educativos en el
contexto actual
Más allá de la concepción, ya clásica, de evaluación entendida como un proceso
sistemático de recogida de información que implica realizar juicios de valor y se orienta a
la toma de decisiones para mejorar la práctica (Guba y Lincoln, 1982; Mateo, 2000), el
consenso sobre la evaluación es prácticamente inexistente. Ello se debe en gran medida a
la naturaleza sociopolítica de la evaluación.
En la mayoría de los debates sobre evaluación, de marcado carácter técnico, suele
estar ausente esta cuestión básica: ¿cuál es el papel de la evaluación en una sociedad
democrática?; de la que derivan otras tantas, ¿cuál es el papel de la evaluación en el
cambio social?, ¿pone a disposición de los actores la información necesaria para mejorar
sus condiciones?, ¿es capaz de informar desde todas las caras del debate?, ¿los
evaluadores deberían actuar en beneficio de sus respectivos clientes, como los abogados,
o trabajar por los intereses del conjunto de la sociedad?… (Smith, 2007).
Cualquier evaluación institucional tiene necesariamente como referencia imágenes y
representaciones acerca de lo que es y debe ser un centro educativo. El propósito de
evaluar una organización contiene siempre, aunque sea de forma implícita, alguna idea
sobre las finalidades de esa organización, de su estructura, de sus procesos y, lo que es
más importante, sobre lo que es su correcto funcionamiento. Estas concepciones
preexistentes al proceso evaluador no deben darse por supuestas sino que han de hacerse
explícitas, pues determinan en gran medida las propias finalidades, procedimientos,
criterios y uso final de las estrategias evaluadoras.
Un análisis de las políticas y prácticas de evaluación institucional constituye un ejercicio de
hermenéutica organizacional, a través del cual se procederá a un inventario crítico e interpretativo
de las concepciones organizativas, explícitas o implícitas, de los centros (Lima, 2002: 27).
La base neoliberal que impregna actualmente las políticas educativas imprime una
orientación específica a los procesos de evaluación de centros. Nociones como mercado
de servicios educativos, privatización, rendimiento de cuentas basado en resultados,
competencia, libertad de elección, procesos de estandarización, reducción de costes…
19
contribuyen a definir el marco en el que se desenvuelven hoy las políticas educativas y
en particular las políticas de evaluación (OCDE, 2005).
En los últimos años asistimos al auge de los llamados procesos de reforma educativa
basados en estándares y, más concretamente, basados en resultados de evaluación
centrados en el rendimiento de los estudiantes (Ruiz, 2009). Se trata de una tendencia
ampliamente extendida en los sistemas educativos actuales que forma parte de la
corriente de rendimiento de cuentas o responsabilización por parte de los centros
escolares y sus profesores. Con ella se busca que las principales decisiones de política
educativa, sobre recursos, innovaciones, asesoramiento, oferta escolar, etc. que recaen
sobre los centros y el profesorado se hagan depender de los resultados evaluados.
Los sistemas de rendición de cuentas mediante evaluaciones externas basadas en
estándares gozan hoy de una gran aceptación por parte de los gestores políticos, pues
suponen para ellos un asidero muy atractivo en un campo como el de la educación,
caracterizado por la complejidad y la incertidumbre, mayormente en tiempos de crisis.
Las tasas de rendimiento, el uso de rankings, las pruebas estandarizadas… aportan una
dosis de tangibilidad y de objetivación, no necesariamente de objetividad, que resulta
efectiva para reducir, al menos provisionalmente, dicha incertidumbre. De esta forma, las
estrategias de evaluación ocupan un lugar privilegiado en el conjunto de las políticas
educativas.
1.1. La evaluación de centros en nuestro país: una breve reseña
En España, con especial incidencia en los años ochenta y noventa, han predominado los
enfoques positivistas y tecnocráticos en la evaluación de centros, orientados a regular
administrativamente el control de la escuela (Bolívar, 1994b). Al respecto, la clasificación
de los diferentes enfoques de evaluación de centros educativos realizada por T. Escudero
(1997) es clarificadora, como lo fue el estudio bibliométrico realizado por Expósito et al.
(2004) sobre enfoques y metodologías empleadas en evaluación educativa, donde se
constataba el claro predominio de los enfoques positivistas y los métodos cuantitativos de
evaluación en nuestro contexto.
En los años ochenta, la incipiente corriente de evaluación de centros y profesores en
nuestro país se planteaba aún si esa evaluación era posible (Escudero Escorza, 1980). La
mayoría de las propuestas de evaluación procedían de inspectores o antiguos inspectores
(p. ej., Casanova, 1992; Chavarría y Borrel, 2003). A la vez fueron apareciendo diversas
herramientas dirigidas a evaluar dimensiones particulares de los centros, como el
ambiente y el clima organizativo del centro y del aula, siendo el cuestionario el
instrumento más utilizado a la hora de llevar a cabo una evaluación de centros educativos
(p. ej., Rodríguez Díez, 1992; Ruiz, 1992). Entre lo más novedoso que podíamos
encontrar, por su orientación más cualitativa, era algún instrumento como el QUAFE-80
(Cuestionario para el Análisis del Funcionamiento de la Escuela) de J. A. López y P.
Darder (1985).
20
La Ley Orgánica 1/1990, de 3 octubre, de Ordenación General del Sistema
Educativo (LOGSE, en adelante) y otros desarrollos oficiales señalan, entre los principios
por los que se regirá la actividad educativa, “la evaluación de los centros docentes y de
los diversos elementos del sistema” (art. 2.3). Como concreción de las propuestas
legislativas derivadas de la LOGSE, el Servicio de Inspección del Ministerio diseñó un
Plan de Evaluación de Centros (llamado Plan EVA) que comenzó el curso 1991-1992
como experiencia piloto, para irse generalizandoen los cursos siguientes a todos los
centros. Diseñado por técnicos del CIDE e inspectores, incluía las siguientes
dimensiones: contexto del centro, recursos humanos y materiales, apoyos externos,
alumnado, organización y funcionamiento, procesos didácticos y rendimiento educativo;
cada una con sus correspondientes subdimensiones e indicadores. Utiliza un conjunto de
escalas descriptivas (fichas de evaluación), guías (para análisis de la documentación y
para la realización de entrevistas o reuniones) y cuestionarios para los diferentes sectores,
adaptados a cada nivel educativo (Luján y Puente, 1996). Sin embargo, por más que el
Plan EVA (MEC, 1992) insista en su carácter formativo y que su objetivo fundamental
es “mejorar la organización y funcionamiento de los centros”, así como “asesorar,
estimular y apoyar las actividades de evaluación interna” de los centros evaluados…, el
propio contexto, agentes e informes de evaluación lo acercan más a un control
administrativo, tal como sugiere Bolívar (1994).
Las tendencias que invadían la educación desde el ámbito de la empresa llevaron a
diversos gestores (Gento, 1995) y a los responsables de Educación del momento (MEC,
2001) a proponer los modelos de evaluación basados en la EFQM (European
Foundation for Quality Management) y la calidad total. En realidad pocos centros
llegaron a implantar dichos modelos de evaluación excesivamente formalizados y poco
adaptados a las características de las organizaciones escolares. Ante el predominio de la
evaluación externa de centros, una preocupación ha sido conocer el impacto de las
evaluaciones externas estandarizadas en los centros y en su mejora (Torres, 2003,
Bolívar, 2004b y Gairín, 2006).
En 1990 aparece una obra que marca un cambio de perspectiva en evaluación de
instituciones escolares, se trata del libro Hacer visible lo cotidiano de M. A. Santos
(1990), obra que el autor continuará con otras (Santos, 1993) que profundizan en esta
perspectiva cualitativa y etnográfica de la evaluación dirigida a la comprensión y mejora
de las organizaciones. Pero el cambio en las prácticas evaluadoras sería más lento.
Según Torres (2006: 156-179), el auge de los indicadores de rendimiento, asociado
al devenir de las políticas conservadoras y neoliberales, constituye una tecnología
vinculada al discurso eficientista y productivista de la educación. A partir de 1993 se
comenzó a diseñar un Sistema Estatal de Indicadores de la Educación, con la creación
del Instituto Nacional de Calidad y Evaluación (INCE), publicándose su primera versión
en el año 2000 hasta la actualidad. La LOCE (2002), que para lograr una menor
resistencia a la implantación de dicha tecnología tuvo que asignarle un “carácter
orientador”, previó que dicho sistema contribuiría a “orientar la toma de decisiones en la
enseñanza, tanto de las instituciones educativas, como de la administración, los alumnos
21
o las familias” (art. 97.1).
Esta perspectiva se mantiene en la LOE cuatro años después, proponiéndose la
realización de evaluaciones externas a los centros. Además, se implantan las llamadas
pruebas de diagnóstico, que versarán sobre las competencias básicas del currículo, pero
“en ningún caso los resultados de estas evaluaciones podrán ser utilizadas para el
establecimiento de clasificaciones de los centros” (art. 114). Dicho artefacto se plantea
como un instrumento técnico y neutral para corregir los desajustes del sistema, de donde
se deriva, según Torres (2006) que los problemas educativos son básicamente de tipo
técnico y tienen que ver (se resuelven) con lo que haga el profesorado y el alumnado.
Además, surgen otras cuestiones fundamentales como el carácter formativo de tales
evaluaciones, la neutralidad del Instituto de Evaluación, dependiente del Ministerio de
Educación, Cultura y Deporte (MEC, en adelante), respecto al gobierno, etc. Torres
propone una pluralidad de agencias de evaluación. En realidad esto, que ya ocurre en
varias CC.AA., no asegura la independencia política de las mismas.
La evaluación cualitativa dirigida a promover la mejora interna de los centros fue
poco a poco abriéndose paso. Desde finales de los años ochenta fueron apareciendo
algunos artículos sobre la revisión basada en la escuela (González, 1988), la
autoevaluación escolar (Beltrán y San Martín, 1992; San Fabián, 1996) o la
autoevaluación institucional (Bolívar, 1994a; Álvarez Méndez, 1997), los cuales
iniciaron en España una vía que posteriormente se plasmaría en propuestas más
desarrolladas de evaluación interna de centros (Cardona, 1994; AA.VV. 1999; Estefanía
Lera y López Martínez, 2001; Rul y Zaitegui, 2003), así como en la elaboración de
instrumentos de autoevaluación institucional (e.g. Tomás et al., 2000). La idea de mejora
interna de los centros escolares mediante proyectos de colaboración entre centros
escolares y otros agentes externos (profesores universitarios o asesores de CEP) ha dado
lugar a experiencias (iniciadas a fines de los ochenta) entre la universidad y los centros
escolares (e.g. Escudero et al., 1990; González y Martínez, 1992), que:
apuntaban a la construcción de una dinámica de trabajo cooperativo en los centros, que
permitiera la propia autoevaluación, la formación desde la práctica de los profesores, y, de este
modo, la mejora de aquellas facetas organizativas y pedagógicas de su trabajo que fueran definidas
como susceptibles de mejora por los centros y los profesores (Escudero y Bolívar, 1994: 144).
En 1990 Sabirón Sierra publicó una Guía para la valoración y el desarrollo de la
institución escolar (DIE-1) como documento de trabajo y pauta de valoración y
diagnóstico interno del centro escolar. Posteriormente aparecerían otros materiales
destinados a servir de ayuda a los centros que se impliquen en procesos de
autoevaluación institucional, como los construidos por San Fabián (2005), San Fabián y
Granda (2007 y 2008) o Murillo (2008), siendo varias las Comunidades Autónomas que
irán incorporando propuestas de autoevaluación institucional, como Cataluña, Canarias,
Castilla-La Mancha o Asturias, entre otras.
22
1.2. El auge de la evaluación estandarizada
Los resultados escolares son importantes en una sociedad donde el éxito escolar es una
puerta para el éxito profesional y social. Como señalan Elmore y Fuhrman (2003,
introducción), “en una sociedad donde el logro educativo está fuertemente relacionado
con los ingresos futuros, la repetición, la denegación de diplomas y los abandonos tienen
consecuencias extremadamente serias para los alumnos”.
La cuestión es en qué medida las evaluaciones dan cuenta de esos resultados de una
manera global y estable; y, sobre todo, cómo contribuyen dichas evaluaciones al
perfeccionamiento del sistema educativo. En otras palabras, ¿qué control tenemos de las
condiciones que hacen posible los aprendizajes?, ¿es ético castigar a alumnos por no
aprender lo que no se les han enseñado o que se les ha enseñado de forma inadecuada?,
¿es ético sancionar a los docentes por la producción de unos resultados que sólo en parte
dependen de su actuación? (Ravela, 2006).
Esta modalidad de toma de decisiones basada en el rendimiento escolar suscita
numerosas cuestiones: ¿qué miden realmente las pruebas de rendimiento?, ¿qué efectos
tienen las medidas del rendimiento del alumnado en la mejora de la docencia?, ¿cómo
condicionan el trabajo docente?, ¿cómo contribuyen a la equidad del sistema y a la
configuración de diferentes redes escolares?, ¿hablar de evaluación de rendimientos es lo
mismo que hablar de evaluación de la calidad de la enseñanza? y, sobre todo, ¿qué
certeza tenemos de que la evaluación del rendimiento de los estudiantes puede llevar a
mejorar la calidad de los centros?, ¿están conduciendo a mayores tasas de éxito escolar?,
¿están logrando retener una mayor cantidad de alumnos de la enseñanza secundaria, por
ejemplo? Tras estas preguntas una cuestión se encuentra en el fondo de todas ellas, el
impacto de las evaluaciones en la toma de decisiones orientada a la mejora: ¿los agentes
decisoresy en especial los docentes, como protagonistas directos de las acciones
educativas, utilizan los resultados de las evaluaciones para mejorar su docencia?
Esto lleva al problema del uso de los indicadores, de su contribución a uniformidad y
estandarización de los sistemas, a la cuantificación de la evaluación… El proceso de
traducción de los indicadores a la práctica varía según las condiciones del sistema
(Mahony y Hextall, 2000), donde influyen especialmente los intereses de los que toman
decisiones. Un ejemplo lo encontramos en la utilización que hizo la ministra Esperanza
Aguirre de las pruebas de evaluación para intentar justificar su fracasada reforma de las
Humanidades, bajo la que escondía el interés por controlar los contenidos de la
enseñanza en la ESO.
Indica Ravela (2006) que una cosa es generar información sobre las escuelas que
están logrando que sus alumnos adquieran los aprendizajes esperados y otra
completamente diferente es convertir eso en una tabla de posiciones tipo campeonato de
fútbol, de manera simplista y con gran daño para muchos centros. En consecuencia
propone varios criterios que deben tenerse en cuenta al efectuar comparaciones entre
escuelas:
23
a) Utilizar diversos indicadores de calidad y no uno solo, lo que probablemente
dará lugar a diversos ordenamientos, dado que unas escuelas destacarán en
ciertos aspectos y otras en otros.
b) Cuando se ordena a las escuelas por un único indicador como, por ejemplo, sus
resultados en una prueba de Matemáticas, evitar denominar “calidad” a ese
único indicador. Es legítimo explicitar que ello no da cuenta de todo lo que las
escuelas realizan.
c) Tener en cuenta la composición social del alumnado de cada centro. Si esto no
se hace, lo que se está comparando principalmente es la selección social del
alumnado. Es preferible realizar varios ordenamientos o rankings por
separado, para escuelas de diferente composición social.
d) Utilizar datos de varios años o varias mediciones para evitar ofrecer imágenes
falsas que obedecen a factores aleatorios, dado que los resultados de escuelas
individuales son altamente volátiles y cambiantes.
e) Controlar la significación estadística de las diferencias, tanto en la comparación
entre escuelas en un mismo momento del tiempo como en la comparación de
los resultados de una misma escuela a lo largo del tiempo. Esto
necesariamente llevará a relativizar las posiciones en el ranking, dado que cada
escuela no tiene una única posición sino varias posibles. Por este motivo, es
preferible trabajar con agrupamientos de escuelas (escuelas de muy buenos
resultados, escuelas de resultados intermedios, escuelas de resultados
inferiores, etc.) más que con un ordenamiento individualizado.
f) Focalizar las comparaciones en la proporción de alumnos que están logrando los
aprendizajes que deberían lograr, más que en las posiciones relativas de las
escuelas en función de sus promedios. Una escuela puede tener un promedio
superior a otra, pero ambas ser malas en términos de lo que sus alumnos están
logrando.
El interés por relacionar los resultados de los aprendizajes de los estudiantes con la
eficacia docente ha provocado un uso creciente de los denominados Métodos de Valor
Añadido (MVA), desarrollados por Newton et al. (2010) para evaluar incrementos en los
aprendizajes de los alumnos. Estos autores cuestionan si se pueden aislar los efectos de la
práctica docente o de los centros en el rendimiento escolar respecto a otros factores. Para
ello exploran las posibilidades y limitaciones de estos métodos encontrando que no son
del todo fiables, especialmente cuando se aplican a la valoración de la eficacia docente de
un profesor, la cual puede variar sustancialmente a través de los distintos modelos
estadísticos, los grupos de clase asignados y los años de experiencia. Además, las
características de los estudiantes pueden impactar drásticamente las clasificaciones de los
profesores, aun cuando tales características hayan sido previamente controladas
estadísticamente. Los profesores que enseñan a los estudiantes menos aventajados en un
curso o año determinado reciben clasificaciones de eficacia más bajas que cuando un
mismo profesor está enseñando a los estudiantes más aventajados en otro curso o año.
24
Los modelos que no toman en cuenta las características demográficas de los
estudiantes perjudican adicionalmente a los profesores que sirven a un gran número de
estudiantes de bajos ingresos, con conocimientos limitados del idioma o que estén en
grupos de menor rendimiento académico. Los criterios de asignación de docentes y
alumnos a centros y grupos, las características de los estudiantes, su esfuerzo y el de sus
familias, la contribución de múltiples factores al aprendizaje, la interferencia del efecto
centro y el efecto docente, etc. dificultan determinar el papel específico que desempeñan
los centros y los docentes en la producción de incrementos medibles de aprendizaje
estudiantil, lo que lleva a realizar inferencias problemáticas y a formular hipótesis
demasiado complejas e inestables sobre la eficacia de los centros y sus profesores (Baker
et al., 2010).
Ello interroga por las finalidades de las políticas de evaluación. Los sistemas de
rendición de cuentas basados en pruebas de rendimiento pueden utilizarse de diversas
maneras y con diferentes objetivos (Carnoy y Loeb, 2002). Pueden ser usados como
indicador que informa a administradores y docentes si se están logrando los objetivos de
la organización y proporcionar información sobre qué elementos del currículo están
incidiendo en los estudiantes y cuáles no. Pueden ser utilizados como medida de éxito o
fracaso para establecer sistemas de incentivos. Pueden emplearse como criterio para
aumentar el nivel, para evaluar planes de estudio o para proporcionar asistencia técnica.
También se pueden utilizar como un mecanismo para asignar recursos adicionales con el
fin de mejorar los resultados de los centros que afrontan mayores dificultades… ¿Cuáles
de estas finalidades son las más apropiadas a la naturaleza de la evaluación? ¿Cuáles
justifican su empleo? ¿Cuál es la evaluación más adecuada a cada finalidad?
Ravela (2006) distingue dos tipos de propósitos diferentes en las evaluaciones
externas:
1. Dar publicidad a los ordenamientos resultantes como forma de generar un
mercado educativo o para establecer un sistema simbólico de premios y
castigos a las escuelas en función de sus resultados.
2. Establecer programas de apoyo a las escuelas más deficientes y aprender de los
mejores centros.
El primer propósito ha sido el más extendido, lo que lleva a preguntarnos por los
efectos que tienen los rankings públicos derivados de las evaluaciones. Incluso donde no
se publican puntajes crudos, sino medidas más refinadas de valor agregado, el uso de
rankings hace inevitable que haya ganadores y perdedores, y una vez que una escuela es
etiquetada como deficiente es difícil encontrar la manera de ayudarla, en un ambiente en
el que prevalecen actitudes de recriminación y reproche, impidiendo el surgimiento de
estrategias de mejora (Ravela, 2006).
1.3. Los excesos de la evaluación externa basada en estándares
25
No hay duda de que las reformas educativas basadas en estándares han convertido la
evaluación en un instrumento primordial para impulsar y sostener los cambios. El
principal problema surge cuando los sistemas de rendimiento de cuentas externos basados
en estándares se asocian a la política de libertad de elección de centros desligándose de
los procesos de mejora interna. En manos de una interpretación neoliberal, demasiado
lineal e infundadamente optimista, estas políticas hacen de la evaluación del rendimiento
una herramienta al servicio del mercado donde, supuestamente, las familias cuenten con
información sobre los resultados académicos de los centros y así puedan escoger
correctamente. No obstante, los resultados de rendimiento obtenidos reflejan solo
parcialmente la calidad del centro, no informan de los procesos, siendo más bien un
indicadorde la capacidad de selección social del centro o, dicho de otra forma, del nivel
sociocultural de sus estudiantes (Redondo et al., 2004). Un aspecto que critican estos
autores se refiere a que los instrumentos de medición de la calidad no recogen la
integralidad de la experiencia educativa, por lo que si se le considera el único instrumento
de medición puede generar una imagen distorsionada de lo que es la calidad global de la
educación obtenida. Las evaluaciones estandarizadas son poco adecuadas para conocer si
los estudiantes son pensadores innovadores, ciudadanos tolerantes y responsables,
culturalmente alfabetizados y otros resultados educativos valiosos (Stein, 2001; Willinsky,
2004). Existen modelos e iniciativas tendientes a medir el valor agregado de cada centro,
pero no suelen llevarse a cabo debido a limitaciones políticas y burocráticas.
Según diversos autores (Elmore y Fuhrman; 2003; Bolívar, 2003; Ravela, 2006), los
estándares de evaluación pueden generar mejoras en la educación solo cuando se dan
unas condiciones específicas y se hace un uso correcto de los mismos. De lo contrario,
tienden a generar efectos perversos. Entre los posibles efectos de los indicadores de
rendimiento centrados en el alumnado pueden citarse (Torres, 2006: 165-175):
a) Se reducen los contenidos a enseñar.
b) Los contenidos se acaban fragmentando en exceso, no solo en asignaturas, unas
al margen de otras, sino en temas o lecciones y listados o resúmenes a
memorizar.
c) Las perspectivas conflictivas del conocimiento se obvian a favor de un falso
consenso.
d) Se marginan todavía más las culturas tradicionalmente silenciadas en los centros
de enseñanza.
e) Se perjudica el aprendizaje de las niñas y los niños, en especial de los
pertenecientes a la clase trabajadora, de las familias sin empleo y en
situaciones de pobreza, de etnias minoritarias sin poder, etc. en la medida en
que las culturas silenciadas no se promueven, ya que no es posible que los
tests de evaluación se preocupen de ellas.
f) Se auspicia el regreso a estrategias didácticas más tradicionales y autoritarias
para trabajar en las aulas.
g) Se refuerza la política de libros de texto más estandarizados aún, construidos
26
con información que únicamente tiene como objetivo resaltar útil en las
pruebas de control de los indicadores.
h) La preocupación principal del profesorado vuelve a ser la disciplina y la cultura
del esfuerzo.
i) Se elimina la autonomía del profesorado, apostando, en consecuencia, por
prescribir y centralizar las decisiones sobre los contenidos escolares, con el
subsiguiente efecto colateral de contribuir a una mayor desprofesionalización
del profesorado.
j) Las políticas de estándares hay quien las defiende para “estimular” a los malos
profesores y profesoras, no a los buenos, a los que se proclama que no les
afecta, pero los resultados de numerosas investigaciones en otros países dicen
que también los acaban forzando a acomodarse a trabajar unos determinados
contenidos y a emplear metodologías más acordes con las formas en que se
evalúan los estándares.
k) Las relaciones del profesorado con la Administración llegan a ser siempre de
sospecha e, incluso, de temor.
l) Los resultados de las políticas de estándares contribuyen a construir un ranking
de centros.
m) Se incrementan los niveles de burocracia y los gastos en el sistema educativo.
n) Favorece la entronización del positivismo como única epistemología válida en
educación.
Todas estas cuestiones llevan a examinar la evidencia en torno a los efectos de las
actuales políticas de evaluación para el rendimiento de cuentas o accountability.
Desde fines de los años sesenta se ha medido el nivel de aprendizaje de los alumnos para
elevarlo, pero no ha sido evidente la forma de conseguirlo. Los sistemas de rendición de
cuentas o responsabilidad por los resultados, en particular aquellos que intentan
establecer presiones directas sobre distritos, escuelas y maestros para que mejoren los
resultados de sus alumnos, no siempre han traído consigo los beneficios prometidos. Al
menos, la evidencia empírica no muestra que se produzcan mejoras sostenidas en el
tiempo a partir de los mismos (Ravela, 2006). Según este autor, los rankings son modos
inapropiados de valorar la calidad de las escuelas, siendo cuatro los tipos de problemas
que presentan la mayoría:
a) Pretenden ordenar los centros en función de la “calidad”, cuando en realidad
utilizan un único indicador o, a lo sumo, unos pocos.
b) Ofrecen una falsa impresión de precisión en el ordenamiento.
c) No tienen en cuenta que, a nivel escolar, los resultados son altamente volátiles.
d) No consideran las diferencias en la composición social del alumnado y en los
recursos de los centros.
Carnoy y Loeb (2002), en un estudio sobre las reformas basadas en estándares de
27
los años ochenta y noventa en los EE.UU., encuentran que en aquellos Estados donde la
evaluación externa alcanza mayor presión se observa un incremento en las pruebas de
rendimiento. Sin embargo, esta relación entre el incremento de la política de rendimiento
externo de cuentas y los resultados escolares medidos en tests no garantiza una mejora
en el aprendizaje escolar global ni efectos sostenidos en el tiempo (niveles de graduación
posterior). Por otra parte, detectan que los centros que ya tienen mejores rendimientos
son los que responden mejor a las demandas de evaluación externa, por lo que puede
decirse que se trata de una política que mejora a los centros mejores. Dichos autores
ponen de manifiesto los límites de la evaluación externa como vía para obtener mejoras
en los procesos y resultados de la enseñanza, señalando los efectos perversos que pueden
llegar a generar.
El rendimiento del alumnado medido en test es el principal procedimiento que usan los estados
para detectar la mejora educativa. Sin embargo, las mejoras en los exámenes estatales pueden no ser
una medida exacta de los avances educativos, ya que los centros pueden sustituir la adquisición de
aprendizajes más duraderos en los estudiantes por estrategias que aumenten su desempeño en la
contestación a los tests particulares. Debido a esto, es importante utilizar medidas alternativas para
evaluar el éxito de estas políticas (Carnoy y Loeb, 2002: 305).
Los principales supuestos en que se apoya la perspectiva de la mejora basada en el
rendimiento de cuentas suelen ser demasiado simples, cuando no abiertamente ingenuos,
pudiendo resumirse así: como consecuencia de los resultados (y la publicidad) de las
evaluaciones, los diferentes actores concernidos (mediante las sanciones o incentivos
consiguientes) se esforzarán necesariamente en mejorar.
Sin embargo, existen pocas evidencias de que el rendimiento de cuentas de centros y
profesores mediante tests provoque, por sí mismo, una mejora de los resultados
educativos (Mehrens, 1998; Amrein y Berliner, 2002). Una de las críticas más
contundentes a los modelos de rendimiento de cuentas es la realizada por Elmore
(2003a). Para ese autor, las demandas de rendimiento de cuentas en la actual estructura
del trabajo docente y organización de los centros no funcionan, es decir, no provocan la
mejora y además no son razonables.
Uno de los autores que mejor ha sistematizado la crítica a los sistemas de
rendimiento de cuentas es el ya citado Pedro Ravela (2006). Según él, los sistemas que
buscan generar competencia entre las escuelas a partir de la publicación de rankings y de
la apuesta a que los padres “castiguen” a las escuelas que no tienen buenos resultados
retirando a sus hijos de ellas, pueden tener efectos no deseados e incongruentes con sus
propósitos. Estos son sus principales argumentos:
a) El efecto “chicle” en los sistemas de mercado competitivo. Una escuela con
buenos resultados tendría, como consecuencia de ello, una alta demanda en el
siguiente ciclo lectivo. Como su capacidad para recibir alumnos es limitada,
tendería a seleccionar a los mejores alumnos. De este modo el director se
aseguraría que sus resultados sean aún mejoresen la siguiente evaluación. Por
el contrario, las escuelas cuyos resultados no sean buenos, tenderían a perder
28
a los alumnos hijos de las familias más educadas, dado que éstas contarían
con más información y mayores recursos para desplazar a sus hijos. Dichos
centros se quedarían con los alumnos de las familias menos educadas, lo cual
determinará que sus resultados empeoren en la siguiente evaluación. De este
modo se generaría una dinámica de incremento o “estiramiento” de las
distancias en los resultados entre los extremos del sistema educativo, también
denominado “efecto goma de mascar”. Este fenómeno fue constatado por
Orlyo Mella (2003) para el caso chileno, donde se ha apostado fuertemente
por este tipo de esquema de responsabilidad por los resultados desde los años
ochenta.
b) Los sistemas de incentivos motivan a los que ganan y desmoralizan a quienes
pierden. Todo sistema de incentivos tiene ganadores y perdedores. Lo que
muestra la evidencia empírica es que quienes ganan los incentivos se motivan
y tienden a querer seguir participando en el sistema y mejorar para volver a
ganar. Lo mismo puede ocurrir con quienes no ganan pero quedan cerca de
hacerlo. Simultáneamente, se ha constatado también que quienes quedan lejos
de ganar se desmoralizan, tienden a creer que nunca lograrán alcanzar los
primeros lugares y a volverse indiferentes ante el sistema. Como
consecuencia, queda sin resolver el problema de cómo mejorar las escuelas
cuyos resultados son peores. El efecto desmoralizador puede afectar incluso a
escuelas que han hecho esfuerzos importantes y han logrado mejoras pero no
las suficientes como para compararse a otros centros.
c) Entrenar a los alumnos para responder a pruebas estandarizadas. Todo sistema
de evaluación estandarizada tiene como efecto dirigir una parte de la
preocupación y el tiempo de enseñanza hacia lo que las pruebas evalúan. Este
efecto es mayor cuanto más importantes sean las consecuencias de las
pruebas para escuelas y docentes. En sí mismo, esto no es malo, en realidad
es parte de los efectos buscados cuando se evalúa. El problema se plantea
cuando se vinculan consecuencias fuertes a pruebas que no son lo
suficientemente complejas y amplias, por ejemplo, cuando se emplea
exclusivamente pruebas de opción múltiple dado su menor coste para
evaluaciones censales. En estos casos puede ocurrir que la “mejora” educativa
se limite a entrenar a los alumnos para responder pruebas de elección múltiple.
Cuando las pruebas no tienen consecuencias fuertes, es más fácil que los
docentes puedan considerarlas como lo que son (indicadores de lo que los
alumnos están aprendiendo) y aprender de ellas sin estar presionados a
mejorar los resultados de cualquier modo.
d) La tentación o necesidad de “rebajar” los niveles de exigencia. Si los niveles de
exigencia de las pruebas son muy altos, se corre el riesgo de generar un
fracaso generalizado entre los estudiantes o entre las escuelas que, por
diversas razones (costes financieros, sociales o políticos, entre otros), obligue
a reducir los niveles de exigencia. Si los niveles de exigencia se “rebajan” para
29
evitar el fracaso mencionado, se corre el riesgo de adaptar las expectativas al
nivel promedio de la población escolar y transmitir a los docentes una señal
equivocada en cuanto a qué es lo que todos los alumnos deberían aprender.
Además, las pruebas externas, si son exigentes y tienen consecuencias para los
alumnos, seguramente generarán, al menos en una primera etapa, incrementos
en los niveles de fracaso y deserción.
e) Aliento a conductas de corrupción. Finalmente menciona el autor que todo
sistema de consecuencias fuertes tiene como efecto altamente probable el de
generar conductas reñidas con la ética profesional, tales como dejar a los
alumnos más retrasados fuera de la prueba, ayudar a los alumnos en la
prueba, etc., lo cual a su vez obliga a establecer sistemas de vigilancia y
control que muchas veces contribuyen a generar un clima hostil hacia la
evaluación.
Fuhrman (2003) señala la existencia de numerosas debilidades de los nuevos
sistemas de accountability de los centros basados en los resultados de los alumnos. Bajo
los nuevos sistemas de evaluación externa del rendimiento, y aunque algunos alumnos
están más en riesgo que otros, como señala Ravela (2006), son los alumnos en general
los que sufren las consecuencias, más que los adultos. Los adultos están en cierto sentido
protegidos por el hecho de que una escuela es un conjunto de individuos y, por ende, las
consecuencias se difunden a través de la organización en lugar de recaer en individuos
específicos; pero los alumnos sufren las consecuencias en forma individual.
Refiriéndose a las evaluaciones estandarizadas de rendimiento como un “gesto del
poder que quiere deslumbrarse a sí mismo con algo verdaderamente mega”, Ana Zavala
(citado en Ravela, 2006: 75) considera que:
…difícilmente pueden ser consideradas acciones educativas en la medida en que (siempre
fieles a la pasión cuantitativa) saber cuánto saben los estudiantes en general no tiene demasiado
sentido para alumnos o para profesores en particular. Tal vez si hubieran querido saber qué saben, la
cosa hubiera sido distinta, pero en la concepción de base de estos procedimientos llamados
evaluatorios, todos los estudiantes saben lo mismo, solo que algunos más que otros, y eso es lo
único que interesa.
Refiriéndose al caso belga, Vanhoof y Van Petegem (2005) dan estas razones del
limitado uso de los informes de evaluación estandarizados:
a) Falta de competencia para analizar la información estadística pues los datos son
demasiado formalizados y con elevada abstracción.
b) Falta de competencia en el uso de la información.
c) La demora entre la realización de las pruebas y la recepción de los resultados.
d) Los resultados no aportan nada nuevo y confiando más en intuición y la
experiencia directas.
e) Dudas sobre la comparabilidad de los resultados.
30
Ryan (2005) sostiene que los sistemas de evaluación de centros basados en las
pruebas de rendimiento estandarizado son sistemas de control jerárquico. Responden a
un modelo de eficacia que emplea indicadores de productividad, sin referencia a los fines
en sí, sino a la utilización de unos recursos para conseguir esos fines; en consecuencia, el
debate sobre los fines se obvia. Cumplen una función de auditoría, pero desligada de la
mejora de los procesos de enseñanza-aprendizaje, son sistemas que no generan
información formativa sobre qué hacer para mejorar la formación. Tampoco brindan una
información que responda a una visión global de un centro, sino que, en todo caso, un
centro es eficaz en relación con los resultados obtenidos en unas pruebas. Son sistemas
de control verticales: la escuela es auditada desde fuera pero ella no puede evaluar a las
agencias externas de otros niveles territoriales. Las perspectivas de familias, estudiantes,
docentes y administradores no son incluidas en las definiciones habituales de rendimiento
de cuentas. Frente a la evaluación de control externa propone una evaluación
democrática (democratic accountability), de forma que los resultados derivados de los
controles externos se incorporen a debates internos democráticos:
Los centros necesitan definir lo que significa “eficacia”, ser proactivos y menos reactivos, y
mejorar los procesos de enseñanza-aprendizaje, todos estos elementos ausentes en los sistemas de
rendimiento de cuentas. Propongo que los centros superen estas limitaciones de la evaluación
externa para el control y se impliquen en un sistema de rendimiento de cuentas democrático (Ryan,
2005: 536).
No se trata de desdeñar ningún tipo de evaluación, sino de distinguir qué tipo de
información facilita cada una de ellas, con el fin de utilizarlas adecuadamente. La
información que se provee externamente a los centros sirve para alertar a los
responsables educativos y a la sociedad de sus resultados en función de indicadores
estándares de rendimiento. Estos indicadores señalan problemas y necesidades existentesy apuntan una dirección general a la que dirigirse. Sin embargo, no aportan información
sobre por qué los estudiantes o subgrupos de estudiantes de un mismo centro o zona
obtienen diferentes niveles de rendimiento, y por tanto qué medidas correctoras deben
ser tomadas (Ryan, Chyler y Samuels, 2007).
Los resultados de las pruebas estandarizadas internacionales raramente son utilizados para
identificar las principales dificultades de aprendizaje y definir actuaciones de mejora en las prácticas
docentes en los centros. Con frecuencia, los resultados llegan demasiado tarde, de forma que los
profesores pueden haber cambiado… Es necesario ver a los centros como los destinatarios
principales de los resultados de las pruebas de evaluación (Azevedo, 2004: 79).
El gran desafío a la comunidad evaluadora reside en conseguir una confluencia entre
los propósitos de la evaluación y los del currículo. Tradicionalmente ésta es una cuestión
que se ha planteado, aunque no siempre resuelto, en el nivel del diseño curricular, como
requisito de la coherencia del trabajo docente. La cuestión se complica al desplazarse del
nivel de aula al nivel de sistema educativo mediante la generalización de la evaluación
externa basada en resultados, lo que desborda lo estrictamente curricular y docente,
31
introduciendo la perspectiva del rendimiento de cuentas y con ella sistemas de
recompensas y sanciones en función de los resultados.
Aunque los métodos de valor añadido han supuesto un avance metodológico, aislar
los efectos de los centros y los docentes sigue siendo complicado debido a la existencia
de variables omitidas o parcialmente medidas. Newton et al. (2010: 20) sostienen que
resulta improbable evaluar con precisión la aportación que cada docente particular hace al
aprendizaje del alumnado, dados los numerosos factores implicados en ese aprendizaje,
las limitaciones de los tests y métodos utilizados y la organización del sistema escolar.
Discuten posibles razones para explicar estos resultados, entre ellas la naturaleza
específica de las medidas de las evaluaciones y los métodos estadísticos utilizados, y
concluyen que se debe tener precaución al hacer inferencias sobre la efectividad de
profesores individuales basadas en modelos de valor añadido especialmente para
determinar resultados que puedan tener consecuencias severas, como la promoción u
otros incentivos profesionales.
Varios autores ya habían alertado de que la evaluación de rendimientos por sí sola no
produce mejoras en la educación, siendo necesario a la vez mejorar la capacidad de
docentes y centros para desarrollar la mejora. Smith, O’Day y Cohen (1990) sugieren
que no se produce mejora sin un desarrollo de la capacidad de cambio de centros y
profesorado. Cuando los profesores saben qué hacer y la organización actúa en apoyo de
sus esfuerzos para lograr los objetivos, ello aumenta la capacidad colectiva de las
instituciones para mejorar la educación. De aquí podemos derivar una conclusión
relevante: la necesidad de establecer nuevos modelos de evaluación de la calidad
educativa que contribuyan a la mejora del conjunto del sistema y no excluya a los centros
que más lo necesitan.
Las escuelas con bajo rendimiento, que son las que nos deben primariamente importar, no
mejorarán justo por clasificarlas como de bajo nivel, justamente porque carecen de capacidades
para hacerlo mejor y, además, porque llegar a niveles aceptables será fruto de un proceso (largo) de
desarrollo. La construcción de capacidades es, pues, la ´missing piece ́ de la reforma basada en
estándares (Bolívar, 2003: 2).
1.4. Tendencias que reclaman nuevas formas de evaluación
A continuación describimos brevemente varias tendencias en la organización y gestión de
los sistemas educativos que están demandando el desarrollo e implantación de nuevos
modelos de evaluación y rendimiento de cuentas.
1.4.1. Autonomía institucional de los centros educativos
La evaluación de centros tiene inevitablemente como trasfondo ideológico el debate entre
autonomía y control externo de los centros (McNamara y O’Hara, 2008). La evaluación
32
externa suele ir acompañada de un incremento en la toma de decisiones a nivel local. En
un contexto de políticas de evaluación externa, transferir la responsabilidad del
rendimiento escolar a centros y profesores tiene importantes consecuencias para el
modelo de trabajo docente y la organización de los centros (Bolívar, 2006). En la
actualidad pueden constatarse dos corrientes que pueden colisionar: la descentralización
de decisiones hacia unidades periféricas del sistema y el reforzamiento de los objetivos y
resultados a nivel regional y nacional. Estas dos tendencias, descentralización e
integración, autonomía y regulación, delegación y responsabilidad… actúan como dos
capas tectónicas cuyos movimientos explican gran parte de las tensiones y oscilaciones
que afectan a la evaluación. Cuando las políticas promueven la desregulación se origina
un movimiento hacia un tipo de evaluación, cuando se refuerza la centralización aparece
otro movimiento evaluador de diferente signo.
La autonomía de los centros facilita la autoevaluación, a su vez que la
autoevaluación contribuye a la autonomía de los centros, lo que potencia nuevas formas
de regulación internas. El desarrollo de procesos de autoevaluación no conlleva una
desregulación del sistema, sino una nueva forma de regulación que compagina el control
externo con procesos de reflexión interna.
La descentralización lo que hace generalmente es “sancionar”, esto es, legitimar la
capacidad (o incapacidad) existente en los centros, ya que se les asigna más
responsabilidad en las decisiones pero no siempre saben cómo ejercer efectivamente
dicha responsabilidad. Por lo tanto, las reformas descentralizadoras frecuentemente
tienden a aumentar las desigualdades en el desempeño estudiantil, ya que los estudiantes
de menores ingresos tienden a asistir a escuelas o zonas donde existen escasas
habilidades para sacar provecho de la gestión de sus recursos (Whitty et al., 1999;
McEwan y Carnoy, 2000; Torres, 2001; Carnoy, 2005).
Como señala Bolívar (1994a), el fracaso de las estrategias centralizadas podría llevar
a pensar que sólo estrategias descentralizadas, focalizadas en el centro escolar, podrían
hacer exitosa una reforma. Sin embargo, tal como postula Fullan (1994), tras revisar las
evidencias de las experiencias de gestión basada en la escuela, los esfuerzos en devolver
la toma de decisiones a los centros pueden alterar los sistemas de gobierno, pero no
afectan por sí mismos al núcleo docente, dada la ambigua conexión entre las estructuras
de gobierno y los procesos de enseñanzaaprendizaje. Según esto, las escuelas, como
otras organizaciones, no suelen iniciar cambios en ausencia de estímulos externos y los
sistemas descentralizados no necesariamente dan lugar a acciones docentes más eficaces,
haciéndose más difícil aún el rendimiento de cuentas. En consecuencia, este experto en
cambio educativo propone utilizar conjuntamente estrategias centralizadas y
descentralizadas, maximizar la combinación productiva de iniciativas de arriba, incentivos
y responsabilidad de un lado, con las iniciativas, el desarrollo y el rendimiento de cuentas
de abajo (Fullan, 1994: 199), a través de una coordinación descentralizada (Clune,
1993). El ejercicio de la autonomía institucional conlleva un incremento en el rendimiento
de cuentas externo que debe ser equilibrado por la práctica de la revisión interna.
33
1.4.2. Creciente diversidad de los centros
Las diferencias entre las instituciones no son sólo una consecuencia de la
descentralización o de su contexto específico. Son también resultado de cómo las
instituciones han ido acumulando con los años una cultura propia, más o menos explícita,
basada en múltiples ajustes, negociaciones y decisiones que han ido tomando a lo largo
del tiempo.
La singularidad de cada organización escolar requiere que se evalúe no sólo el
cumplimiento de los fines normativos (finalidades y valores del sistema),sino también los
objetivos que la propia institución escolar se ha propuesto, teniendo en cuenta el camino
recorrido por el centro en relación con una situación de partida dada o un resultado
obtenido anteriormente o la media de un conjunto de centros de condiciones similares,
sin olvidar que el valor añadido permite establecer correlaciones y no asignar causas, por
lo que debe ser usado como medio de estimación y no como evaluación final (Saunders,
2001; Azevedo, 2004).
La tendencia creciente al benchmarking (comparación entre sistemas organizativos),
nacional e internacional, tiene a medio plazo importantes efectos. Por un lado, contribuye
a una mayor uniformidad de unos sistemas educativos que, en general, en los últimos
años han evolucionado hacia modelos descentralizados. Por otro, aumenta el peligro de
imitación acrítica de prácticas educativas, especialmente en países donde no existe una
gran tradición de evaluación del sistema educativo y donde los indicadores
internacionales se convierten en instrumentos directos de política educativa. En el caso
de la universidad, esto puede verse en países como el nuestro, donde los indicadores de
los rankings internacionales son con frecuencia interpretados de manera lineal por los
gestores de turno.
Es dudoso el impacto que puedan producir los indicadores de rendimiento
internacional sobre la mejora de los centros escolares. No decimos que de ellos no se
puedan derivar orientaciones y sugerencias interesantes para gestionar las políticas
educativas, sino que es difícil que esas sugerencias tengan una incidencia real en el
currículo impartido. Al fin y al cabo, se trata de una perspectiva jerárquica, donde
expertos superiores dan instrucciones de mejora descontextualizadas y muy alejadas de la
realidad de los centros.
Frases como hay que evaluar para conocer los efectos del sistema o sin evaluación
no es posible mejorar son muestra del reduccionismo retórico del lenguaje político-
legislativo cuando se refiere a la evaluación de centros y docentes como instrumento de
calidad (Sugrue, 2006). Sin embargo, los objetivos externos impuestos a los centros por
la administración junto con el incremento de la toma de decisiones por el centro
incrementan sensiblemente la complejidad de los procesos de evaluación.
Actualmente, uno de los principales retos en el ámbito curricular es cómo abordar la
evaluación de competencias. Si tenemos en cuenta que se trata de configuraciones de
capacidades que se expresan de distinta manera según el contexto, podemos deducir la
dificultad para ser evaluadas mediante procedimientos estandarizados.
34
1.4.3. Limitaciones de los sistemas de inspección
El alto coste y la ineficacia de los sistemas de inspección externa están impulsando las
iniciativas de autoevaluación. Ya en 2003 John MacBeath hizo constar que la
autoevaluación está teniendo un gran auge en los países más avanzados
económicamente. Para la comunidad de evaluadores, esto no deja de ser sorprendente,
pues significa un cambio importante en la orientación de su trabajo tradicional, al pasar
de ser técnicos externos a agentes de cambio en un ciclo de mejora institucional. Esto ha
llevado durante los últimos años a un notable desarrollo teórico, práctico y legislativo de
los marcos y modelos de autoevaluación. Pero, lo que parece que no se ha desarrollado
tanto es la capacidad e interés de los centros y los profesores para implicarse en los
procesos autoevaluativos (McNamara y O’Hara, 2008).
Los sistemas de accountability no parecen movilizar nuevas capacidades por sí
solos; las respuestas de las escuelas a ellos dependen fuertemente de la capacidad que ya
tienen. Como señala Elmore (2003b: 10), “el mejor predictor de la forma como
responderá un centro a la introducción de una innovación es su cultura y capacidad
organizacional previa”.
Según este autor, a medida que aumenta la presión, las escuelas con baja capacidad
tal vez agreguen contenidos y soluciones académicas, pero sin el desarrollo deliberado de
capacidades es poco probable que logren grandes mejoras en su capacidad instructiva
medular. Los centros que prestan más atención al éxito académico y cuentan con mayor
capacidad para lograrlo frecuentemente responden a las presiones de accountability de
maneras que refuerzan su perspectiva y coherencia académicas.
Las “nuevas” orientaciones de la gestión de la escuela (descentralización, autonomía
escolar, liderazgo participativo) han movilizado las resistencias a las medidas de vigilancia
y control impositivo que sitúan al profesorado en la condición de agente subordinado a
las reglas dictadas por otros estamentos. La evolución del papel y la función de las
inspecciones escolares han llevado a plantear nuevas formas de seguimiento promovidas
desde el interior de las organizaciones. El concepto de autorresponsabilidad institucional
se considera que debe ser compatible con el de supervisión externa.
MacBeath y McGlynn (2003) sugieren que la inspección debería considerar en
primer lugar si existe alguna forma de autoevaluación en los centros y, en ese caso, cómo
es la misma. En numerosos países la inspección informa sobre la calidad de la
autoevaluación escolar, lo que expresa a la vez respeto y apoyo a la autonomía de los
centros (Van Amelsvoort, 2001). Más aún, los mismos resultados de la autoevaluación
pueden condicionar el contenido, la forma y la frecuencia de la intervención de la
inspección (Inglaterra, Holanda, Escocia y Baja Sajonia).
1.4.4. Insuficiencia de la evaluación externa
De acuerdo con el principio de la “práctica reflexiva” (Schön, 1987), transformar
35
unidades de trabajo tan complejas como las escuelas requiere enfrentarse a problemas
que son a la vez globales y específicos, teniendo en cuenta los diferentes factores que
inciden en su progreso. Las “nuevas” teorías de la organización ven a las escuelas como
organizaciones que se caracterizan por la ausencia de consenso y la diversidad de metas;
lugares de confrontación ideológica, donde están en juego recursos, carreras y
reputaciones; campos de lucha, divididas por conflictos entre sus miembros, débilmente
coordinadas e ideológicamente diversas (Weick, 1985; Ball, 1989). Bien se resalte su
“celularismo” o su fuerte componente micropolítico, las escuelas son vistas como
organizaciones con rasgos distintivos (Gairín, 1996; Santos Guerra, 1997): indefinición
de metas, ambigüedad tecnológica, dificultad para establecer estándares de actuación,
debilidad estructural, dependencia de recursos externos, falta de tiempo para la gestión,
difícil control externo del trabajo, etc. Pero el hecho de que los centros sean
organizaciones con rasgos propios o específicos no significa que no sean evaluables, en
todo caso serán evaluables de una manera diferente a las de corte empresarial, es decir,
aplicando métodos alternativos adaptados a la naturaleza de su trabajo.
Esta especificidad de las organizaciones escolares se manifiesta especialmente a la
hora de promover cambios en profundidad en su interior. Los resultados de muchas de
las iniciativas de reforma escolar han sido decepcionantes (Sarason, 1990), esencialmente
aquellas basadas en las políticas de reestructuración escolar, al prestar poca atención a las
condiciones que permiten crear en los centros capacidad para incorporar tales cambios
(Fullan, 1999). Construir la capacidad de la organización implica crear oportunidades y
experiencias para la colaboración y el aprendizaje mutuo, supone que las personas tienen
confianza en su capacidad, en la capacidad de sus colegas y en la del centro para
promover el desarrollo profesional (Mitchell y Sackney, 2000). El desafío de las reformas
educativas estriba en la dificultad para mantener las iniciativas de cambio (Usdan y
Cuban, 2002). Cuando no se presta atención a la capacidad y condiciones internas de los
centros, el trabajo innovador termina siendo marginado (Hopkins et al., 2000).
Adams y Kirst (1999), tras distinguir entre diferentes sistemas de rendimiento de
cuentas (burocráticos, legales,