Un método contrapuesto de evaluación - Rose Marquez

Vista previa del material en texto

UNIDAD 2
	La evaluación, sus modelos más significativos.
	Lectura Siete
	T. R. OWENS Y R. L. WOLF
	«T. R. Owens y R. L. Wolf: Un método
contrapuesto de evaluación »
 
 
El modelo de contraposición para la evaluación educacional fue desarrollado en los primeros años setenta. Según uno de sus más tempranos representantes, Thomas Owens, el método contrapuesto posee la metodología necesaria para proporcionar información q quienes toman las decisiones con el fin de que elaboren proyectos y juzguen los resultados previstos y los no previstos cuando ya hayan sido realizados.
Básicamente, el método supone un proceso dialéctico y legítimo. Intenta examinar abiertamente los problemas relativos a una proposición mediante la presentación de casos a favor y en contra de esta proposición. El propósito es clarificar. Con los procedimientos realizados y las muchas facetas relacionadas con el objeto aclaradas, quienes toman las decisiones racionales.
 
El modelo de contraposición ha tomado diversas formas. Una de las más notables es el modelo judicial desarrollado por Robert Wolf en 1973 y los años sucesivos. Este aporta a la evaluación educacional las técnicas de un tribunal. No se trata, sin embargo, de presentar una decisión del tipo culpable/inocente. La esencia del concepto de juicio el establecimiento de un acuerdo en el contexto de un desacuerdo. De nuevo, lo importante es perfeccionar la toma de decisiones en el campo de la educación.
Usted puede seguir y comprender el método de evaluación contrapuesta mediante el estudio de esta unidad. Como en las primeras unidades, ejercicios aparecen al final para comprobar lo que ha aprendido. A continuación proporcionamos la lista de objetivos de esta unidad. Estúdielos, lea la unidad y luego realice el test de conocimientos, comparando sus respuestas con las que proporcionamos nosotros. Finalmente, realice los ejercicios prácticos, compare sus respuestas con los aspectos más destacados de las que le facilitamos nosotros y aborde el apartado de <<Preguntas sin respuestas>>.
 
Intención del modelo de contraposición
En 1973, Owens afirmó que durante la década anterior la evaluación educacional había experimentado una expansión que la condujo más allá del juicio de los resultados finales. Cada vez se ponía más el énfasis en proporcionar información para la toma de decisiones. Sin embargo, gran parte de la metodología evaluativa no ha estado a la altura de la ampliación del concepto y la función administrativa.
A pesar de que los autores más tempranos fueron muy críticos con la limitada función de la evaluación basada en tests psicológicos, siguieron preocupándose por el hecho de que un proyecto alcanzara o no los objetivos propuestos. SCRIVEN, en concreto, destacó (1967) la necesidad de examinar muy de cerca tanto las metas como las presuposiciones propuestas en las que se basaba un programa. Si las presuposiciones vinculaban el valor de un programa a cada estudiante o a la sociedad, no existía casi ningún método que pudiera obtener este tipo de información.
Otra limitación del modelo de tests psicológicos que ya advirtió Owens consistía en que era más adecuado para la investigación que para la toma de decisiones prácticas. Aunque una evaluación comparativa puede demostrar que un programa es superior a otro, esta información no significa necesariamente que deba adoptarse el programa superior. Su utilidad práctica no ha sido aprobada. <<Así pues, existe un hueco entre los resultados empíricos y las decisiones administrativas en la realización de ciertas prácticas>>. Además, el modelo de tests psicológicos limita, por lo general, el numero de variables examinadas. En concreto, las variables más fácilmente cuantificables y tangibles suelen ser examinadas, mientras que las más sutiles y menos tangibles, suelen ser rechazadas. Por ejemplo, los tests hechos a estudiantes para la realización de un nuevo currículo son sólo una parte del panorama general. También deben ser tenidas en cuenta otras variables que influyen en el programa, como las relaciones personales (por ejemplo, estudiante-profesor, maestro-administración), las actitudes del estudiante y la aceptación de la comunidad. El modelo de la contraposición para la evaluación educacional se desarrolló para superar este tipo de problemas.
 
Los procedimientos de contraposición en su contexto leal
 
En un contexto legal, los procedimientos de contraposición se desarrollan como una audiencia administrativa destinada a juzgar los méritos de un caso en el que están implicadas dos partes opuestas.
OWENS (1973) ha identificado las siguientes características de los procedimientos de contraposición como las adecuadas para la toma de decisiones en educación:
 
1. Las reglas establecidas para manejar los procedimientos de contraposición son totalmente flexibles.
2. Las complejas reglas de la evidencia son sustituidas por una evaluación libre de la evidencia basada únicamente en si la evidencia es considerada relevante por el director de la audiencia.
3. Puede pedirse a ambas partes, antes del juicio, que informen al director de la audiencia sobre todos los hechos relevantes, de las pruebas y de los nombres de los testigos.
4. Debe proporcionarse una copia de los cargos al director de la audiencia y al defensor, antes de que empiece el juicio, teniendo el defensor la opción de admitir por anticipado ciertos cargos y recusar otros.
5. Los testigos declararán libremente y podrán ser interrogados.
6. A menudo, los expertos son llamados a testificar, incluso antes del juicio.
7. Las entrevistas previas al juicio entre el director de la audiencia y las dos partes suelen convertir el juicio más en una búsqueda de hechos relevantes que en una batalla de talentos.
8. Además de las dos partes implicadas, puede permitirse la participación de otros grupos interesados.
 
La aplicabilidad en la evaluación educacional
Los diversos autores está, por lo general, de acuerdo en que los procedimientos de contraposición para la toma de decisiones en educación no deben necesariamente sustituir a las planificaciones ya existentes para la recopilación y el análisis de datos. Los procedimientos proporcionan un método alternativo de presentar, interpretar, sintetizar e informar sobre las evidencias. Se considera que los datos presentados son más equilibrados que los obtenidos únicamente mediante tests psicológicos.
Trasladados a un medio educativo, muchos de los procedimientos esbozados para el contexto legal pueden suponer una consideración estructurada de los aspectos importantes del programa y de su evaluación. Las presuposiciones, las metas, los metodos de recopilación de datos y su análisis, y la precisión y suficiencia de los informes evaluativos abren nueva posibilidades. Owens y Wolf afirman que el método de contraposición convierte una evaluación en <<intelectualmente honesta>>.
El modelo de contraposición legal es también aplicable a la evaluación educacional por otras razones. Permite que un amplio espectro de gente interesada en el programa exprese su punto de vista, ya sea directa o indirectamente (por medio de abogados de una parte o la otra). Los juicios no se basan en las metas iniciales del programa, sino más bien en la combinación entre estas y los problemas más importantes planteados por quienes participan en la audiencia. También ofrece un método para facilitar una toma de decisiones justa y abierta. Y, lo que es más importante, presenta una concepción amplia y completa del programa, clarificando tanto sus virtudes como sus defectos. Las alternativas de la decisión y sus potenciales ramificaciones son aireadas públicamente.
 
Realizaciones prácticas
 
Owens sugiere siete modos principales en los que puede llevarse a cabo el modelo de la contraposición para satisfacer los propósitos de una evaluación educacional. Esbozaremos brevemente estas útiles y prácticas sugerencias.
Explorar los valores de un currículo nuevo o ya existente. A menudo, las evaluaciones comparativas fracasan al especificar e investigar la teoría, la base lógicay las presuposiciones de un currículo. Un debate abierto sobre la <<importancia de un currículo concreto que satisfaga las necesidades presentes y futuras de los niños, las necesidades sociales o la integridad disciplinar puede resultar un paso útil antes de decidir si es conveniente o no desarrollar o llevar a cabo el currículo>>.
Seleccionar nuevos libros de texto. Los libros de texto de un distrito escolar se escogen, demasiado a menudo, de una manera fortuita o precipitada. Una audiencia contrapuesta formada por profesores de un comité de selección puede informar y aclarar cosas a los profesores sobre el valor de los libros de texto, basándose en argumentos a favor y en contra.
Estimar la congruencia entre una innovación y el sistema existente. Las innovaciones pueden introducirse sin comunicárselo al más amplio contexto escolar. En una audiencia contrapuesta la evidencia puede producirse mencionando el probable efecto nocivo que puede producir una innovación en el sistema como totalidad, revelando así las barreras potenciales que pueden frenar el éxito de un programa. Luego, se pueden tomar decisiones para frenar o superar las posibles dificultades.
Revelar las distintas interpretaciones hechas por distintos representantes sobre los mismos datos. Owens afirma que un jurado puede comprender representantes de los estudiantes, profesores, administradores, padres la comunidad. Diversos miembros del jurado pueden interpretar los mismos datos de diferente manera. Estas diferencias, comunicadas a quienes toman las decisiones, pueden mejorar mucho su comunicación con los grupos. Una toma de decisiones colectiva puede ser también un resultado.
Informar a los profesores, directores y administradores. Como observadores o participantes, los educadores pueden adquirir nuevos conocimientos sobre el programa de la audiencia.
Resolver las disputas acerca de los contratos de trabajo. Continúan produciéndose disputas sobre la realización de los contratos de trabajo. Las procedimientos de contraposición pueden ayudar a resolver las disputas basándose en testimonios de expertos procedentes de una amplia gama de fuentes.
Llegar a la decisión que debe ponerse en práctica. Quien toma las decisiones educativas puede servir como directos de la audiencia, en cuyo caso su veredicto es la decisión. O puede pretender implicar a los jurados, como los representantes de los profesores y de los estudiantes, en la toma de decisiones. O considerar el veredicto del jurado como una parte de la información que debe ser utilizada en combinación con otras, como por ejemplo los argumentos expuestos en la audiencia o los datos recopilados mediante tests.
Owens considera que los procedimientos de contraposición pueden ser especialmente relevantes para la aplicación de los métodos evaluativos desarrollados por Daniel Stufflebeam, Robert Stake (su modelo <<de la figura>>1967) y Malcolm Provus.
 
Dimensiones de los procedimientos de contraposición
La figura en la siguiente página expone las aplicaciones y dimensiones de los procedimientos de contraposición tal como sugiere Owens. Un examen del modelo indica claramente que puede ponerse en funcionamiento de un modo muy flexible. El método de la contraposición resulta particularmente útil cuando está en juego una decisión política que suponga grandes cantidades de recursos. En una evaluación de este tipo es posible que puedan entrar en funcionamiento los siguientes aspectos del cubo de Owens: el marco formal, el juez (o jueces) y el jurado, y la información que servirá de guía para la decisión. Si la evaluación consiste en descubrir cuál es el mejor libro de texto para un curso determinado, pueden utilizarse los siguientes aspectos del cubo: el marco informal, cualquier aspecto de la dimensión de los jueces excepto <<Muchos jueces o un jurado>> y una decisión real como resultado.
	
Aplicaciones y dimensiones de los procedimientos contrapuestos
 
 
Una forma del método de la contraposición:
El modelo judicial de Wolf
El modelo judicial fue desarrollado por Robert Wolf en 1973, y desde luego fue puesto a prueba evaluando un programa educativo de la Universidad de Indiana. Con el testimonio de distintas personas, pudo recopilarse rápidamente la información y obtenerse un balance equilibrado del programa destinado a la toma de decisiones.
 
La base lógica
Wolf (1975) afirmó que <<las evaluaciones educacionales se han convertido en un elemento cada vez más complejo para el incremento de la responsabilidad evaluativa>>. Esto quiere decir que los evaluadores deben justificar sus decisiones en todos los aspectos, deben comprender la complejidad de los programas de enseñanza y la importancia de la comunidad efectiva con el público acerca de estos problemas.
Wolf mantiene que la evaluación convencional no satisface estas <<necesidades recientemente reconocidas>>. La solución a estos problemas no está en la recopilación de grandes cantidades de datos técnicos, sino en la clarificación de todos los aspectos de las alternativas del programa. Esto puede beneficiar tanto al educador como al consumidor. La evaluación judicial de Wolf está concebida para clarificar e informar.
El modelo adapta y modifica conceptos tanto de los juicios con jurado como de las audiencias administrativas. La metodología legal ofrece un útil sistema de procedimientos destinados a producir deducciones alternativas a partir de datos, antes de emitir los juicios. Los evaluadores pueden centrarse claramente en un grupo de problemas, contar con el testimonio de distintas personas, investigar diferentes aspectos de los problemas utilizando dos equipos evaluativos, permitir el desarrollo de un punto de vista equilibrado y estructurar las deliberaciones de quienes toman las decisiones.
Además, el modelo (como cualquier método basado en la contraposición) investiga muchas de las presuposiciones y bases lógicas de los programas, así como también los metodos mediante los cuales se recopilan y analizan los datos de la evaluación. En breve, la evaluación se convierte en algo <<intelectualmente honesto y justo>>.
 
Las cuatro etapas del modelo judicial
Antes de que se produzca cualquier evaluación contrapuesta, es posible que las actividades evaluativas ya hayan tenido lugar. Por ejemplo, puede realizarse una evaluación formativa continua para facilitar el desarrollo del programa. Cualquier informe acerca de los datos evaluativos que surja de esta actividad puede servir de ayuda para el proceso de la evaluación contrapuesta, que se producirá cundo resulte útil una importante toma de decisión.
Wolf ha definido cuatro etapas para la realización del modelo judicial.
La etapa que propone los problemas. Inicialmente, se identifica una amplia gama de problemas relativos a la evaluación del programa, desde el punto de vista de todo el personal implicado que resulte posible. Estos problemas deben coincidir con los objetivos iniciales del programa. A través de entrevistas y otros medios, deben identificarse los problemas que se consideren más importantes.
La etapa que selecciona los problemas. Durante esta etapa, se reduce el número de problemas hasta dejarlo en una cantidad apta para una audiencia. El personal del programa y otras personas relacionadas con él pueden ayudar a establecer un orden prioritario de problemas. Un grupo especial de investigación, formado por representantes de los grupos más importantes del programa, decide luego la importancia de cada problema, las modificaciones necesarias y lo pone todo por escrito.
La etapa de preparación de los argumentos. Los dos equipos evaluativos preparan entonces los argumentos formales. Se desarrollan, a partir de cada problema, los aspectos específicos del enfrentamiento. Los argumentos desarrollados proceden a menudo de los datos recopilados acerca de las virtudes y defectos del programa. Las afirmaciones que apoyan un aspecto u otro del problema pueden proceder de testigos implicados en el programa o afectados por él. Además, los informes evaluativos más importantes (por ejemplo, acerca delas primeras evaluativas formativas), los documentos y los informes formales son estudiados para su posible utilización en los argumentos finales.
La etapa de la audiencia. Esta etapa tiene dos partes. En la sesión previa a la audiencia, ambos equipos examinan sus principales argumentos y, junto con el presidente de la audiencia, se desarrollan las reglas y procedimientos de la audiencia. Cosas como el número de testigos que deben ser convocados, el alcance de los interrogatorios y los criterios para determinar la admisibilidad de la evidencia (por ejemplo, la relevancia) deben surgir de un acuerdo mutuo. Finalmente, se hace un borrador de las cuestiones más específicas que sirve como guía para las deliberaciones.
La audiencia propiamente dicha, que puede ocurrir tras meses de preparación a través de las tres primeras etapas, puede constar de más de una sesión, dependiendo de la naturaleza de la evaluación. Tras la presentación de los argumentos y los interrogatorios, el jurado delibera. Si el propio jurado no es el que toma las decisiones, recomienda qué decisiones deben tomarse.
Wolf ha afirmado que el modelo judicial <<ofrece un foro para la comunicación y la difusión, tanto como para la evaluación>>. Ciertamente, el proceso puede clarificar las alternativas y las consecuencias de una decisión, que casi nunca pueden conocerse antes de la audiencia.
 
 
Los pros y los contras de la evaluación contrapuesta
Probablemente es cierto que ningún otro modelo evaluativo ha provocado tantos comentarios a favor y en contra como el método de contraposición. Les proporcionamos ahora los comentarios más característicos de los partidarios de ambos puntos de vista.
 
El argumento a favor
En su artículo <<An adversary Model for Educational Evaluation>>, Marilyn KOURILSKY (1973) enumera algunas ventajas del modelo.
Alcance de la información. <<el que toma las decisiones suele recibir una amplia gama de información, que representa (por definición) a los dos lados>>. La confrontación entre las dos posturas opuestas provoca una completa justificación de la posición adoptada.
Calidad de la evidencia. La relación contrapuesta provoca recomendaciones para el desarrollo de una mejor calidad de las evidencias para las tomas de decisiones. Los abogados saben muy bien que sus afirmaciones serán comprobadas y, por lo tanto, deben buscar buenas pruebas que las apoyen. Las afirmaciones de gran alcance del tipo <<las investigaciones indican que...>> son muy poco corrientes en los procedimientos de contraposición.
Disminuye la tendenciosidad inconsciente. El proceso disminuye la posibilidad de ideas preconcebidas tanto por parte del personal del programa como del evaluador, referentes a aspectos de la educación, que puedan influir y entrometerse en las conclusiones. Es posible que el evaluador y quien toma las decisiones no sepan que existen realmente metodos tendenciosos los informes evaluativos, de cualquier modo, pueden fácilmente contener puntos de vista inconscientemente tendenciosos del evaluador y de aquellos que participan en el programa que se está evaluando. La evaluación contrapuesta proporciona el incentivo de presentar el mejor proceso posible para ambas partes.
Disminuye el síndrome del <<Sí, señor>>. A menudo ocurre que el evaluador conoce la predilección de quien toma las decisiones por ciertos resultados posibles de una evaluación. Inadvertidamente, <<es capaz de resistirse a la tentación de satisfacerla>>, pero los procedimientos de contraposición ayudan a eludir este tipo de situaciones.
Se exponen las presuposiciones más ocultas. El método de contraposición ayuda a exponer, clarificar y finalmente cambiar las presuposiciones que subyacen en un desacuerdo. Cuando aparece una prueba empíricamente verificable, las premisas de valor relativas a la recopilación de datos son expuestas y discutidas. Cuando las presuposiciones y los criterios de valor (y los juicios) han sido claramente demostrados, pueden clarificarse sus incoherencias. Se establece así una sólida base para la futura toma de decisiones.
Todos los aspectos tratados en esta sección subrayan que las ventajas del método de contraposición proceden de su inevitable franqueza en los procesos dialéctico y legal. Como consecuencia, pueden tomarse decisiones mejores y más racionales.
 
El argumento en contra
En los últimos años, y desde distintas direcciones, se han venido expresando ciertas inquietudes acerca de algunos aspectos del método de contraposición. Una de ellas es la que han hecho pública W. James POPHAM y Dale CARLSON (1977) tras su participación en una evaluación contrapuesta en Hawai, en la primavera de 1976. Popham y Carlson enumeraron los defectos que, según ellos, presentan la mayoría de las evaluaciones contrapuestas; también ofrecieron, cuando pudieron, sugerencias para mejorar esas deficiencias.
Diferencias entre las técnicas de los participantes. Es más fácil suponer que las dos caras de un problema van a ser satisfactoriamente presentadas ante la consideración de quienes toman las decisiones que verlo realmente cumplido. Es también probable que las diferencias entre las técnicas de los dos evaluadores (o equipos) sean muy acusadas. Como consecuencia, puede que la defensa convierta el lado malo del caso en el más atractivo. Cuando se toma una decisión incorrecta sobre esta base, decisión que puede afectar a un gran número de niños, se está realizando algo <<auténticamente intolerable>>.
Popham y Carlson recomiendan la utilización de distintos procedimientos para remediar esta deficiencia del modelo. Proponen un proceso en el que los dos adversarios expongan las dos caras del problema. Así, se producirán dos grupos de argumentos positivos y dos grupos de negativos para someter a la consideración de quien tome las decisiones. Así podrá ser mitigado el efecto de la disparidad de técnica entre los participantes.
Jueces falibles. La capacidad de los jueces es muy variable. Decisiones judiciales imprudentes y mal concebidas pueden influir deshonestamente en los resultados de una audiencia. Esto ocurre con mayor facilidad en las nuevas áreas evaluativas, donde no existen reglas para su realización.
Excesiva confianza en la bondad del modelo. Dado que puede atribuirse una injustificada bondad a especialidades que no se comprenden del todo, existe una cierta tendencia a suponer que el método de contraposición siempre conduce a decisiones perfectas. El desconocimiento de la ley es la razón más frecuente para depositar una confianza excesiva en la eficacia de este modelo. Aunque el modelo de contraposición puede, en ocasiones, ser de mucha utilidad en el desarrollo de los planes evaluativos, también puede ignorar ciertas consideraciones políticas, lo cual puede dar al traste con ciertas decisiones que hubieran podido ser resultados del proceso.
El único remedio ofrecido por Popham y Carlson <<para mitigar el entusiasmo de los nuevos conversos>> es asegurarse de que la realidad del programa que se evalúa no va a verse oscurecida por fastidiosas utilizaciones de procedimientos legales (que a menudo no se comprenden del todo bien).
Dificultades para construir la proposición de manera conveniente para la resolución. Los problemas educativos no siempre pueden plantearse de manera que los resultados de la dialéctica partidario-adversario sean utilizables en las tomas de decisiones. Quienes toman las decisiones sacan a menudo conclusiones sobre la base de una información compleja interrelacionada. Una estructura que produzca resultados sólo en términos de ganador/perdedor puede estar evitando la naturaleza compleja y sutil de las buenas decisiones acerca de los problemas planteados por programas educativos y sociales.
Como solución, Popham y Carlson recomiendan aplicar la evaluación contrapuesta sólo en aquellas situaciones educativas <<en que las dos opciones decisorias de contraposición, seleccione la información que considere más importante para cada área de decisión. Puede surgir de cualquiera de las presentaciones opuestas.
Excesivo coste. Es probableque la evaluación contrapuesta cueste más que una evaluación convencional de un programa similar. La principal razón es que el coste de dos equipos y del personal de coordinación/arbitraje requeridos para una evaluación contrapuesta es mayor que el de otros metodos evaluativos, que sólo necesitan un personal especializado muy reducido.
Si una evaluación contrapuesta debe ser llevada a cabo, debe invertirse una gran cantidad de tiempo en clarificar las normas de trabajo y los procedimientos operativos. Popham y Carlson aconsejan el empleo de este tipo de metodos solo cuando pueden ser financiados.
Aunque las ventajas del método de la contraposición, pueden ser considerables, está claro que debe considerarse cuidadosamente su utilidad potencial para la toma de decisiones antes de emplearlo. En términos generales, debe ser tenido muy en cuenta como posible método evaluativo cuando esté en juego una decisión política que exija grandes cantidades de recursos.