La evaluación iluminativa - Rose Marquez

Vista previa del material en texto

UNIDAD 2
	La evaluación, sus modelos más significativos.
	Lectura Ocho
	 
	«La evaluación iluminativa: el método
holístico »
La evaluación tradicional: semillas de duda
La importancia del proceso de aprendizaje de la valoración
Ya en 1969, Weiss y Rein, interesados por las relaciones del <<juego de los números>> con la evaluación, afirmaron que, según ellos, una metodología que pretendiera ser más efectiva, debía ser más descriptiva e inductiva. Describiendo la forma más abierta de la intervención experimental, la reacción de los individuos e instituciones sujetos a su impacto y las consecuencias (hasta el punto que les permitieran sus entrevistas y observaciones), se podía aprender mucho acerca de la totalidad del programa. Así, debía ponerse más énfasis en los procesos de aprendizaje que en la valoración por sí misma. Estas afirmaciones, repetidas desde entonces por muchos otros, indican que existía una preocupación por el hecho de que las evaluaciones convencionales basadas en los objetivos no se dedicaron a comprender el proceso educativo. Hablaban en términos de éxito o fracaso, mientras que un programa es más bien la mezcla de ambos, y una mezcla que cambia en cada caso.
CRONBACH (1963) pensaba de un modo similar cuando escribió:
Los viejos hábitos de pensamiento y las técnicas establecidas no son buenas directrices para la evaluación que requiere el perfeccionamiento de un curso. Tradicionalmente, la valoración educativa se ha preocupado sobre todo de producir calificaciones exactas y precisas para poder comparar a los individuos. La experimentación educativa se ha preocupado de comparar las calificaciones medias de los distintos cursos. Pero la evaluación de un curso exige una descripción de los resultados. Esta descripción debe hacerse con la escala más amplia posible, incluso a costa de la exactitud y precisión, más bien superficiales.
El paradigma agrícola-botánico
Parlett y Hmilton han comparado el método evaluativo de Tyler, basado en los objetivos, con un paradigma agrícola-botánico. (T. S. Jun describió en 1970 un paradigma como <<un superconcepto que incluye áreas de problemas, métodos de investigación y normas aceptables para su solución>>.) Los estudiantes –como si fueran cultivos– son sometidos a pre-tests (la planta joven que es pesada o valorada) y luego sometidos a distintas experiencias (condiciones de tratamiento). Como consecuencia, después de un cierto periodo de tiempo, los resultados (el crecimiento o la cosecha) se valoran para indicar la relativa eficiencia de los métodos (fertilizantes) utilizados. Los estudios de este tipo están destinados a proporcionar datos de tipo numérico y objetivo que permitan la realización de análisis estadísticos. Variables aisladas como el coeficiente de inteligencia, la clase social, los resultados de los tests, las características personales y la valoración de su actitud, son codificadas y procesadas para indicar la eficiencia de los nuevos currículos, medios o métodos.
Estos autores afirmaban, sin embargo, que este paradigma tenía muchos defectos:
1. Las situaciones educativas están caracterizadas por numerosos parámetros que no pueden ser estrictamente controlados. Si se intenta estimular las condiciones de trabajo por medio de la manipulación, se dará una situación que no sólo será éticamente equivocada, sino que también puede conducir a <<grandes molestias administrativas y personales>>.
2. Los diseños previos y posteriores a la evaluación demuestran que los programas renovadores experimentan pocos o ningún cambio durante el periodo de estudio. Una premisa raramente asumida en la practica. De cualquier manera, es algo fundamental para el diseño. Puesto que obliga a los investigadores adaptarse a las circunstancias cambiantes que tan frecuentemente aparecen.
3. Los métodos utilizados en las evaluaciones tradicionales imponen restricciones artificiales y arbitrarias al alcance del estudio. Parlett y Hamilton afirman, por ejemplo, que concentrarse en la búsqueda de información cuantitativa por medios objetivos puede conducir a descuidar otros datos, quizá más importantes para la innovación pero que son rechazados como <<subjetivos>>, <<anecdóticos>> o <<impresionistas>>. El evaluador, sin embargo, puede necesitar utilizar información de este tipo si quiere explicar satisfactoriamente sus resultados y darles la importancia que tienen en la totalidad del contexto.
4. La investigación de este tipo más reciente, que emplea amplios muestreos y busca generalizaciones estadísticas, suele ser insensible a las <<perturbaciones y a los efectos desacostumbrados>>. Como consecuencia, rara vez se estudian con detalle los resultados atípicos.
5. A menudo, este tipo de evaluación fracasa al intentar responder a las distintas preocupaciones y cuestiones de los participantes, patrocinadores y otras partes interesadas. Dado que los evaluadores clásicos creen en la <<verdad objetiva>> igualmente relevante para todas las partes, sus estudios raramente reflejan la diversidad de cuestiones planteadas por los distintos grupos interesados.
Como afirmaron Parlett y Hamilton, la evaluación basada en los objetivos es victima de su propia exigencia de ser exacta, controlada e inequívoca. En el caso concreto de las innovaciones, el programa es vulnerable a múltiples influencias externas, puesto que la definición del evaluador de la realidad empírica es muy limitada. Como consecuencia, el evaluador puede muy bien desviar la atención de las cuestiones de la practica educativa y trasladarla a aquellas que son más de la incumbencia de patrocinadores y otros con preocupaciones burocráticas.
MacDonald y el método holístico
Al facilitar un método holístico para la evaluación, MacDonald ofreció una respuesta al paradigma agrícola-botánico. Su postura consistió en que la evaluación no debe empezar por la presuposición de que ciertos datos (como las calificaciones de los alumnos) deben constituir su área de preocupaciones, sino que el evaluador debe aceptar como potencialmente relevantes todos los datos relativos al programa y sus contextos. Afirma que la acción humana en las instituciones educativas difiere ampliamente a causa del número de variables que influyen en ella. Esto se opone a la presuposición adoptada por muchos, según la cual ocurre realmente lo que se quiere que ocurra, y lo que ocurre varía muy poco de cada caso.
El método holístico también implica que la innovación de un programa no consiste en una serie de efectos discretos, sino en un modelo de actos y consecuencias orgánicamente relacionados. Así, un solo acto puede estar situado funcionalmente en la totalidad de un contexto. MacDonald afirma que, según esta proposición, las intervenciones en los currículos tiene más efectos inesperados de los que normalmente se supone. Además, si un programa se desarrolla en distintos marcos, las diferencias históricas y evolutivas convierten a la innovación en una variable de gran importancia para la posterior toma de decisiones. Finalmente, el método holístico implica que las metas y los propósitos de quienes desarrollan el programa no deben ser necesariamente compartidas por sus usuarios.
MacDonald también se interesa por las audiencias que reciben un informe evaluativo y, particularmente, por aquellas que deben tomar decisiones a partir de él. Considera que el estilo evaluativo tradicional no puede facilitar el conocimiento de las consideraciones implicadas en una acción relacionada con los currículos. Se decanta más hacia el desarrollo de un modelo empírico que por el de un modelo normativo para las tomas de decisiones educativas y sus consecuencias. Esto, lógicamente, es una consecuencia del énfasis que pone MacDonald en lo que puede ser descrito como un método antropológico para la iluminación de un programa educativo.
El concepto de Stake de la evaluación como representación
Existen claras semejanzas entre la postura de MacDonald y la de Stake, particularmente en lo que se refiere a su concepto de la evaluación como representación y su <<evaluación respondente>>,respectivamente. De un modo similar, en su <<figura de la evaluación educacional>>, Stake aspira a una evaluación <<orientada hacia la compleja y dinámica naturaleza de la educación, que preste la debida atención a las diversas propuestas y juicios de todos los que intervienen en su práctica>>. Después de subrayar las diferencias de una evaluación basada en los tests tradicionales, que insiste en la exactitud de las calificaciones de cada estudiante y en la previsión de la validez, sugiere que <<la atención prestada a las diferencias individuales entre los estudiantes debe dejar paso a una atención puesta en las contingencias entre los antecedentes, las actividades de clase y los resultados escolares>>.
El concepto de Stake de la evaluación como representación anticipa la noción de iluminación de Parlett y Hamilton. Se trata, igualmente, de una reacción contra la tradición de intentar imponer un férreo control experimental sobre la situación innovafora. Describe la evaluación tradicional como <<preordenada>>, puesto que confía en la preespecificación y destaca la fijación de las metas, la utilización de tests objetivos, normas asumidas por el personal del programa e informes investigativos. Al recomendar la evaluación respondente, Stake explica su postura:
La evaluación educativa es una <<evaluación respondente>> si se orienta más directamente a las actividades del programa que a sus propósitos, si satisface los requisitos informativos de la audiencia y si las distintas perspectivas de valor presentadas están destinadas a dar cuenta del éxito del programa.
Stake pone el énfasis, pues, en la presentación de los resultados. Si la evaluación debe estar más dirigida a quienes toman las decisiones que a los investigadores, el evaluador debe intentar describir el programa de manera que se comunique con la audiencia de un modo más natural y más efectivo que en el caso del informe investigativo.
La unidad sobre el trabajo de Robert Stake, desde luego, explica con mucho mayor detalle los metodos <<de figura>> y <<respondente>> de la evaluación. Lo que se quiere destacar aquí, en el contexto de la evaluación iluminativa, es la advertencia de Stake acerca de que la información investigativa puede no ser la clase de información útil para quienes toman las decisiones.
La evaluación iluminativa: un paradigma socio-antropológico
Este apartado y el siguiente tratan extensamente de PARLETT y HAMILTON (1977). En estos dos apartados, los autores comentan un modelos alternativo a las formas tradicionales de evaluación. Ellos lo han llamado <<evaluación iluminativa>>, un termino que surgió de una investigación en el Massachussets Institute of Technology, en 1969.
El contexto de los programas educativos
La evaluación iluminativa tiene en cuenta el amplio contexto en el que funcionan los programas educativos; así, su principal preocupación es la descripción y la interpretación, más que la valoración y la predicción. Parlett y Hamilton afirman: <<Es indiscutible que en el paradigma alternativo antropológico no pueden ser ignorados los efectos históricos, culturales y sociales.>>
Las metas de la evaluación iluminativa son las siguientes:
1. Estudiar el programa innovador: cómo opera, cómo influye en las distintas situaciones escolares a las que se aplica, sus ventajas y desventajas, y cómo se ven afectadas las tareas intelectuales y las experiencias académicas de los estudiantes
2. Descubrir y documentar qué significa participar en el esquema, ya sea como profesor o como alumno.
3. Discernir y comentar las características más significativas de la innovación, las concomitancias recurrentes y los procesos críticos.
De esta manera se intenta plantear y clarificar una compleja serie de cuestiones, ayudando al innovador y a otras partes interesadas a identificar aquellos procedimientos y aspectos del programa que pueden conseguir los resultados deseado
Como afirman Pret y Hmilton, la adopción de una evaluación iluminativa requiere algo más que un intercambio de metodologías (con las tradicionales); implica nuevas suposiciones, conceptos y terminología para comprender la evaluación iluminativa de dos aspectos; el <<sistema de enseñanza>> y el <<medio de aprendizaje>>.
EL SISTEMA DE ENSEÑANZA. Los programas e informes educativos, por lo general, contienen distintos planes de enseñanza. Cada uno de ellos pude estar concebido para constituir, o definir, un sistema de enseñanza y para incluir una serie de presuposiciones pedagógicas, un nuevo programa de estudios (muy probablemente) y detalles acerca de las técnicas y el material. Un catalogo es una especificación idealizada del esquema, una serie de elementos que forman un plan optimista y coherente.
Parlett y Hamilton afirma que el evaluador tradicional se dedica a estudiar las innovaciones definidas. Después de haber examinado el anteproyecto o plan formalizado y haber deducido las metas del programa, los objetivos o los resultados deseados, el evaluador realiza los tests y los inventarios de actitudes que serán aplicados. Su meta es evaluar el sistema de enseñanza examinando si se han alcanzado los objetivos o se han cumplido los criterios de trabajo.
Este método tecnológico, sin embargo, fracasa al intentar saber para qué sirven el programa o el informe:
Ignora el hecho de que un sistema de enseñanza, cuando es adoptado, realiza modificaciones que raras veces son triviales. El sistema de enseñanza puede quedar como una idea compartida, un modelo abstracto, un slogan o un apunte, pero adopta una forma distinta en cada situación. Sus elementos constitutivos son subrayados o ignorados, ampliados o eliminados, puesto que los profesores, los administradores, los técnicos y los estudiantes interpretan y reinterpretan el sistema de enseñanza para su propia utilización. En la práctica, los objetivos se reordenan muy frecuentemente, se redefinen, se abandonan o se olvidan. La formulación <<ideal>> inicial y a no resulta la más adecuada, ni siquiera tiene ya demasiada importancia. Pocos se toman las descripciones del catálogo y las listas de objetivos en serio, salvo –al parecer –el evaluador tradicional.
El paso del comentario del sistema de enseñanza en su forma idealizada a la descripción de su realización práctica puede muy bien representar un paso hacia un nuevo reinado. Esto nos conduce al segundo concepto, el medio del aprendizaje.
EL MEDIO DEL APRENDIZAJE. El medio del aprendizaje es el <<ambiente socio-psicológico y material en el que trabajan conjuntamente estudiantes y profesores>>. Representa una red de variables culturales, sociales, institucionales y psicológicas que interactúan de modos muy complicados para producir, en el interior de los grupos o de los cursos, un único modelo de circunstancias (por ejemplo, presiones, opiniones, conflictos) que cubre todas las actividades de enseñanza y aprendizaje que se dan allí.
Según Parlett y Hamilton, la configuración del medio del aprendizaje, en cualquier aula concreta, depende de la interacción de muchos factores distintos. Por ejemplo, existen numerosas limitaciones (legales, administrativas y financieras)para la organización de la enseñanza en las escuelas; existen siempre presuposiciones operativas (sobre los acuerdos acerca de los temas, los metodos de enseñanza y la valoración de los estudiantes) propuestas por el profesorado; están las características individuales de cada profesor (experiencia, actitud ante los estilos de enseñanza y aprendizaje y expectativas personales); y están los puntos de vista, necesidades y motivaciones de los estudiantes.
Es importante que la diversidad y complejidad de los medios del aprendizaje sean contempladas como una base para un estudio serio de los programas educativos. Cualquier programa, y en particular una innovación, no puede verse como un sistema independiente y autosufieciente. La introducción de una innovación desencadena una serie de repercusiones a lo largo de todo el contexto del aprendizaje. Y muy probablemente, pueden surgir consecuencias inesperadas que afecten a la propiainnovación, cambiando su forma y moderando su impacto.
Parlett y Hamilton insisten en que intentar relacionar los cambios en el medio del aprendizaje y las experiencias intelectuales de los estudiantes es una de las preocupaciones básicas de la evaluación iluminativa. Como ellos mismos dicen, los estudiantes no deben enfrentarse a un conocimiento <<desnudo; sino que éste les debe llegar vestido contextos, lecturas, grabaciones, etcétera>>. Por su parte, la estructura administrativa está incrustada en estructuras institucionales y de departamentos mucho más amplias, cada una con sus propios procedimientos y sus dependencias profesionales y sociales. Estos aspectos del aprendizaje, aunque aparentemente alejados de la asimilación del conocimiento en las aulas, no deben ser ignorados. Así, el concepto del medio del aprendizaje es necesario para analizar la interdependencia entre el aprendizaje y la enseñanza, puesto que relaciona la organización y la prácticas de la enseñanza con las respuestas de los estudiantes a corto y largo plazo.
Además, existen fenómenos de significativa influencia educativa, como el interés del estudiante, la concentración y el aburrimiento, que debilitan la distinción psicológica tradicional entre lo <<cognitivo>> y lo <<afectivo>>. Esto, por lo general, surge en respuesta a la totalidad del medio del aprendizaje, y no a uno solo de sus componentes. Los estudiantes responden tanto al currículo oculto como al visible: asimilan las costumbres, convencionales, cultura y modelos de la realidad de la situación del aprendizaje.
Organización y métodos de la evaluación iluminativa
Características principales de la evaluación iluminativa
La evolución iluminativa no es un método regularizado, sino una estrategia de investigación general. Pretende ser adaptable para descubrir las dimensiones, metas y técnicas de la evaluación, y ecléctica para proporcionar al evaluador una serie de tácticas investigativas. Las decisiones acerca de la estrategia que debe ser utilizada en cada caso concreto surgen del problema que debe investigarse. Ningún método se utiliza exclusiva o aisladamente; se combinan distintas técnicas para arrojar un poco de luz sobre un problema común. Inicialmente, como afirman Parlett y Hmilton, la preocupación del evaluador es familiarizarse con la realidad cotidiana del marco en el que está investigando. Este propósito es similar al delos antropólogos sociales o los historiadores naturales. No intenta manipular, controlar o eliminar las variables situacionales, sino abarcar toda la complejidad de la escena:
Su tarea principal es desenmarañarla, aislar sus características más significativas, esbozar los ciclos causa-efecto y comprender las relaciones entre las creencias y las practicas y entre los modelos de organización y los modelos de los individuos.
Dado que las evaluaciones iluminativas subrayan el examen del programa como una parte integrante del medio del aprendizaje, se pone mucho énfasis tanto en la observación en alas aulas como en las entrevistas con los profesores y estudiantes participantes. Parlett y Hamilton afirman que existen tres etapas características de una evaluación iluminativa:
1. La fase de observación, en la cual se investiga toda la amplia gama de variables que afectan al resultado del programa o la innovación.
2. La etapa de investigación, en la cual el interés se desplaza desde el reconocimiento (de la fase de observación) hacia la selección y planteamiento de cuestiones de una manera coherente y ecuánime, con el fin de realizar una lista sistemática y selectiva de los aspectos más importantes del programa en su contexto.
3. La etapa de la explicación, en la que los principios generales subyacentes a la organización del programa son expuestos a la luz del día y se delinean los modelos causa-efecto en sus operaciones.
Dentro de esta estructura de tres etapas, se recogen informaciones utilizando datos recopilados de cuatro áreas: la observación, las entrevistas, los cuestionarios y los tests, y las fuentes documentales y sobre antecedentes.
LA OBSERVACIÓN. La fase de observación ocupa un lugar central en la evaluación iluminativa. El investigador recopila la información continua acerca de las actividades, las transacciones y los comentarios informales. Las datos deben ser organizados allí donde surjan y luego añadirse comentarios interpretativos sobre <<las características de la situación, tanto manifiestas como latentes>>. Además de documentar estas actividades, el evaluador puede también documentar otras muchas, incluyendo reuniones ente el personal, los estudiantes y los padres, las jornadas de la comunidad escolar, etcétera.
Esta observación supone grabar discusiones con entre los participantes para proporcionar información adicional que, de otro modo debería obtenerse mediante más entrevistas formales. Las convenciones y metáforas del lenguaje que caracterizan las conversaciones de cada medio de aprendizaje pueden revelar presuposiciones tácticas, relaciones interpersonales, diferencias de rango y currículos secretos.
Parlett y Hamilton también dicen que existe un lugar para la observación codificada, mediante la utilización de planes para controlar la asistencia, el uso del tiempo y de las facilidades disponibles, las interpersonales, etcétera. El evaluador iluminativo debe ser precavido, de todas formas, al utilizar estas técnicas, puesto que no pueden descubrir las características intrínsecas del programa.
LAS ENTREVISTAS. Descubrir los puntos de vista de los participantes es muy importante para la valoración del impacto de un programa. En este proceso, los estudiantes y los profesores son interrogados acerca de su trabajo, comparándolo con su experiencia previa, y también acerca de la utilización y el valor del programa (o innovación). Disponen de una amplia gama de métodos para las entrevistas, pero deben escogerse los más apropiados para obtener el tipo de información o comentarios necesarios. Las entrevistas breves y estructuradas son convenientes para obtener información biográfica o demográfica, mientras que las formas más abiertas y discursivas suelen ser de mucha utilidad para temas menos sencillos. Si la insuficiencia de tiempo y dinero imposibilita entrevistar a cada participante (y esto ocurre con frecuencia), puede realizarse una muestra de entrevistas escogidas al azar, teniendo un especial cuidado de asegurarse de que los informantes o grupos particulares que mantengan una posición especial o cuyo punto de vista resulte notable, estarán incluidos en la muestra.
LOS DATOS Y CUESTIONARIOS Y TESTS. Aunque el evaluador iluminativo se concentra en la observación y la entrevista, no deben olvidarse las técnicas de lápiz-y-papel que demuestran ser útiles. Sus ventajas en los estudios a gran escala son especialmente evidentes, aunque también pueden utilizarse de manera provechosa en los estudios más reducidos. Cuando se utilicen cuestionarios investigativos en las ultimas partes de un estudio para apoyar o calificar algunos resultados tempranos, pueden incluirse preguntas abiertas, junto con preguntas cerradas, con el fin de obtener tanto datos cuantitativos como comentarios inesperados.
Los cuestionarios sólo deben utilizarse después de haberlo pensado mucho. Parlett y Hamilton afirman que existen objeciones válidas para ciertos aspectos de los cuestionarios. Su principal preocupación, sin embargo, es que los cuestionarios no se utilicen de forma exclusiva. Parlett y Hamilton afirman que además de realizar cuestionarios, los participantes pueden también preparar comentarios escritos acerca del programa, elaborar, y utilizar listas de control o recopilar diarios de trabajo por un periodo de tiempo determinado.
Los evaluadores pueden también utilizar tests de actitud, personalidad y logros, auque estos no gocen de una condición privilegiada en el estudio. Las calificaciones de los tests nunca deben ser utilizadas aisladamente. Para dar cuenta de los propósitos, no deben comparar las distintas escalas de los tests, sino utilizar estacomparación en una presentación de los resultados del estudio en su contexto total.
INFORMACIÓN DOCUMENTAL Y SOBRE LOS ANTECEDENTES. Los antecedentes históricos de un programa deben ser considerados, puesto que no están ahí por azar. Pueden utilizarse las fuentes principales, como los datos confidenciales archivados, junto con relatos autobiográficos y de testigos oculares del programa. Las grabaciones de reuniones y los ejemplos del trabajo de los estudiantes pueden también resultar útiles, así como la información que puede proporcionar una perspectiva histórica acerca de cómo contemplaron la innovación distintos tipos de gente antes de que empezara la evaluación. Puede también indicar áreas para después investigar o subrayar temas en una discusión más profunda. Igualmente, puede sacar a la luz aspectos de la innovación que de otra manera hubieran quedado ocultos.
El informe y la toma de decisiones
¿Quién recibe un informe?
Ya en 1971, MacDonald había desarrollado su método holístico para la evaluación, que estaba basado en la toma de decisiones. Todos los autores y practicantes del estilo iluminativo están de acuerdo en que el propósito principal de los estudios evaluativos es contribuir a la toma de decisiones. El informe del evaluador está dirigido a tres grupos, distintos pero relacionados entre sí, de personas que toman decisiones: los participantes del programa, los patrocinadores o administradores del programa y los grupos externos interesados, así como investigadores y comités escolares.
Cada grupo acudirá al informe para que le ayude a tomar decisiones distintas. Por esta razón, el evaluador no puede, incluso aunque se lo pidan, proporcionar un simple juicio del tipo funciona/no funciona acercadle futuro del programa (o la innovación). Puede suceder que una decisión basada en el criterio evaluativo de n grupo sea discutida por otros grupos con distintas prioridades.
La comunicación del espíritu del programa
Como se ha afirmado al principio, Stake subraya que la tarea del evaluador es comunicarse con una audiencia de una manera más natural y, además, más efectiva que en el informe investigativo tradicional. Esto quiere decir que un informe formal escrito no siempre es necesario y que, de hecho, siendo demasiado formal, puede traicionar sus propios propósitos. Una sobrecarga de datos es, por lo tanto, algo que debe ser evitado en un informe. En cambio, según Stake, <<necesitamos describir la complejidad. Necesitamos transmitir la impresión holística, el modo, incluso el misterio, de la experiencia>>.
La lucha entre el deseo natural del evaluador de reflejar lo que ve y, por el contrario, explicarlo o relatarlo es, a veces, muy duro. Por una parte, el evaluador puede querer capturar el aroma íntimo, la complejidad y la idiosincrasia del programa en la vida real, pero también inclinarse hacia una interpretación con el fin de generalizar o buscar modelos o incluso capturar la esencia de lo que se está estudiando.
Las diferencias entre los informes
Una de las principales virtudes de la evaluación iluminativa es su versatilidad. Las diferencias entre los informes es una inevitable y deseable consecuencia de este método. Las evaluaciones tradicionales está construidas sobre requisitos metodológicos, mientras que las evaluaciones iluminativas destacan métodos construidos sobre definiciones de problemas y contratos entre el evaluador y el patrocinador. Estos estudios, por lo tanto, suelen estar dirigidos a grupos específicos para que puedan ser discutidas las cuestiones y problemas, incluso políticos, que afectan a estos grupos. En el caso de las audiencias múltiples, la tarea del evaluador puede estar dirigida a distintos grupos por medio de secciones especificas del informe. No importa qué forma adopte el informe, con tal de que sea legible, breve e interesante.
La evaluación iluminativa, así, destaca más la recopilación de información que la toma de decisiones. La tarea del informe, para quienes toman las decisiones, es proporcionar un amplio espectro de complejas realidades acerca del programa. De ahí deben surgir discusiones que conduzcan a desenmarañar las complejidades y aislar lo trivial de lo significativo.
Problemas relacionados con la evaluación iluminativa
Las reservas de Stenhouse
Aunque simpatiza totalmente con la critica del viejo estilo, el de la evaluación del producto, de la que surge el estilo iluminativo, Laurence Stenhouse expresa algunas reservas acerca de este método. Su preocupación es el problema de los criterios, puesto que cree que la postura general asumida por algunos evaluadores iluminativos puede bloquear el progreso de la innovación basada en la investigación.
A Steanhouse le parece que los evaluadores iluminativos se preocupan del <<valor>> o el <<mérito>> de un currículo o una practica educativa, pero que sus criterios son claros y su preocupación por las audiencias y la presentación de los resultados no es más que un enmascaramiento del problema:
Aspiran a <<controlarlo tal como es>>, y a menudo escriben como si fuera posible a condición de que puedan hacer alguna distorsión de acuerdo con sus propios valores. Pero esto no es contarlo tal como es. Es sólo una creación de significado a través de la utilización de criterios y estructuras conceptuales. La tarea de informar a quienes toman las decisiones en un lenguaje que puedan entender fácilmente puede conducir, con demasiada facilidad, a la importación casual de presuposiciones y criterios sin examinar. La respuesta de la audiencia puede ser seductora, especialmente si la audiencia es políticamente poderosa. Y es demasiado fácil para la evaluación que aspira a ser una novela degenerar en una novelucha.
Stenhouse viene a sugerir que un elemento importante en una evaluación adecuada de un currículo es la critica filosófica. Es objeto de esta crítica debe ser revelar el significado del currículo, más que calcular su valor, aunque, naturalmente, la revelación del significado invita a la valoración. De ahí que su preocupación acerca de la evaluación iluminativa se centre en que presta demasiada atención a las dimensiones políticas de un estudio y a la presentación de los resultados un una forma vívida y aceptable, pero a menudo parcial, lo cual puede convertir la discusión de estos criterios en <<parte de la privacidad de los evaluadores>>. Afirma que estos problemas son demasiado importantes para que sean contemplados como <<problemas domésticos de la familia evaluativa>>.
La tendenciosidad experimental
Parlett y Hamilton plantean esta pregunta: ¿puede ser científica una interpretación personal? Ellos saben muy bien (como Stenhouse) que la recopilación, el análisis y la presentación de los datos por un evaluador iluminativo parecen ser discretos. Los autores argumentan, sin embargo, como hace Stake, que ninguna forma de investigación es inmune al prejuicio, la tendenciosidad y el error humano. Cualquier estudio investigativo, según ellos, requiere juicios técnicos y, por lo tanto, es vulnerable; incluso en los estudios evaluativos que manejan automáticamente datos numéricos procesados, es necesario el juicio en todas las etapas.
Sin embargo, como admiten Parlett y Hamilton, la amplia utilización de técnicas abiertas, de progresiva concentración y datos cualitativos en la evaluación iluminativa, sigue permitiendo una gran parcialidad por parte del investigador. Entonces sugieren una serie de tácticas de precaución. Los asesores evaluativos están encargados de poner en duda las interpretaciones preliminares, y los miembros del equipo investigativo pueden encargarse de desarrollar sus propias interpretaciones. Incluso con estas precauciones, persiste el elemento subjetivo. Parlett y Hamilton afirman que esto es inevitable:
Cuando el investigador abandona el paradigma agrícola-botánico, su papel debe ser necesariamente redefinido. La utilización de las técnicas e intuiciones interpretativas es entonces más estimulada que desaprobada.
De un modo similar, debe decirse que la presencia del evaluador, inevitablemente, causasu efecto en el desarrollo y evolución del programa. El evaluador debe, por lo tanto, intentar ser discreto, mantenerse en segundo plano y, si es posible, no ser doctrinario. Esto conduce al importante hecho de que el evaluador no sólo debe tener capacidad intelectual, sino también dominar las técnicas interpersonales. Un evaluador iluminativo busca la cooperación pero no la pide. Dado que el evaluador iluminativo recibe datos más ricos y más informativos que el evaluador tradicional, debe estar alerta para asegurar que las normas profesionales se cumplen constantemente.
Estudios a gran escala
También puede responderse a la pregunta de si, teniendo en cuenta la posición especial del investigador, la evaluación iluminativa debe necesariamente limitarse a las innovaciones a pequeña escala. Parlett y Hamilton creen firmemente que la evaluación iluminativa puede ser aplicada a una escala más amplia. Basan su presuposición en una serie de puntos, el más importante de los cuales es que el medio del aprendizaje. A pesar de su diversidad, comparte muchas características. Así, la enseñanza se ve a menudo limitada por convenciones similares y los profesores se encuentran con similares grupos de problemas; existe una amplia gama de fenómenos sociales y del comportamiento solapados que son inherentes a todos los programas de enseñanza, aprendizaje e innovación. La evaluación iluminativa puede contribuir a concretar y describir adecuadamente estos fenómenos mediante resúmenes extractados, terminología compartida y conceptos útiles.