El método evaluativo de Scriven orientado hacia el consumidor - Rose Marquez

Vista previa del material en texto

UNIDAD 2
	La evaluación, sus modelos más significativos.
	Lectura Nueve
	 
	«El método evaluativo de Scriven orientado
hacia el consumidor »
 
MICHAEL Scriven es un filósofo científico que ha contribuido ampliamente al desarrollo de la profesión evaluativa. Ha criticado durante tanto las clásicas como las más recientes conceptualizaciones de la evaluación. Desarrolló su concepción de la evaluación sobre una postura filosófica básica y ha desarrollado conceptos y metodos para ayudar a articular y aplicar sus conceptos. También ha sido uno de los pioneros en el esfuerzo de profesionalizar el trabajo evaluativo.
Nació y creció en Victoria (Australia). Se licenció en matemáticas aplicadas y lógica simbólica en la Universidad de Melbourne y completó su doctorado en Filosofía de la Ciencia en la Universidad de Oxford. Desempeñó funciones profesionales en la Universidad de Minnesota desde 1952 a 1956, en el Swarthmore College de 1956 a 1960, en la Universidad de Indiana desde 1960 a 1965, en la Universidad de California en Berkeley de 1965 a 1975 y en la Universidad de San Francisco desde 1975 a 1982. en el momento de escribir estas páginas es profesor titular en la Universidad de Western Australia, en Perth.
Hemos decidido designar el método del doctor Scriven como<<evaluación orientada hacia el consumidor>> con el fin de caracterizar su método filosófico básico. Ha definido la evaluación como la valoración sistemática del valor o el mérito de las cosas, y ha subrayado que los evaluadores deben ser capaces de llegar a juicios de valor justificables más que de medir cosas o determinar si las metas han sido alcanzadas. En lugar de aceptar las metas propuestas, en evaluador, según Scriven, debe juzgar si el hecho de alcanzar las metas puede contribuir al bienestar de los consumidores. Independientemente de las metas, el evaluador debe identificar los resultados reales y calcular su valor desde el punto de vista de las necesidades del consumidor. Para Scriven, la función profesional del evaluador es la de un <<sustituto informado del consumidor>>,y la <<piedra angular de la ética profesional en el trabajo evaluativo>> en funcionar como una conciencia social informada. Su método evaluativo práctico, por lo general, consiste en identificar y ordenar los programas y productos opcionales disponibles para los consumidores, basándose en su coste relativo y en la consideración de las necesidades de los consumidores. A menudo ha declarado que la revista Consumer Reports es u ejemplo de lo que debe hacer la evaluación profesional.
La definición de evaluación
A lo largo de los años, el doctor Scriven ha ido desarrollando su definición de evaluación, pero su mensaje básico sigue siendo el mismo. En un artículo ya clásico (1967), definía la evaluación como una actividad metodológica que <<consiste simplemente en la recopilación y combinación de datos de trabajo mediante la definición de unas metas que proporcionen escalas comparativas o numéricas, con el fin de justificar 1)los instrumentos de recopilación de datos, 2) las valoraciones y 3) la selección de las metas>>. Al discutir la evolución de su definición de evaluación, le hemos oído decir a menudo que la evaluación, esencialmente, es la determinación sistemática y objetiva del valor o el mérito de algún objeto, y que las evaluaciones se realizarán mejor contratando a un evaluador independiente para que emita un juicio sobre algún objeto basándose en pruebas acumuladas procedentes de su comparación con otros objetos distintos a la hora de satisfacer las necesidades del consumidor. Según este punto de vista, la evaluación es preferentemente comparativa: de ahí que atienda tanto a los costes comparativos como a los beneficiarios, se preocupe de cómo satisfacer mejor las necesidades de los consumidores, sea –en el mejor de los casos –una actividad profesional que incluye procedimientos sistemáticos, deba ser realizada tan objetivamente como sea posible y deba culminar en juicios y recomendaciones.
Crítica de otras tendencias
Teniendo en cuenta la definición procedente, Scriven ha criticado duramente otros conceptos de evaluación y ha utilizado su análisis crítico para ampliar su propia postura. Ha afirmado que la tradición tyleriana –que considera que la evaluación debe determinar si los objetivos han sido alcanzados –es fundamentalmente imperfecta, porque esencialmente no tiene valor. Cree que las evaluaciones basadas en este método son potencialmente inútiles, puesto que las metas propuestas pueden ser inmorales, poco realistas, no representativas de las necesidades de los consumidores o demasiado limitadas como para guiar y juzgar los efectos secundarios posiblemente cruciales. En lugar de utilizar las metas para guiar y juzgar lo efectos, Scriven afirma que los evaluadores deben juzgar las metas y no dejarse limitar por ellas en su búsqueda de resultados. Si el programa está guiado por metas meritorias, según él, los evaluadores deben identificar todos los resultados de un programa, valorar las necesidades de los consumidores y utilizar series de valoraciones para llegar a conclusiones acerca del mérito y el valor de los programas.
Scriven también se enfrenta al plan ofrecido por CRONBACH(1963). Cronbach criticó la práctica predominante de la evaluación de programas utilizando tests tipificados para comparar el trabajo de los grupos de control y experimentales, y aconsejó el uso de un método más orientado hacia el desarrollo. Cronbach advertía en contra de la utilización exclusiva de la planificaciones experimentales comparativas y sugería que debían utilizarse distintas valoraciones para estudiar un programa concreto en profundidad mientras se iba desarrollando, y que los resultados debían ser utilizados como guía para el desarrollo. Scriven dice que este plan de Cronbach olvida la importante distinción entre le meta y las funciones de la evaluación, y, de hecho, identifica la evaluación con una sola de sus funciones, lo que Scriven denomina <<evaluación formativa>>. Apoyándose en su crítica, SCRIVEN amplió el concepto de evaluación en otro de sus artículos clásicos, <<The Methodology of Evaluation>> (1967).
Evaluación formativa y sumativa
En este artículo, Scriven afirma que la principal responsabilidad del evaluador es emitir juicios bien informados. Insiste en que la meta de la evaluación es siempre la misma: juzgar el valor. Pero, continúa, las funciones de la evaluación son enormemente variadas. Pueden <<formar parte de la actividad de la enseñanza, del proceso de elaboración de currículos, de algún experimento relacionado con el perfeccionamiento de la teoría del aprendizaje, de una investigación preliminar a la decisión acerca de la compra o rechazo de los materiales...>>, etc. Dice que el fracaso de distinguir entre la meta de la evaluación (juzgar el valor de algo) y sus funciones (utilizaciones constructivas de los datos evaluativos) ha conducido a la adulteración de lo que se ha dado en llamar evaluación, para que ya no vuelva a alcanzar la meta de calcular el valor. En otras palabras, dice que, demasiado a menudo, los evaluadores, al intentar ayudar a los educadores a mejorar sus programas, se han convertido en cooperadores y han fracasado al juzgar los programas. Para Scriven, una valoración objetiva del valor es la condición sine qua non de la evaluación.
Con la importancia suprema de la meta de la evaluación firmemente establecida, Scriven procede a analizar las funciones de la evaluación. Concluye que existen dos funciones principales: la formativa, que ayuda a desarrollar programas y otros objeto; y la sumativa, que calcula el valor del objeto una ve< que ha sido desarrollado y puesto en el mercado.
La evaluación formativa es una parte integrante del proceso de desarrollo. Proporciona información continua para ayudar a planificar y luego producir algún objeto. En la elaboración de currículos soluciona ciertos problemas acerca de la validases del contenido, el nivel del vocabulario, la utilidad, la propiedad delos medios, la durabilidadde los materiales, la eficiencia, la elección del personal y otras cuestiones. En general, la evaluación formativa se realiza para ayudar al personal a perfeccionar cualquier cosa que esté operando o desarrollando.
En su función sumativa, la evaluación <<puede servir para ayudar a los administradores a decidir si todo el currículo ya finalizado, pulido mediante la utilización del proceso evaluativo en su primera forma (formativa), representa un avance sobre las otras alternativas disponibles lo suficiente significativo como para justificar los gastos de su adopción por parte de un sistema escolar>>. La evaluación sumativa, por lo general, debe ser realizada por un evaluador externo para que aumente la objetividad, y los resultados deben hacerse públicos. Este tipo de evaluación investiga todos los efectos de los objetos y los examina comparándolos con las necesidades de los consumidores.
Compara los costes y efectos del objeto con los de aquellos que Scriven ha llamado competidores críticos, especialmente las alternativas más económicas. En caso de que la audiencia esté predispuesta a juzgar sólo los resultados comparándolos con las metas propuestas, la evaluación sumativa proporciona juicios acerca de hasta qué punto las metas reflejan, de una manera válida, las necesidades valoradas. En conjunto, la evaluación sumativa sirve a los consumidores proporcionándoles valoraciones independientes que comparan los costes, los méritos y los valores de los distintos programas o productos.
Evaluación amateur contra evaluación profesional
En las primeras etapas de la elaboración de un currículo. Scriven prefiere la <<evaluación amateur>> (auto evaluación) a la <<evaluación profesional>>. Quienes han desarrollado un programa, cuando actúan como sus propios evaluadores, pueden ser un poco sistemáticos y subjetivos, pero también son solventes, tranquilizantes, dedicados a la consecución del éxito y tolerantes con los objetivos vagos y los procedimientos de desarrollo investigativo. Los evaluadores profesionales, si intervienen demasiado pronto, pueden <<ahogar los fuegos creativos de un grupo productivo>>, retardar el proceso de desarrollo urgiendo a la clarificación de los objetivos o perder su punto de vista objetivo alineándolo demasiado con el esfuerzo productivo, entre otras cosas. Los evaluadores profesionales son necesarios, sin embargo, para llevar a cabo las evaluaciones formativa y sumativa durante las últimas etapas del desarrollo. Ambos tipos de evaluación requieren un alto nivel de habilidad técnica y una objetividad que raramente posee el personal que interviene en el desarrollo, pues no está especialmente preparado en la teoría y metodología evaluativas. Scriven recomienda que un evaluador profesional sea incluido en el personal que interviene en el desarrollo para llevar a cabo la evaluación formativa, y aconseja muy a menudo que los evaluadores profesionales externos sean los encargados de realizar y presentar las evaluaciones sumativas.
Evaluación intrínseca y evaluación final
Scriven también distingue entre evaluación intrínseca y evaluación final. La evaluación intrínseca valora las cualidades de una mediación , sin tener en cuenta los efectos sobre los clientes, juzgando ciertas características como las metas, las facilidades, la credibilidad pública y los informes previos. La evaluación final no se preocupa de la naturaleza del programa, de los libros de texto, de la teoría o de cualquier otro objeto, sino más bien de sus efectos sobre los clientes. Estos efectos pueden incluir escalas de tests, rendimiento en el trabajo o el estado de salud. Scriven reconoce la importancia de la evaluación intrínseca, pero destaca que también deben determinarse y juzgarse los resultados, puesto que las relaciones causales entre las variables del proceso y las de los resultados es rara, o ninguna, a la vez en que se conocen a ciencia cierta. Explica que ambos tipos pueden contribuir tanto a la evaluación formativa como a la sumativa. Es particularmente crítico con las juntas acreditadas, a causa de su preocupación por los intrínsecos, como el número de libros de una biblioteca, y su fracaso al valorar el trabajo de los graduados.
Evaluación sin metas
Dando un paso en su amplia preocupación por la evaluación basada en las metas, Scriven presenta una propuestas contraria bajo la denominación de <<evaluación sin meta>>. Según este método, el evaluador pertenece a propósito ignorante de las metas fijadas para el programa e investiga todos los efectos de un programa, independientemente de sus objetivos. No existen efectos secundarios que examinar, puesto que los datos acerca de todos los efectos, cualquiera que sea el propósito del programa, son igualmente admisibles. Si un programa se realiza como se supone que debe realizarse, la evaluación debe confirmar esto, pero el evaluador, a la vez, podrá descubrir los efectos inesperados que los evaluadores que se basan en las metas pueden olvidar a causa de su preocupación por las metas prefijadas. En cualquier caso, Scriven dice que l evaluación sin metas es reversible y complementaria: se puede empezar sin metas, con el fin de investigar todos los efectos, y luego cambiar el método basado en las metas para asegurar que la evaluación determinará si las metas han sido alcanzadas. O incluso pueden realizarse simultáneamente ambos tipos de evaluación sin metas, según Scriven, consisten en que es menos intrusiva que la evaluación basada en metas; más adaptable a los cambios de metas repentinos; más solvente a la hora de encontrar efectos secundarios; menos propensa a la tendenciosidad social, perceptiva o cognitiva; más estimulante profesionalmente; y más equitativa a la hora de tener en cuenta una amplia gama de valores. En general, nosotros creemos que la evaluación sin metas es una técnica renovadora –no un modelo –que puede ayudar a llevar a cavo el método evaluativo orientativo hacia el consumidor.
Valoración de las necesidades
Una de las dificultades de utilizar la evaluación sin metas se refiere a cómo asignar un significado valorativo a los resultados. Si los objetivos se identifican sin hacer caso de lo que se está tratando de lograr, ¿cómo se pueden separar las consecuencias deseadas de las indeseadas? La respuesta de Scriven es que deben compararse los resultados observados con las necesidades valoradas de los consumidores. Pero si una necesidad es una discrepancia entre algo real y algo ideal, y si un ideal es una meta, ¿no están las valoraciones de las necesidades basadas en metas, y, por lo tanto, no están también las evaluaciones sin metas basadas en metas? Scriven dice que no. Para empezar, las metas no deben coincidir necesariamente con cualquier grupo de ideales como los incluidos en una democracia. En cualquier caso, afirma que la concepción clásica de la necesidad, como la discrepancia entre algo real y algo ideal, es errónea, puesto que los ideales a menudo son ilusorios. Dado que las necesidades de los consumidores son un concepto fundamental en este método, sus estudiantes y él conceptualizaron ampliamente e investigaron este concepto.
Para Scriven, una necesidad es <<cualquier cosa que sea esencial para un modo satisfactorio de existencia, cualquier cosa sin la cual este modo de existencia o nivel de trabajo no puede alcanzar un grupo satisfactorio>>. Los ejemplos que utiliza, por lo general, son la vitamina C y la alfabetización. Cuando no dispone de esto, una persona puede estar físicamente enferma o social e intelectualmente debilitada; he ahí que la persona lo necesite. Para Scriven, la valoración de las necesidades es un proceso para descubrir hechos acerca de si no proporcionar o arrebatar ciertas cosas puede tener funestas consecuencias, todo ello basado en normas razonables sobre lo que es bueno y lo que es malo. Dados los resultados de una valoración de necesidades, pueden juzgarse los resultados de un programa concreto como buenos, malos o indiferentes, dependiendo de si contribuyen o no a satisfacer las necesidades identificadas. Segúnnuestra experiencia, este argumento es, actualmente, más convincente en el terreno filosófico que en el práctico. Se necesita un alto grado de desarrollo en el nivel técnico antes de que la valoración de las necesidades pueda producir significados factibles y apropiados para juzgar los resultados.
La lista de control de indicadores de la evaluación
La lista de control de indicadores sintetiza las primeras ideas de Scriven. Refleja su concepto de que una evaluación supone múltiples dimensiones, debe emplear múltiples perspectivas, introducir múltiples niveles de valoración y utilizar múltiples metodos. De ahí que se haya referido a veces a la lista de control de indicadores como el multimodelo de evaluación. Sus dieciocho puntos son los siguientes:
1. Descripción. ¿Qué hay que evaluar? El evaluado, descrito tan objetivamente como sea posible. ¿Cuáles son sus relaciones?
2. El cliente. ¿Quién ha encargado la evaluación? El cliente evaluativo, que puede o no ser el indicador de la investigación evaluativa, puede o no ser el investigador del evaluando –por ejemplo, su fabricante, o la agencia subvencionadora, o su padrino legislativo– y puede no ser su inventor –por ejemplo, el planificador de un producto o programa.
3. Antecedentes y contexto de a)el evaluando y b) la evaluación. Incluye la identificación de los mantenedores (incluyendo los no-clientes enumerados en el punto 2, el patrocinador, los representantes de la comunidad, etc.); la presunta naturaleza del evaluando; las expectativas acerca de la evaluación; el tipo deseado de evaluación (formativa o sumativa; esquemas organizativos; esfuerzos prioritarios, etc.).
4. Recursos. (<<Sistema de ayudas>> o <<valoración de los efectivos>>) a) disponibles para la utilización de los evaluadores. No se trata de lo que se utiliza, por ejemplo, en las compras o el mantenimiento, sino de lo que puede utilizarse. Incluye el dinero, la habilidad, la experiencia previa, la tecnología y las consideraciones sobre la flexibilidad. Esto es lo que define el nivel de viabilidad.
5. Función. ¿Qué hace el evaluando? Distinguir entre lo que se supone que hace –función o papel propuesta o declarada –y lo que de hecho hace (función real, tanto para el evaluador como para el consumidor); ambas cosas pueden incluirse en la descripción, pero, por lo general, es mejor tratarlas aparte. ¿Existen dimensiones, aspectos o componentes obvios de estas funciones?
6. Sistema de distribución. ¿Cómo llega al mercado el evaluando? ¿Cómo se mantiene (en servicio)? ¿Cómo se perfecciona (se pone al día)? ¿Cómo son sus usuarios? ¿Cómo se lleva a cabo su realización, control y perfeccionamiento? ¿Quién hace todo esto?
7. El consumidor. ¿Quién utiliza o recibe (los efectos del evaluando? Distinguir las poblaciones o consumidores escogidos –mercado deseado –de las poblaciones de consumidores directamente afectadas de una manera real o potencial –el verdadero mercado –o consumidores o receptores (o clientes del evaluando, a menudo llamados clientela); esto debe distinguirse de la población receptora total directa o indirectamente afectada, que constituyen los verdaderos consumidores. Advierte que el investigador y otras figuras de los puntos 2 y 3 también resultan afectados, por ejemplo, por tener un trabajo, pero eso no les convierte en consumidores en el sentido estricto. Sin embargo, debemos considerarlos a la hora de investigar los efectos totales y podemos describirlos como parte de los afectados, impactados o implicados.
8. Las necesidades y valores. De los afectados y potencialmente impactados. Esto incluye tanto los deseos como las necesidades, y también los valores como las normas sobre el mérito y los ideales juzgados o supuestos (véase punto 9); las metas definidas del programa, cuando se lleve a cabo una evaluación basada en metas; y las necesidades, y otras cosas, del instigador, el controlador, el inventor, etc., puesto que sean indirectamente afectados. La importancia relativa de estas consideraciones, a menudo opuestas, depende de las consideraciones éticas y funcionales.
9. Normas. ¿Existen normas preexistentes y objetivamente valoradas, acerca del merito o el valor, que deban aplicarse? ¿Procede alguna de ellas del cliente y el consumidor, de la función y de las necesidades/valores? (Esto incluye los ideales asignados; véanse los ideales del punto 8). Si se tienen en cuenta las metas, y si pueden ser valoradas como apropiadas (por ejemplo, por una valoración de las necesidades), legales/éticas y todo lo demás, debe comprobarse si han aparecido en el numero 8 para ser aceptadas, como una norma relevante, aquí en el punto9.
10. el proceso. ¿qué limitaciones/costes/beneficios se aplican a la operación normal del evaluando (no a sus efectos o resultados del punto 11)? En particular: legales/ético-morales/políticas administrativas/estéticas/hedónicas/científicas. Un proceso administrativo tiene limitaciones especialmente significativas en lo que se refiere al <<grado de realización>>, esto es, hasta qué punto la operación real cumple las estipulaciones del programa o las suposiciones del patrocinador acerca de su operación. Un proceso científico debe utilizar indicadores de los resultados finales científicamente reconocidos; también material científicamente (o históricamente...) solvente de un libro de texto o curso. Puede constituir un problema ético la relativa importancia concebida a la satisfacción de las necesidades de la población escogida y las necesidades de carrera o condición de otra gente afectada, como por ejemplo el personal del programa.
11. resultados. ¿qué efectos ha producido el evaluando (deseados o indeseados)? Resulta útil una matriz de efectos: población afectada X tipo de efecto (cognitivo/afectivo/psicomotor/sanitario/social/ambiental) X por la puntuación de las Z de tiempo de reacción (inmediata/al final del tratamiento/más tarde, X duración X cada componente o dimensión si se requiere la evaluación analítica). Para algunos propósitos, los deseados, por ejemplo, control del programa, responsabilidad legal), para otros, no debe hacerse distinción (la evaluación del producto orientada hacia el consumidor).
12. posibilidad de la generalización a otras personas/lugares/tiempos/versiones. <<Personas>> significa tanto el personal como los receptores. Esto también puede dominarse posibilidad de distribución, posibilidad de venta exportación/duración/modificación.
13. costes. En dólares-psicológico-de personal; inicial-repeticiones (incluyendo preparación, mantenimiento y perfeccionamiento); directo/indirecto-inmediato/retardado/rebajado; si conviene, por componentes.
14. comparaciones con opciones alternativas, incluyendo las opciones reconocidas, las disponibles y las que se pueden crear. Los principales contendientes en este campo son los <<competidores críticos>> y se identifican en términos de coste más efectividad. Normalmente incluyen a aquellos en términos que producen efectos similares o mejores por un precio menor, y mejores efectos por un coste extra razonable (recursos).
15. significado. Una síntesis de todo lo anterior. La validación del procedimiento sintético es, a menudo, una de las tareas evaluativas más dificultosas. Normalmente, no puede dejarse al cliente, que, por lo general, está mal equipado en experiencia y objetividad; y las formulas –por ejemplo, los cálculos de coste-beneficio –rara vez resultan adecuadas. Lo más útil es una flexible suma ponderada.
16. recomendaciones. Esto puede o no ser requerido, y puede o no desprenderse de la evaluación; aunque sean requeridas, puede que no sea posible proporcionar ninguna puesto que los únicos tipos que pueden resultar apropiados no disponen de pruebas científicas específicas en el campo de la investigación. (los recursos disponibles para la evaluación resultan cruciales aquí).
17. el informe. El vocabulario la extensión, el diseño, el medio, la localización y el personal para su presentación necesitan un cuidadoso examen, igual que la protección/privacidad/publicidad y la investigación previao la circulación de los borradores finales o preliminares.
18. la metaevaluación. La evaluación debe ser evaluada preferiblemente antes de a)su realización, b) la difusión final del informe. La evaluación externa es deseable, pero primero el evaluador principal debe aplicar la lista de control de indicadores a la propia evaluación. Los resultados de la metaevaluación debe3n ser utilizados formativamente pero también pueden ser incorporados al informe o transmitidos (resumidamente) al cliente y otras audiencias adecuadas. (las <<audiencias>> aparecen en el metapunto 7, puesto que son el <<mercado>> y los <<consumidores>> de la evaluación).
Estas etapas no están concebidas para ser aplicadas en una secuencia concreta, pero deben ser planteadas antes de que se lleve a cabo la lista de control de indicadores. Igualmente, un evaluador puede recorrer la lista de control muchas veces durante la evaluación de un programa. Los primeros recorridos constituyen la evaluación formativa; los últimos son lo que Scriven llama <<evaluación sumativa>>.
La base lógica de la lista de control de indicadores es que la evaluación es esencialmente un proceso de reducción de datos en el que se obtienen grandes cantidades de datos para luego valorarlos y sintetizarlos en un juicio de valor global. Al describir este proceso de reducción de datos, Scriven sugiere que las primeras etapas ayuden a caracterizar un programa o producto, mientras que las últimas pueden ayudar a valorar su validez.
La metaevaluación
El punto final de la lista de control de indicadores pide la evaluación de la evaluación. Scriven introdujo este concepto en 1968, cuando publicó un artículo respondiendo a las preguntas de cómo se evaluaban los instrumentos de la evaluación. Dice que ésta es una de las muchas preocupaciones de la evaluación y destaca que los evaluadores tienen la obligación profesional de que las evaluaciones propuestas o finalizadas estén sujetas a una evaluación competente. Su base racional es que la <<evaluación es un tema particularmente autorreferente puesto que se aplica a todos los esfuerzos humanos serios y, en consecuencia, a la propia evaluación>>. Advierte que la metaevaluación puede ser formativa, si proporciona al cliente pruebas independientes acerca de la competencia técnica del evaluador principal y de la solvencia de sus informes. Las sugerencias metodológicas de Scriven para la realización de metaevaluaciones incluyen la utilización de su lista de control de indicadores de la evaluación, para valorar una evaluación como producto, de otras listas de control o de otras normas evaluativas profesionales.
Ideologías evaluativas
Como se ha visto en el material precedente, Scriven es uno de los críticos más reflexivos y expresivos de los conceptos evaluativos predominantes. En coherencia con esta postura crítica, ha destacado que la evaluación es un tema particularmente autorreferente, lo cual está de acuerdo con su recomendación de la metaevaluación. En un texto reciente, clasifica los conceptos evaluativos establecidos en cuatro grupos y crítica cada uno de ellos extensamente, con la esperanza de convencer a los evaluadores de que reconozcan y renuncien a ciertas tendencias que, según él, han debilitado el trabajo evaluativo. Luego utiliza su análisis de las virtudes y defectos de cada método para perfeccionar la base lógica de su lista de control. Describe de este modelo como algo que abarca las mejores características de las demás proposiciones serias acerca de cómo hacer una evaluación, evitando al mismo tiempo las imperfecciones que él identifica en las otras propuestas. Creemos que esto puede ayudarle a conocer más a fondo la filosofía evaluativa de Scriven, en general, y la lista de control de indicadores de la evaluación en particular, si examina con cuidado su análisis de las ideologías alternativas. Por lo tanto, vamos a intentar definir sus aspectos más sobresalientes con relación a las cuatro ideologías. Estas ideologías son la separatista, la positivista, la administrativa y la relativista.
La ideología separatista
Scriven contempla la ideología separatista como enraizada en la negación o el rechazo de la proposición que asegura que la evaluación es una actividad autorreferente. Esta ideología está perfectamente reflejada en las propuestas evaluativas que requieren la participación de evaluadores totalmente independientes de lo que se está evaluando. El establecimiento y mantenimiento de esta independencia del evaluador respecto al evaluando es, a menudo, esencial para asegurar que los informes evaluativos no van a ser tendenciosos. Además, los evaluadores que practican esta ideología, según Scriven, no reconocen casi nunca la necesidad de evaluar su propio trabajo. Muy posiblemente, muchos de ellos, en cualquier caso, contemplan esta metevaluacion como un asunto ajeno, puesto que los evaluadores, según su concepción separatista, no pueden ser objetivos al evaluar su propio trabajo. De ahí que Scriven exponga la paradoja de que un evaluador puede tener derecho a evaluar el trabajo de otros, pero no interesarse por evaluar sus propios servicios, e incluso resistirse a ello.
En esta especie de parasitismo profesional, Scriven ve una imperfección humana básica; <<La valorfobia, un intensísimo miedo a ser evaluado>>. Se manifiesta cuando los evaluadores, se convierten en cooperantes, pierden su perspectiva crítica y elogian lo que quizá deberían criticar si mantuvieran a mayor distancia del evaluando. La valorafobia puede también presentarse cuando los evaluadores se resisten, o por lo menos evitan, evaluar sus evaluaciones. Y también cuando los evaluadores, al valorar los programas, tienen cuidado de no evaluar al personal del programa.
En oposición a esta postura separatista, Scriven afirma que los profesionales, incluyendo a los evaluadores profesionales, necesitan reconocer y tratar honradamente con la naturaleza autorreferente de la evaluación. La marca de fábrica de un profesional es someter su propio trabajo a evaluación. El hecho de que todas las evaluaciones sean propensas a la tendenciosidad no debe desalentar a nadie en la evaluación de su propio trabajo o de encarar a otro que haga el trabajo. En cambio, se debe responder realizando la evaluación lo menos tendenciosamente posible y sometiéndola a un examen, mediante su comparación con normas reconocidas para una evaluación solvente. En las llamadas evaluaciones de un programa se debe examinar de un modo realista tanto el personal como otros aspectos del programa, puesto que, invariablemente, el éxito y el fracaso son inseparables del trabajo del personal y porque habrá pocas posibilidades de perfeccionamiento a través de la evaluación si no se proporciona una guía para el perfeccionamiento del personal.
La ideología positivista
Scriven contempla una segunda ideología, la del positivismo lógico, como otra reacción exagerada ante la valorafobia. En sus intentos de alejar la tendenciosidad de los trabajos científicos, Scriven piensa que los positivistas reaccionan exageradamente hasta el punto de intentar convertir la ciencia del siglo XX, en general, y la evaluación, en particular, en algo sin valores. Mientras los separatistas rechazan la naturaleza autorreferente de la ciencia o la evaluación, los positivistas rechazan la naturaleza evaluativa de la ciencia. Scriven aporta una serie de casos contradictorios. Por ejemplo, los psicólogos educativos que aseguran que no pueden hacerse juicios evaluativos con objetividad. Desde luego, la respuesta de Scriven a las imperfecciones del positivismo consiste en conceder una importancia central a la práctica de asignar significados de valor a los resultados obtenidos en los estudios evaluativos.
La ideología administrativa
Para Michael Scriven la <<evaluación bien administrada>> va mucho más allá de la que simplemente se guía por un administrador competente. Puede, en cambio, esta última, suponer <<una verdadera indulgencia hacia la valorfobia>> tanto por parte de los administradores del programa como de los evaluadores.Los administradores del programa pueden imponer controles rígidos sobre la evaluación que han encargado para que así no hayan sorpresas. Pueden desear que sólo se evalúe su programa y no el personal que participa en él un, especialmente, el administrador. Y pueden insistir en que la evaluación se limite a determinar si han sido alcanzadas las metas fijadas para el programa y a juzgar su trabajo basándose en los deseo de otro acerca del programa.
Para el punto de vista del administrador, esta ideología administrativa incluye claramente una tendencia a producir informes favorables. Según Scriven, muchos evaluadores están dispuestos a cumplir los deseo del administrador acerca de unos informes favorables y predecibles a causa de una serie paralela de razones autosatisfactorias. Necesitan futuros contratos o conservar su posición evaluativa en la institución, y proporcionar un informe favorable, o al menos uno que no ponga nervioso al cliente o al patrocinador, es lo mejor que pueden hacer para obtener más trabajo. A menudo están incluso dispuestos a evitar cualquier interés por la evaluación del personal porque esto ayuda a hacer que la evaluación sea más independiente de las distintas y, a menudo, opuestas posturas de valor que puedan mantener las diferentes personas implicadas en el programa. Y la petición del administrador de limitar la valoración a lo que se ha fijado es especialmente simpática, puesto que entonces los evaluadores no sólo evitarán valorar la aplicación de un programa y especialmente la actuación de los miembros del personal, sino también tratar con valores, ya que presumen que están incluidos en las metas del programa fijadas por el administrador.
En la ideología administrativa podemos, entonces, ver la posibilidad de una confluencia de las ideologías separatistas, positivistas y administrativas, todo ello con efectos negativos. Evitando la evaluación del administrados y del personal (lo cual coincide con la ideología separatista), considerando la evaluación como un servicio técnico desprovisto de determinaciones de valor (método positivista) y ayudando a los administradores a conseguir el buen informe que necesitan sobre el logro de sus metas (ideología administrativa), el evaluador convierte, efectivamente, la evaluación en un perjuicio y no en una contribución a la sociedad.
Con lo esbozado hasta ahora, el estudio, según Stake, excluye muchos de los aspectos vitales de una evaluación solvente. Puede desalentar, más que ayudar, a los clientes, a la hora de examinar críticamente sus metas y servicios. Concentrándose en las metas prefijadas, no puede asegurar que el servicio tenga valor para satisfacer las necesidades de los consumidores. Puede también ser miope y no tener en cuenta si el servicio, el programa o el producto son la <<mejor compra>>, cuando podría servir para que los clientes identificaran y compararan mejor las alternativas. Y puede también evitar problemas relativos a la ética y a la prudente utilización de los escasos recursos. Para Scriven, un amplio éxito de la ideología administrativa y sus relaciones con otras malas prácticas evaluativas supondría un engaño para la sociedad y para la profesión evaluativa. Utiliza su análisis crítico de esta postura como plataforma para recomendar una serie de reformas, incluidas en su lista de control de indicadores. Son las siguientes:
1. realizar las valoraciones de las necesidades como base para juzgar si un programa ha producido resultados beneficiosos.
2. evaluar <<sin metas>> para no preocuparse de las metas prefijadas y de ese modo perder resultados importantes pero inesperados, buenos o malos.
3. comparar lo que se está evaluando con otras alternativas viables.
4. examinar los servicios según su coste y efectividad.
5. combinar la evaluación del personal con la del programa.
La ideología relativista
Otra ideología que considera Scriven imperfecta y de influencia nociva para el trabajo evaluativo es la ideología relativista. Scriven la contempla como una reacción exagerada a los problemas relacionados con la ideología positivista. Mientras los positivistas, a menudo, han empleado la concepción de que existe una realidad objetiva que puede conocer cualquiera que pueda y quiera utilizar procedimientos valorativos no tendenciosos, los relativistas afirman que esto es totalmente simplista y sólo puede conducir a valoraciones limitadas que den una importancia exclusiva e inmerecida al punto de vista de algún grupo poderoso, con la errónea concepción de que su punto de vista y sus valoraciones son objetivos. En respuesta a los riesgos del positivismo, los relativistas afirman que todo es relativo, que no hay una verdad objetiva. Por lo tanto, abogan por perspectivas múltiples, criterios múltiples, valoraciones múltiples y respuestas múltiples.
Scriven considera que buena parte de este movimiento evaluativo es una respuesta exagerada que a veces niega la posibilidad de las determinaciones objetivas del valor incluso de descripciones objetivamente correctas de los programas. Aunque también rechaza la existencia de una sola descripción correcta, nos aconseja que no abandonemos la idea de que existe una realidad objetiva. Aunque pueda haber una compleja realidad más allá de nuestra capacidad presente de comprender y describir a fondo, sólo nos engañaremos a nosotros mismos si creemos que no existe. Aconseja, en cambio, que relativicemos nuestras descripciones para las distintas audiencias. Pero nos advierte que no aceptemos todas las descripciones opuestas como correctas, como, según creemos, son propensos a hacer algunos de los relativistas más obtusos. En lugar de eso, estamos obligados, como evaluadores, a buscar lo <<mejor>>, lo <<perfecto>>, lo <<ideal>>.
La profesionalización de la evaluación
En coherencia con su preocupación por evaluar las ideas y trabajos de sus colegas evaluadores, Scriven ha hecho un gran esfuerzo por profesionalizar la evaluación. Fue uno de los primeros que recomendó el desarrollo y utilización de las Standards for Evaluation of Educational Programs (Joint Committee, 1981). Ayudó a establecer y desarrollar el Evaluation Network, una organización profesional para evaluadores de programas educativos, sanitarios, gubernamentales y sociales. Y convirtió la hoja informativa de esta organización en una muy respetable publicación, Evaluation News.
Este ha sido un breve resumen de algunas de las contribuciones de Michael Scriven a la evaluación. Estas contribuciones se extienden a lo largo de dos décadas y han influido sustancialmente en la práctica evaluativa. Los estudiantes que se tomen en serio la evaluación deben estudiar sus escritos originales y estar al corriente de sus futuras contribuciones.