La planificación evaluativa según Crobach - Rose Marquez

Vista previa del material en texto

UNIDAD 2
	La evaluación, sus modelos más significativos.
	Lectura Cuatro
	
LA PLANIFICACIÓN EVALUATIVA SEGÚNCROBACH: UNA SINOPSIS
	«La planificación evaluativa según Crobach:
una sinopsis »
 
A causa de su longitud, nos resulta imposible cubrir, en esta breve unidad, todo el material contenido en el libro de Cronbach (CRONBACH 1982). Si, de todas maneras, usted cree que los temas tratados son interesantes, debe asegurarse de que merece la pena estudiarlos más ampliamente acudiendo al texto completo. Del trabajo de Cronbach , seleccionamos aquí aquellos aspectos que se adaptan al contexto general , sobre todo los componentes investigativos y los recursos de una evaluación, como el lugar que ocupan los distintos estilos en la planificación evaluativa, la descripción de los problemas investigativos y la importancia de la comunicación de la toma de decisiones. Además, nos acercamos a la concepción de los elementos que forman parte de una planificación evaluativa¨: unidades, tratamientos y operaciones de observación (uto).
El estudio de esta unidad debe capacitarle para conocer a fondo el pensamiento de Cronbach (en términos generales) acerca de las influencias que soporta la planificación de un programa evaluativo. Al final de la unidad, hay ejercicios para que compruebe sus conocimientos.
Introducción a los problemas más importantes
Una planificación previsora y flexible
Cronbach está convencido de que hay que estimular la planificación de la evaluación para que resista ciertos tipos de desafíos, porque, en opinión de Cronbach, las evaluaciones están concebidas para cumplir una función política. Los desafíos a la información que surgen en las evaluaciones están, a menudo, políticamente motivados. Esta es una característica ineludible de toda evaluación. Para poner una amplia gama de esperanzas legítimas en el resultado de una evaluación, su planificación debe ser algo cercano a la planificación de un programa de investigación. Y así, en el mejor de los casos, la evaluación debe tener la misma flexibilidad tanto respecto a sus propios resultados como a los intereses cambiantes de la comunidad política. Cuando planifica (y replanifica) un estudio profesional completo, el evaluador se esfuerzas por hacerlo de tal manera que los votantes, los administradores, el personal operativo y/o los políticos puedan tomarse en serio sus resultados. No hay nada más que justifique el esfuerzo invertido en la planificación de una evaluación.
Las evaluaciones, a menudo, se realizan a petición de un administrador. Posiblemente, el administrador desee convertir al evaluador en un simple técnico, planteándole preguntas sucesivas y pidiéndole que aplique técnicas de muestreo, valoración y análisis estadístico, sin reflexionar sobre las implicaciones de estas actividades. Cronbach, de cualquier forma, concibe que un evaluador exija, y obtenga, una responsabilidad más útil. Aunque los evaluadores no pueden, y no deben, sustituir su juicio por el de la agencia patrocinadora, debe permitírseles aportar su punto de vista acerca de la agenda investigadora. Los administradores, pues, deben pedir a los evaluadores componentes que piensen acerca de las posibilidades de la planificación antes de que se tome ninguna decisión.
Cronbach cree que ningún individuo está totalmente cualificado para encargarse él solo de la planificación y la interpretación; casi siempre, la responsabilidad debe ser compartida por un equipo. Este método tiene ciertas ventajas, puesto que proporciona múltiples perspectivas y promueve saludables debates profesionales. La planificación, por lo tanto, se desarrolla en dos niveles: una planificación general que reparta prioridades y responsabilidades entre los miembros del equipo, y una detallada planificación interna del equipo, que debe dar como resultado planes basados en la experiencia y las interacciones de los que constituyen el equipo. Así, la planificación y los estudios evaluativos se convierten en algo más reflexivo, ocupándose de los procesos, y no solamente de los objetivos.
Reflexionar sobre los propios acontecimientos es mucho más importante que confiar en lo que Cronbach llama “proceso de datos irreflexivo”. Como Carol WEISS (1972), Cronbach cree que la evaluación debe ser contemplada como una manera de iluminar complejos mecanismos como la variación de los tratamientos, como un estudio tanto del proceso como de los resultados y como una información sobre un campo determinado que puede utilizarse en las tomas de decisiones referentes a otros destinitos.
La evaluación útil
Las planificaciones se realizan basándose en ciertas concepciones acerca de los que una buena evaluación es o hace. La mejor planificación es aquella que promete aumentar el beneficio social de la evaluación; la elección entre las planificaciones alternativas se realiza atendiendo a cómo pueden influir las evaluaciones en los asuntos sociales. Las instituciones sociales aprenden de la experiencia, así como de los clientes y de los distritos electorales. La evaluación, en palabras de Cronbach, está concebida para acelerar el proceso de aprendizaje mediante la comunicación de los que, de otra forma, no se comprendería o se entendería equivocadamente.
Para ser útil, una evaluación debe tener como núcleo las “actividades científicas”, puesto que si las observaciones presentadas no son realistas o la interpretación no se basa en un buen razonamiento, la evaluación no tendrá mucho valor. Por otra parte, un estudio técnicamente admirable puede quedarse corto si el evaluador no atiende a lo que piensan los individuos políticamente más relevantes de la comunidad, como los clientes, el personal del programa, los burócratas y los ciudadanos interesados.
Como resultado del método científico, el trabajo de los evaluadores puede provocar intuiciones en otros: así, los evaluadores son educadores cuyo nivel de éxito debe ser juzgado, por lo menos en parte, según el éxito que alcancen en el terreno de la comunicación. Cronbach cree que este aprendizaje empieza cuando el evaluador se reúne con miembros políticamente formados de la comunidad para resolver sus dudas. Continúa con cada contacto que el evaluador mantiene con los que participan en el programa o con otros individuos relevantes. El informe final es sólo uno de los medios de instrucción de que dispone el evaluador: el trabajo didáctico reside tanto en el planteamiento de los problemas como en la formulación de sus soluciones. Especialmente en los que se refiere a los problemas relativos al valor, la responsabilidad del evaluador (como educador) es ayudar a los demás a saber solucionar los problemas y determinar las acciones más apropiadas para la consecución de los objetivos.
Cronbach insiste en que todas las etapas de una evaluación, desde la planificación al informe, es esencial una “excelente información”. Como WILENSKY (1967), Cronbach cree que una excelente información debe ser:
• Clara, porque debe ser comprendida por todos aquellos que la utilicen;
• Oportuna, porque debe llegarles cuando la necesiten;
• Exacta, porque los diversos observadores que utilicen el mismo procedimiento deben contemplarlo de la misma manera;
• Válida, porque debe incluir los conceptos y las valoraciones estrechamente relacionados con la realidad;
• Amplia, porque debe proponer las principales alternativas políticas que tienen más probabilidades de alcanzar las metas de la organización o proponer nuevas metas.
Si lo que se comunica acerca de una evaluación es su resultado más importante, las siguientes preguntas deben ser planteadas cuando la evaluación haya terminado:
• ¿A todas las secciones de la audiencia les interesa el mensaje?
• ¿Lo comprenden?
• ¿Se ha respondido, en la medida de lo posible, a las preguntas que ellos consideraban más importantes?
• ¿Han alterado las respuestas sus ideas preconcebidas?
• ¿Se ha enriquecido y evaluado el diálogo sobre las tomas de decisiones como consecuencia de la evaluación?
Si las comunicaciones responden positivamente a todas estas preguntas, el plan y losprocedimientos evaluativos deben ser considerados buenos. Una dificultad obvia que se presenta al emitir un juicio es la que se deriva de cada consenso, puesto que una situación políticamente y no sólo un individuo que toma decisiones. Todos los que desempeñan algún papel en la aprobación del programa o en la recomendación de alternativas forman parte de la comunidad. Además, de una manera ideal, el evaluador debe esforzarse por llegar a los ciudadanos más pasivos, a los que debe animar a hablar y cuyas preguntas deben ser respondidas mediante la adecuada comunicación.
Una evaluación debe reducir la incertidumbre mediante alternativas propuestas a su audiencia. Además, debe complicar los conceptos que sean demasiado simples o demasiado seguros. Aunque los evaluadores quizá no sean capaces de persuadir a todos los segmentos de la comunidad política para que utilicen sus conclusiones del modo más complejo, deben ir siempre en esta dirección.
Una planificación evaluativa debe conducir a un estudio que clarifique los problemas de todos los implicados y delate cuándo ha trabajado con falsas suposiciones o pasado ala acción sin demasiado conocimiento de causa. Así, la evaluación más sutil es aquella que proporciona una gran cantidad de sugerencias para solucionar futuros problemas y clarificar significados.
Cronbach afirma que los programas evaluativos convencionales centran su atención en una sola agencia, técnica o intervención. Aunque esta estrategia es útil y necesaria, a la larga puede perder eficacia, porque puede que no conduzca a la comprensión del problema básico. La consecuencia de esto para una evaluación parece estar clara. Lo más difícil es mantener la esperanza puesta en una línea de intervención concreta; lo más importante es que la evaluación contribuya al a compresión básica del fenómeno. Cuando una evaluación alcanza este nivel, puede aspirar razonablemente a un avance social en la comprensión del área en cuestión.
El equilibrio en la planificación evaluativa: resumen
Lo dicho en la sección anterior indica que algunos evaluadores, en la planificación y la practica de su estudio, pueden llegar a utilizar tanto el método científico como el humanístico. Por otra parte, otros insisten en que sólo hay que aplicar un estilo en cada estudio.
Aquellos que están a favor de los tests sumativos formales también son partidarios de la objetividad en la observación y el análisis. Por el contrario, los que prefieren el estudio de casos concretos son también partidarios de la interpretación impresionista. El primer grupo insiste en el carácter fijo de la hipótesis que está siendo examinada, mientras que los segundos destacan la creciente calidad de las cuestiones investigativas. Cuando el investigador no pude especificar adecuadamente en la planificación las variables más significativas, el estudio desarrolla en un contexto de descubrimientos. El descubrimiento proviene de los datos recopilados, que se interpretan a la luz de la experiencia previa del investigador (directa o procedente de otros). Las planificaciones más férreas, por otra parte, son convenientes si las variables pueden ser claramente definidas y las hipótesis claramente formuladas. La principal misión de una planificación férrea, en la ciencia básica, es proporcionar una base objetiva, reproducible e incuestionable para la predicción de una teoría.
Cronbach afirma que no se plantea necesariamente conflicto entre el control experimental y la exploración libre de prejuicios y la producción de evidencias objetivas. Esto quiere decir que incluso un experimento formal puede incorporar entrevistas de los operadores del programa y los clientes de una manera indefinida y, por último, aplicar “codificaciones ciegas para obtener datos cansados compatibles”. Por otra parte, los datos cuantitativos y muy estructurados pueden ser utilizados para la construcción de hipótesis en estudios de casos concretos. Algunos autores, además dejan claro que ellos pueden combinar una planificación férrea con una interpretación subjetiva. Scriven, en concreto, propone que los evaluadores informen si el tratamiento es bueno o malo, para que así incluyan sus propios valores en el juego. Por su parte, los observadores naturalistas pueden inyectar objetividad en su estudio documentándolo con anécdotas y también utilizando observadores adicionales que se centren en aspectos concretos del programa que se está evaluando.
Al diseñar y llevar acabo una evaluación, el evaluador avezado debe decir cuales son sus preferencias en cuanto a la metodología que se debe emplear para facilitar la resolución de un problema político concreto en un momento determinado, y debe “fortalecer su estudio en algunos aspectos y mantenerlo flexible en otros. Según parece, incluso el más firme partidario de alguno de los estilos de investigación evaluativa está preparado para abordar el estilo opuesto para seguirlo en ciertas tareas.”
Cronbach resume la reflexión acerca del “continum” existente entre la planificación científica y la humanística con la siguiente afirmación: “La retórica que establece oposiciones polarizadas entre los estudios experimentales y los naturalistas es útil sólo para llamar la atención sobre ciertas cuestiones críticas.”
En la planificación real, casi siempre es conveniente introducir algún tipo de control –en la recopilación de datos, e incluso en la manipulación del tratamiento –y hacer alguna observación naturalista acerca de los acontecimientos, todo ello en el marco de la estructura planeada. El equilibrio entre los estilos debe variar de una cuestión a otra, y quizá modificarse (¡en cualquier sentida!) A medida que se desarrolla el trabajo evaluativo.
Los conceptos de Cronbach acerca de los elementos
de una planificación evaluativa: Uto
Las conclusiones derivadas de una evaluación deben indicar lo que ocurrirá si se adopta un cierto plan de intervención en un cierto tipo de situación. Estas conclusiones pueden ser predicciones acerca de la presentación del programa, de la reacción ante los clientes, del cambio de comportamiento, del cambio institucional, etcétera. El planificador de una evaluación debe esforzarse por asegurar (en la medida de lo posible) que el contenido de sus conclusiones son tan validas y persuasivas como sea posible. Finalmente, “la validez consiste en un escrutinio crítico de la lógica de cada interpretación y en las operaciones investigativas consiguientes”.
Unidades, tratamientos y operaciones de observación
Cronbach presenta una teoría en la que puede basarse cualquier recomendación referente a la planificación. El concepto abstracto caracteriza la muestra, el dominio estricto en que esa muestra resulta significativa, el dominio afectado por las decisiones tomadas por la comunidad y los relaciones entre estos tres aspectos. Los tres conceptos abstractos son unidades, tratamientos y operaciones de observación. Así, un evaluador debe atender a lo siguiente:
1. unidades: cualquier individuo o clase.
2. tratamientos: una unidad esta expuesta a la realización de un tratamiento concreto; por ejemplo, un profesor selecciona y organiza lecciones, y las explica de un modo que puede ser claro o confuso; así, la ejecución de algo puede variar aunque esté sujeta a un tratamiento regularizado.
3. Operaciones de observación: el evaluador obtiene datos antes, durante y/o después del tratamiento. Y utiliza un cierto tipo de tests, o envía a alguien a la clase para que recoja algún tipo de impresiones. Estas son las operaciones de observación.
Cuando comenta un estudio concreto, Cronbach se refiere a las unidades que participan en el estudio, a los tratamientos realizados y a las observaciones como uto, respectivamente. Cada u va emparejada con, al menos, una t y una o a cualquier parte de un conjunto de estudios que puede realizarse bajo una especificación concreta. Así, uto puede referirse a los datos de una sola unidad o a los de toda la muestra.
Cuando se han seleccionado las unidades, resulta inevitable haber incluido las características del marcolocal. Por ejemplo, si se ha estudiado a los profesores, se habrá hecho según su contexto social y no como individuos aislados. Los profesores están influidos por los directores, por las tensiones que se desprenden de las relaciones interpersonales y por las negociaciones del sindicato (por mencionar solo algunas de las muchas influencias posibles). Además, el contexto es muy amplio. El clima intelectual y político de una situación determinada afecta a todas las unidades. Más aún, las conclusiones acerca de una situación determinada en un momento dado no tienen por qué repetirse necesariamente algunos años más tarde, incluso en esa misma unidad.
UTOS1: el dominio de la investigación
Cronbach afirma que los dominios correspondientes a uto son U, Y y O. Estos se combinan con S en UTOS, un concepto que será explicado más tarde. Por definición, UTO especifica a la clase de combinaciones unidad-tratamiento-operación que el investigador pretende describir según la base de uto. Por ejemplo, un programa de seguimiento diario puede llevar a cabo ciertos planes concebidos para niños de un determinado tipo de familias, haciendo referencia a la evidencia de cuestiones concretas como las revisiones de salud efectuadas por un médico, las informaciones de la madre respecto a la utilización del tiempo libre y la aceptación del servicio por subgrupos concretos de la comunidad. Este plan de un tipo de combinación unidad-tratamiento-operación es un ejemplo de UTO. Cronbach define UTO como el “universo de las observaciones admisibles.” Lo cual quiere decir que cualquier uto observado cae dentro de los dominios que interesan al investigador.
Si la definición es adecuada, los lectores independientes estarán de acuerdo en qué ejemplos de unidades, realizaciones u operaciones forman parte de UTO. Además, el orden y la distribución de uto dentro del UTO debe (idealmente) armonizar con los intereses del investigador. Como afirma Cronbach, el dominio puede ser estrecho o amplio. Por ejemplo, un estudio puede investigar métodos de estudio independientes basados en datos aceptados de cualquier escuela que se esfuerce por ofrecer a los estudiantes una metodología de aprendizaje individualizada; otro estudio puede definir un tipo especial de metodología de aprendizaje individualizada y centrar su atención sólo en los ejemplos de un modelo de actividad. Es importante destacar que cuando cambia la definición, también cambia la cuestión que está siendo investigada directamente.
Cronbach insiste en que la planificación ideal define un UTO, y luego los planes para seleccionar un uto que lo represente. Si la planificación es lógica y se lleva a cabo estrictamente, pueden legítimamente inferirse de los resultados de uto los probables resultados de UTO.
Los elementos u, t y o son casuales. El evaluador piensa en u como en la muestra de una población y controla el muestreo hasta donde le resulta posible. El evaluador define la recopilación de unidades de interés –la población, U –y diseña cuidadosamente una muestra representativa. El informe acerca de las observaciones de un caso concreto, o, se toma como representación de todos los demás casos; idealmente (si no lo impiden los costos) deberían disponerse de datos de cada o en O. Un punto de vista similar se aplica a t y T, puesto que el tratamiento designado define un tipo de realizaciones que interesan al investigador, y las realizaciones son una muestra de todo el dominio. Lo cierto es que, por lo general, U, T y O, en una evaluación, dependen del muestreo y de los peligros que éste esconde. Un evaluador, al planificar un estudio, debe tener siempre presente que el carácter y las variaciones de las respuestas pueden contribuir a la Formación de generalizaciones inexactas resultantes de los datos recopilados, quizá cuidadosamente, durante el proceso de muestreo.[1]
No es inusual el concepto de una población U no homogénea de la que se extraen los datos. En UTOS, Cronbach amplía este concepto. Afirma que en la investigación social, t y o se conciben como fijos, mientras que no ocurre los mismo en la evaluación de un programa. El intérprete de los datos generaliza, quizás inconscientemente, sobre la realización de los tratamientos igual que sobre las escuelas o los estudiantes. De un modo similar, el procedimiento de observación que se emplea es uno más entre las muchas realizaciones posibles de un plan. La S de UTOS representa un marco de acción (setting: S) que debe ser considerado fijo. Según esta convención, cada estudio tiene sólo un marco de acción (aunque las unidades están relacionadas con sectores distintos de este marco).
Definiciones delos elementos de uto y UTO
La unidad es la entidad independiente más pequeña sobre la influencia del tratamiento es totalmente operativa. La unidad puede ser concebida como un “sistema”. Es lo suficientemente completa y autónoma como para que sus experiencias y respuestas no estén influidas por las experiencias y respuestas de entidades paralelas.
Muy a menudo, los objetos que se investigan tienen una estructura de nido. Por ejemplo, los alumnos en sus clases, en las escuelas en los distritos y en los estados.
El nivel que se escoja para si la unidad depende de una concepción sustancial del mecanismo mediante el cual opera la intervención propuesta y del nivel en que aparece esa intervención.
La elección de la unidad es una decisión delicada. Debe tenerse en cuenta que la presuposición de una dependencia se debilita cuando se utiliza el más alto nivel de la jerarquía como nivel de la unidad. Por otra parte, puede ser ventajoso definir el plan de muestreo en muchos niveles distintos.
En la planificación de un estudio, es problema central es juzgar cuales son las unidades de tratamiento independientes. De aquí se sigue la elección de las unidades para el muestreo, junto con las conclusiones de u que resultan válidas para U.
En cualquier estudio manipulador, el evaluador designa unas cuantas acciones que influyen en el curso de las unidades. El tratamiento designado para la unidad es T, mientras que el tratamiento que realmente se aplica a la unidad es t. Las actividades del tratamiento real (t) no suelen estar enteramente de acuerdo con las designaciones del investigador, puesto que pueden existir variaciones respecto a la planificación del estudio. Cronbach afirma que cuando se somete a prueba una serie, por ejemplo, el ritmo al que los profesores desarrollan su trabajo, los ejercicios propuestos, las recompensas asignadas a los estudiantes, etcétera. Estas descripciones reales de t discrepan de las afirmaciones generalizadoras de T al incluir lo que se conoce comúnmente como “distribución” aquellos elementos de un tratamiento planificado que influyen realmente en la unidad u. La designación de T puede, desde luego, incluir directrices, instrucciones y procedimientos de supervisión, requisitos del personal que lleva a cabo el tratamiento, materiales didácticos y detalles para el tratamiento de los acontecimientos; o, por el contrario, puede no ser más que una designación global tal como “una progresión individual dentro de las clases”, en la que será admitida cualquier realización que responda a esta etiqueta.
Las operaciones de observación incluyen tests, entrevistas, visitas a las clases (en el caso de las escuelas), grabaciones de diálogos y procedimientos para codificar las observaciones y la utilización de datos archivados. Puede realizarse, además, una observación de los antecedentes de la situación inicial y final de los logros que pretenden conseguirse, de las aptitudes y de las actitudes, así como de las diversas variables intermedias o procesadas. En el estadio del diseño de una evaluación el ideal es designar procedimientos tan claros que otro investigador sea capaz de recopilar datos comparables. Lamentablemente, ésta no es la práctica normal.
En las ciencias naturales, Cronbach afirma que los procedimientos suelen ser tan regularizados que la distinción entre la clase O y el ejemplo o tiene muy poca importancia. Por el contrario,las valoraciones del comportamiento no pueden ser demasiado regularizadas. El énfasis puesto comúnmente en la “definición operacional” consiste en designar una clase más homogénea de procedimientos. De esto sigue que la o designada para formar parte de esa clase debe concordar con ella. Aquellos que utilizan el informe evaluativo, de cualquier forma, están a menudo más interesados en una estructura más ampliamente definida. Más que escoger un solo procedimiento para aplicar a todos los sujetos, el evaluador debe representar los intereses del cliente definiendo un dominio de las diversas actividades asociadas con el concepto que se está investigando. Por ejemplo, más que afirmar que debe valorarse la comprensión de la lectura, puede ser preferible designar unas cuantas formas distintas de comprender la lectura; todas estas tareas acaban siendo elementos de O.
Cronbach subraya que la clase u debe ser designada con mucho más cuidado que U y T, puesto que una definición vaga de las variables que deben ser valoradas es insuficiente y posiblemente conduzca a errores.
UTOS: el dominio de la aplicación
Una versión más depurada de UTOS, y algo que Cronbach considera básico para su argumentación, es el desarrollo del concepto de *UTOS. Es asterisco se pone al principio (así “estrella UTOS”) porque un asterisco al final quizá podría sugerir UTO en S*[2].
Sólo una pequeña fracción de la audiencia (si es que existe alguna) se interesa primordialmente por los UTOS que define el estudio. Se interesan más en aspectos particulares del informe. Esto es lo que Cronbach llama *UTOS, un concepto que difiere del original en algunos puntos. Para los interesados la evaluación tiene un valor y un propósito sólo si sirve para proporcionar extrapolaciones razonables a partir de una observación de las circunstancias de los *UTOS, con su interpretación individualista de las observaciones.
Como consecuencia, si una evaluación quiere ser útil, los resultados deben reducir la incertidumbre acerca de los problemas políticos incluidos en los *UTOS una vez que han sido recopilados los datos (basados en observaciones). De esto sigue también que, en la planificación de un estudio, el evaluador debe anticipar, tanto como le sea posible, los U*, T* y O* que los clientes y las audiencias deseen conocer, y también debe hacer algunas consideraciones acerca de S*, como se muestra más abajo.
La pregunta acerca de si esto funcionará con nuestros estudiantes se refiere a la designación de una U*. Cronbach afirma que una diferencia de resultados producto de una operación de laboratorio puede no darse en las situaciones cotidianas de una escuela, o que una diferencia producto de una muestra nacional representativa puede no coincidir con los distritos escolares más pudientes o más aislados. La cuestión es que U y U* difieren y que la importancia de sus diferencias “será más acusada cuando se tomen acciones que afecten a U*”.
Si la O original es limitada, las audiencias pueden interesarse en O* y recibir una satisfacción mayor con la definición más concreta que proporciona. Por ejemplo, un curso de matemáticas puede aparentar tener éxito cuando O se limita sólo a las lecciones explicadas. De cualquier forma, algunos críticos pueden argüir muy bien que los que han aprobado ese curso no se defienden bien en la resolución de problemas. Entonces puede muy bien ser adoptada una determinada valoración de O* que solucione las cuestiones adicionales del curso.
Como ya se ha mencionado al principio, la audiencia de la evaluación está muy interesada en si debe o no adoptarse el experimental T del estudio original. A medida que el estudio avanza, las discusiones acerca de él sugieren variaciones para mejorar el plan original. Cada una de estas variaciones se convierte en un T*. Cronbach facilita un interesante ejemplo de este fenómeno:
Cuando se volvió por primera vez a la educación compensatoria, algunos centraron su atención en que UTO debía utilizarse para recopilar los datos. Unos propusieron un cambio del tratamiento: “Está muy bien informar negativamente sobre el “Head Start” (T): ¿pero acaso ello no demuestra que el tratamiento compensatorio necesita prolongarse más (T*)?”. En consecuencia el “Follow Through[3]” fue preparado como un T* (y evaluado más tarde directamente)*.
Es interesante advertir que el dominio del tratamiento pude cambiar cuando las consideraciones se desplazan de “UTOS a UTOS* “ –“incluso cuando la designación operacional de T permanece inalterada”-. Si U se convierte en U* o S en S*, la frecuencia de las realizaciones cambia porque la manera en que se realiza un tratamiento depende delos marcos locales y de los implicados, así como de otros factores como los ambientes organizativos o sociales. Así, S* puede ser un aspecto significativo de *UTOS cuando cambia la población.
Quienes interpretan los resultados de una evaluación a menudo se preguntan esto: ¿qué diferencia implica el paso de UTOS a *UTOS? Posiblemente, el cambio no tiene muchas consecuencias <<ya sea porque el fenómeno que se está estudiando es impermeable al cambio social o porque el cambio es demasiado pequeño como para representar un problema>>. Además, si una cuestión se investiga directamente puede presentarse con la forma de un parámetro de un UTOS para proceder a su estimación. Cronbach afirma que el parámetro puede ser un medio, un coeficiente de regresión o una proporción de casos de una categoría. Cuando las cuestiones no se investigan directamente, pueden presentarse bajo la forma de un parámetro de *UTO del que se busca una estimación. Por ejemplo, el responsable de un programa pude desear conocer el valor de un indicador concreto de la motivación de un estudiante (O*) si unas reglas concretas acerca de la educación multicultural (un T*) se han promulgado para todos los distritos escolares de un estado (U*).
*UTOS, el dominio de aplicación, es un aspecto central y básico de la planificación de cualquier evaluación, que consiste en ofrecer información específica y necesaria a las audiencias.
La identificación de las cuestiones a investigar
Cronbach afirma:
Los problemas de una investigación provienen principalmente de las incertidumbres de los miembros de la comunidad que debe tomar las decisiones, o de los desacuerdos entre esos miembros, cada uno de los cuales está convencido de que su solución es la buena. Identificar los problemas más importantes es un primer paso en la planificación de una evaluación; el segundo es una distribución apropiada del trabajo.
El evaluador, según Cronbach, no es un agente libre para escoger los problemas que deben investigarse, porque el patrocinador puede querer respuestas para determinadas preguntas y no para otras. Y hay más. Un administrador puede no querer ajustarse a un esquema experimental por muchas razones, o quizá los informantes no estén muy dispuestos a suministrar datos. Por otra parte, las comunicaciones entre el evaluador y el patrocinador antes de la planificación pueden hacer que el segundo acepte sugerencias para ampliar el abanico de cuestiones.
Se han descrito dos fases de planificación: la fase divergente, en la que se hace una lista de las posibles cuestiones, y la fase convergente, en la que se asignan las prioridades entre ellas. En la practica, ambas actividades se desarrollan simultáneamente. Parece sensato que una agencia proponga a un patrocinador una evaluación que, antes de abordar un plan operacional, siga los procesos de planificación divergente y convergente. Los intercambios y negociaciones consiguientes entre el evaluador y el patrocinador conducirán a una revisión de la lista de cuestiones. El proceso de rectificación continuará inevitablemente incluso cuando el trabajo en sí haya empezado.
La fase divergente
Esta fase infunde conciencia al evaluador y al patrocinador acerca de toda la gama de cuestiones posibles que deben ser tenidas en cuenta, por los menos brevemente, en una investigación.
ORIGEN DE LAS CUESTIONES. Mientras planifica lo que los individuos o grupos plantean como cuestionesimportantes para el estudio, el evaluador debe pensar en atender como una amplia variedad de informadores. Como consecuencia, las omisiones serán resultado de las elecciones informativas y no de la visión restringida del patrocinador, del administrador o quien tenga la principal responsabilidad.
Cronbach afirma que <<el evaluador se ocupa de producir algo –información –que tenga valor para los consumidores y por lo que están dispuestos a pagar>>. Así, la decisión acerca de qué producto hay que lanzar es de carácter económico y en ella intervienen todos los aspectos de la oferta y la demanda.
El evaluador tiene ciertas ventajas sobre el patrocinador a la hora de enfrentarse a las cuestiones que deben resolverse:
Está libre de prejuicios.
El evaluador puede estar en mejor posición que el patrocinador para recopilar y apreciar las cuestiones más actuales de los círculos políticos y no políticos.
Gracias al conocimiento de otras investigaciones, el evaluador puede reconocer los desafíos y las contra interpretaciones a las que está sujeto el estudio. Y así sugerir controles específicos necesarios para reforzar la razonabilidad de sus respuestas.
El evaluador conoce la situación de su profesión y puede informar al patrocinador (o al administrador) sobre cómo una cuestión determinada puede responderse adecuadamente sin salirse del presupuesto.
De cualquier manera, al final, es la estimación del patrocinador acerca de la relevancia política y administrativa de las cuestiones la que sirve de guía al evaluador. Lo cierto es que el patrocinador no debe tomar solo este tipo de decisiones.
TRATAMIENTO DE PROCESOS. En el área de los servicios sociales, el lugar que ocupa la evaluación no debe estar sujeto a modificaciones que sirvan a los propósitos del estudio. En otros casos, los servicios están abiertos a la manipulación; los tratamientos deben ser adecuados para proporcionar una comprobación directa de una propuesta renovadora. En cualquier caso, como afirma Suchman (1967), el evaluador necesita una serie de tratamientos que puedan concebir el valor de una investigación, o localizarlo allí donde esté donde esté realmente.
Tanto el patrocinador como el evaluador deben estar enterados de las diferentes presiones ejercidas por los grupos partidistas, que sugerirán ciertos tipos de cuestiones para los tratamientos. Otras cuestiones pueden ser sugeridas, de manera provechosa para el estudio, por personas apartadas del centro de la acción política. No deben existir desavenencias a la hora de formular las cuestiones. Más tarde, la realidad política planteará algunas cuestiones mucho más apropiadas y útiles que otras, pero esto debe ser discutido en la etapa convergente.
Detrás de cualquier propuesta programática existen dos conceptos: uno se refiere al modo en que las condiciones sociales existentes y los servicios ya ofrecidos se combinan para producir un resultado insatisfactorio, la otra se refiere al modo en que un servicio alternativo puede producir un resultado más satisfactorio. Cronbach, por lo tanto, recomienda un modelo de intervención en el que sus diversas actividades se dispongan en forma de tablas o de gráficos . esto, en sí mismo, debe evidenciar las cuestiones que resultarán valiosas cuando el proceso de intervención y sus efectos queden clarificados por el proceso evaluativo. Debe destacarse, de cualquier manera, que el proceso de hipótesis y las cuestiones particulares que deben formularse (para la evaluación) serán destinitos en cada variante del programa. Esto resulta cierto si las variaciones han sido planificadas o reconocidas al tomar forma las distintas realizaciones.
La “intensidad” de la intervención debe estar incluida en la planificación. ¿Debe prepararse a un equipo numeroso para satisfacer esta necesidad? La intensidad de la intervención puede también centrarse en cuestiones relativas a las etapas intermedias del programa que se está preparando. Si los resultados finales no son los que el cliente esperaba o había anticipado, las evidencias de estos procesos y etapas intermedios pueden resultar útiles. Para controlar y conservar estas evidencias, se debe preparar y emplear a un equipo numeroso para que intervenga en el estudio.
RESULTADOS. Las metas fijadas por el patrocinador o por los que proporcionen la intervención son una significativa fuente de cuestiones para la fase divergente. La lista debe incluir metas propuestas por otros a los que se haya interrogado acerca de la evaluación, y también resultados intermedios.
Cronbach advierte que incluso una lista bien especificada de metas resulta necesariamente incompleta como fuente de cuestiones si no presta atención a los resultados en los que no se había pensado. El evaluador debe, por lo tanto, dirigir una parte de su atención a los efectos secundarios, igual que hace con las metas. Resulta también importante advertir que en el contexto educacional el progreso no tiene nada que ver con el puesto que ocupe el estudiante en la escala. Así, la atención global de un programa es <<alcanzar sus metas>> y, para ello, debe ser tratado prudentemente por el evaluador. A la hora de planificar un estudio, la única pregunta razonable es: ¿qué resultados debemos alcanzar? Si el nivel obtenido es satisfactorio o no, se sabrá cuando haya terminado la evaluación, <<mediante un proceso de negociación política>>. Incluso aunque el personal de la evaluación deba exigir afirmaciones claras acerca de los distintos resultados que los planificadores del programa pueden tener un la mente, en la etapa divergente es importante recordar que una definición y valoración férreas de las variables, tales como las consecuencias afectivas, no debe perderse nunca de vista.
Cronbach afirma que la lista divergente debe incluir resultados concebidos para ser examinados sólo cuando la evaluación haya sido terminada y presentada. Dice que, a menudo, resulta adecuado acumular datos para que una investigación posterior pueda ofrecer un claro panorama de las consecuencias que pueden derivarse a largo término. Es necesario que las grandes diferencias existentes entre los tratamientos no se repitan en las etapas posteriores.
Una parte importante de la planificación son las discusiones que mantiene el evaluador con personas que tienen un concepto determinado del programa, discusiones relativas a quienes sienten esperanza o temor, o a qué tipo de efectos esperan. Debe tenerse en cuenta la amplia gama de sectores de la comunidad que toma las decisiones, con el fin de que el evaluador pueda aprender a contemplar el programa desde el punto de vista de los distintos (y enfrentados) sectores de la comunidad, incluyendo los profesionales que podrían intervenir en el programa, si es aceptado, y los ciudadanos que se servirían de él. Conocer las esperanzas y temores de estos sectores es esencial. Además, el evaluador tiene la responsabilidad de incluir en el panorama final estos valores que no disponen de voz política propia. La meta del evaluador debe ser consultar fuentes divergentes y también aquellas que no se hacen oír fácilmente.
La fase convergente
La fase convergente insiste en la necesidad de que sea una amplia diversidad de individuos y grupos la que formule las cuestiones. Algunas cuestiones deben plantearse por razones prácticas. Cronbach afirma que existen, por lo menos, tres razones para reducir la serie de variables tratadas sistemáticamente en una evaluación:
1. El coste: siempre debe de existir un presupuesto límite.
2. El alcance de la atención del evaluador : a medida que un estudio se hace más complicado, se hace también más difícil de administrar, la masa de información resulta demasiado extensa para ser tenida en cuenta y, consecuentemente, mucha información se pierde en el curso de la reducción y síntesis de los datos.
3. El alcance de la atención de la comunidad que toma las decisiones: muy pocas personas desean saber todo lo referente a un programa, y, claro está, muy pocos tienen tiempo para dar todas sus opiniones al evaluador.
La fase divergente, por lo tanto,designa qué es lo que posiblemente puede tener valor para una investigación. La fase convergente se dedica a decidir qué resulta más aceptable de lo incompleto. El evaluador puede invertir su tiempo y su trabajo en el estudio de una cuestión concreta (o de un plan para hacerla) cuando existan las siguientes condiciones:
1. Una gran incertidumbre acerca de la respuesta.
2. Una probable abundancia de información.
3. Un bojo coste de la investigación.
4. Un alto grado de influencia, por su parte, sobre la elección de la información (el término “influencia” se comenta más abajo).
Cuando ya se ha realizado una primera lista de cuestiones, debe plantearse en términos de U, T y O, que resulten significativos para los que participan en la toma de decisiones. Además, la lista debe contener cuestiones acerca de las condiciones artificiales que arrojan una luz indirecta sobre problemas prácticos. En el proceso convergente, de cualquier manera, algunas de estas cuestiones resultan escogidas para convertirse en UTO del estudio, tras haber sido examinados detenidamente.
INFLUENCIA. Cronbach define la influencia como el <<peso de una determinada incertidumbre en el proceso de toma de decisiones>>. Al planificar una evaluación que deba ejercer alguna influencia en el futuro, un evaluador, junto con el patrocinador o el administrador, pude necesitar saber qué tipo de informaciones influyentes pueden aparecer sobre un problema concreto. Cuando el estudio haya terminado, puede juzgarse la influencia que ha ejercido sobre la comunidad la evidencia presentada en el informe. Un problema al que la comunidad entera le concede mucha atención ejercerá mucha influencia. También puede ejercer influencia si resulta significativo para un sector interesado o para un grupo no comprometido cuyo apoyo u oposición pude ser crucial. Un problema que influye en muchas decisiones, como en las de “ir-o-no-ir”, tiene más influencia que otro cuya resolución sólo afecte a detalles menores del plan.
La influencia, por lo tanto, tiene dos aspectos: la importancia del problema o elección sobre los que se basa la evidencia, y el peso que la evidencia debe resistir. El evaluador debe tener en cuenta cuánta influencia puede ejercer cada una de las soluciones posibles de un problema.
Cronbach afirma que el evaluador conoce explícitamente los valores de todo lo que parte de una evaluación examinando su influencia. Nada de lo que aparece en la lista divergente de cuestiones merece atención si los resultados no tienen valor alguno, al menos para ciertas tomas de decisiones. Cosas que sólo son <<bonitas de conocer>> no justifican la inversión de recursos para una evaluación. Hablando de la incertidumbre previa, Cronbach considera que, cuando las cosas están equilibradas, la atención debe centrarse en la cuestión de qué incertidumbre es la mayor; esto es, cuando dos cuestiones parecen ser iguales ante la investigación, hay que emplear muchos recursos para dilucidar la cuestión de cuál de ellas despierta más la incertidumbre de la comunidad.
De acuerdo con esto, el evaluador debe elaborar una escala de prioridad para el trabajo investigativo:
1. Si una cuestión tiene mucha influencia y es causa de una gran incertidumbre merece un esfuerzo que elimine esa incertidumbre.
2. Si la influencia es poca y la incertidumbre mucha, el esfuerzo está justificado.
3. Si la influencia es mucha y poca la incertidumbre previa, debe ser recopilada información incidental.
4. Si la influencia es poca y la incertidumbre también poca, el investigador no debe hacer más que mantener abiertos los canales para recibir información incidental.
Planificación de la comunicación
La unidad de los resultados
La unidad de una evaluación depende del grado en que los miembros de la comunidad que toma las decisiones comprendan los resultados y los consideren razonables. Cronbach también cree que la información se pierde invariablemente al pasar de la observación al informe. Algunas observaciones nunca son comunicadas por el observador al resto del equipo, algunas se pierden en el proceso de resumen codificador y estadístico y otras se pierden porque no todo puede ser incluido en un informe. Cuando ya se ha escrito un informe, la información pasa a través de distintos filtros, mientras algunas informaciones quedan excluidas o alteradas (además, el patrocinador puede suprimir algunas conclusiones). Y es más, la audiencia lo asimila todo selectivamente y puede tender a simplificar la información o asimilar información nueva a la luz de viejas creencias, en lugar de corregir esas creencias.
Cronbach advierte que una audiencia dispone de un tiempo limitado y de muchos problemas y programas sociales que exigen su atención. Son muy pocas las personas que leen en profundidad un informe evaluativo sobre una cuestión pública. Además, muy pocos pueden comprender toda la sólida serie de procedimientos y análisis técnicos.
La cuestión más importante es que la tarea informativa del evaluador es diferente de la que aborda comúnmente el científico. El científico se dirige a una audiencia selecta que comparte su leguaje y su estructura mental. El evaluador, por el contrario, habla a audiencias numerosas y dispersas, muchas de las cuales reciben sólo informaciones secundarias y suavizadas. El evaluador que cree que una audiencia ha malinterpretado un informe se encuentra con que es muy difícil, en incluso imposible, replicar de algún modo.
Cronbach plantea dos preguntas:
1. ¿Qué es lo que se puede incluir en un informe para facilitar la comprensión del usuario?
2. ¿Qué supone esto para las primeras operaciones de la evaluación?
La comunicación directa
El evaluador debe considerar la posibilidad de incrementar la comunicación directa. Esta comunicación puede ser comparativamente informal a causa de la audiencia que debe abarcar y porque su conocimiento público debe ser tan oportuno como sea posible. El evaluador afirma que quizás el informe más impactante es la conversación informal, ya sea en la oficina del legislador o alrededor de la mesa de conferencias.
El evaluador, según Cronbach, desempeña un papel muy parecido al del periodista que investiga asuntos de interés público, juzga qué es lo que merece la atención pública y lo presenta de una forma que atraiga la atención. Las personas que forman parte del equipo evaluativo tienen una rica experiencia y una oportunidad razonable de intercambiar puntos de vista con el equipo y los informadores. Gozan, pues, de una buena posición para llevar a cabo la tarea informativa tanto en un sentido periodístico como investigativo. Si el equipo se limita a sí mismo a la realización de informes formales, deja a otros la difusión de su mensaje.
Los evaluadores sospechan comprensiblemente de las limitaciones de sus informes. Esta clase de tensión se resuelve únicamente cuando el sistema político aclara el papel que deben desempeñar las evaluaciones. En la concepción de Cronbach, se sirve mejor al interés público mediante acuerdos institucionales que permiten a los evaluadores hablar directamente con todos los que participan en las decisiones acerca de los programas. Es importante, por lo tanto, que por lo menos algunos miembros del equipo evaluativo dominen las técnicas de la comunicación informal. Cronbach está de acuerdo con Stake, que recomienda, para la planificación de informes evaluativos en comunidades grandes, un método que emplea a menudo formas de comunicación poco convencionales, como las publicaciones, las conferencias y reproducciones dramáticas del programa como apuntes y álbumes de recortes, para llevar el mensaje a las casas. El objetivo es comunicar a la audiencia algo sobre el programa y los que participan en él, y no sólo un abstracto resumen. Es necesario que el evaluador que prevé la necesidad de una información veraz, empiece muy pronto a acumular material que proporcione color y realismo a lo que, de otra manera, será sólo un relato escueto y poco convincente.
Cronbach cree que es provechoso para los observadores archivar relatos de este tipo querevelen anécdotas ocurridas en las clases junto con los comentarios de quienes participan en el programa. Estos memorándums no deben estar bien presentados, sino proporcionar un contexto y una continuidad adecuados. Deben ser más objetivos que interpretativos. En opinión de Cronbach, <<las anécdotas ayudan maravillosamente al interés y la credibilidad de los informes>>.
El informe, ya sea en su información anecdótica o en las valoraciones formales y estadísticas debe ser altamente selectivo. Tanto los informes más cortos como los más largos, ya sea con un mínimo contenido técnico o quizá con un gran tratamiento, pueden servir a diversas audiencias. Incluso el informe más completo puede ser razonablemente sintetizado en algunas breves afirmaciones, omitiendo análisis y datos que no parezcan poder influir en las decisiones. Sin embargo, el informe completo puede presentar algunos puntos para ilustrar cualquier diferencia, así como también aspectos representativos de la categoría no diferencial, obviando así la inclinación que sienten algunos evaluadores por ahogar al lector con un despliegue de todas las diferencias.
La extrapolación de los resultados
Cronbach cree firmemente que las audiencias que toman las decisiones tienen el derecho y la necesidad de extrapolar, tanto como puedan, los resultados de cualquier estudio. Así, afirma:
Sin duda, no es suficiente terminar un informe evaluativo con la advertencia de rigor: <<Los resultados de este informe son válidos para las condiciones y la población que se ha estudiado. Es necesaria otra investigación para extender las conclusiones a otras condiciones y poblaciones.>> El mundo debe ampliar las conclusiones para continuar funcionando, y el evaluador goza de una buena posición para saber cuáles son las ampliaciones posibles.
El evaluador puede, por lo tanto, ofrecer predicciones alternativas, consistentes en distintas series de opiniones. Esto puede conducir a promover discusiones en las que salgan a la luz interpretaciones encontradas.
Sugerir que el evaluador debe llevar la interpretación tan lejos como le sea posible, con la conveniente precaución, ratifica lo acertado de conservar apuntes descriptivos comparativamente ricos. Cronbach subraya el valor de revalorar periódicamente la planificación del estudio, con el fin de prestar la debida atención a las sorpresas y los problemas consiguientes. Es conveniente dilucidar los resultados intermedios involuntarios que pueden afectar al futuro del programa antes de continuar las operaciones investigativas acerca de ese programa.
El pronóstico de la evaluación
Las evaluaciones y la política: limitaciones
Cronbach insiste en el hecho de que las evaluaciones defraudarán inevitablemente si de ellas se espera que resuelvan algún conflicto político:
La razonable aspiración del evaluador es producir información que la observación menos sistemática del programa no puede producir, o información que sea más verosímil, y por lo tanto más influyente, que la de los informes similares producto de observaciones menos sistemáticas. Una investigación limitada intenta hacer esto ofreciendo buena información acerca de unas pocas cuestiones importantes; para conseguir el mismo objetivo, una investigación más amplia produce una información más extensa pero de alguna manera menos segura. La elección de una u otra opción debe basarse en consideraciones acerca de la influencia de las decisiones.
En otras palabras, el plan evaluativo que resulta demasiado amplio y , por lo tanto, demasiado superficial para un contexto determinado, puede ser completamente apropiado para otro. El estudio que se centra estrechamente en un objetivo y obtiene una información coherente pero limitada, puede resultar adecuado para un contexto pero totalmente inadecuado para otro.
Cronbach consideraba las evaluaciones como investigaciones a corto plazo que se suponen aclarar decisiones correspondientes a la <<agenda política actual o que están a la vuelta de la esquina>>. La evaluación contribuye a fomentar la reflexión acerca de los problemas de un determinado medio social, y así genera nuevas ideas y sentimientos a partir de los cuales aparecen posibles áreas de cambio y métodos de apoyo. El valor de una evaluación, por lo tanto, no se limita a su influencia sobre el destino del programa que se estudia. Cronbach subraya que cuanto más aclare la evaluación el fenómeno, más duradera será su influencia en lo que se refiere a la compresión de los problemas y a la estructura de futuros programas.
Otras consideraciones
Cronbach considera que la evaluación tendrá una gran trascendencia cuando las planificaciones y estudios pongan el énfasis en el valor de los éxitos y fracasos. Más que en la simple valoración de los objetivos. Son necesarias nuevas intuiciones, y, por lo tanto, el investigador no debe limitarse a las cuestiones que identifique de antemano, aunque sean importantes. Es también muy importante para el evaluador no retrasar el informe hasta que haya solucionado todos los problemas que debía dilucidar. Por el contrario, el evaluador puede necesitar acudir a la comunidad que toma las decisiones antes de que el tratamiento haya seguido todo su curso. Esta es una razón por la que la estructuración, la planificación, la observación y la interpretación (destinada a quienes toman las decisiones) deben discurrir más simultáneamente que sucesivamente.
Por razones similares, Cronbach sugiere que el plan evaluativo debe permitir que el personal tenga tiempo para la reflexión en cada etapa del trabajo. Esta reflexión debe impedir, por ejemplo, que la labor se centre prematuramente en delicados o complicados problemas sociales. Y puede ofrecer a quienes toman las decisiones buenos consejos que de otro modo no serían posibles.
Cronbach cree que una descripción que favorezca un estilo concreto de evaluación o ponga el énfasis en ciertos controles, es de una aplicabilidad limitado. Según esta teoría, los evaluadores deben acudir a los juicios prácticos acerca de cuestiones sustanciales y políticas, así como metodológicas. No deben emitir juicios sin asesoramiento; deben aliarse con los patrocinadores, los colegas profesionales o las partes políticamente interesadas:
El evaluador que utilice este sistema de localizar y sopesar adecuadamente las cuestiones evaluativas necesita una gran preparación, más amplia de la que suele recibir. Las teorías políticas, filosóficas y organizativas pueden ser tan importantes, ala hora de planificar una evaluación potencialmente influyente, como el conocimiento de las estadísticas y de la llamada teoría del desarrollo del niño.
Como antes ya hicieron Stufflebeam y Stakes, Cronbach afirma que cuando la evaluación se divide entre los miembros de un equipo, el equipo debe trabajar como una sola unidad si desea que aparezcan las instituciones. Aunque los miembros de un equipo deben conocer a fondo los aspectos principales del estudio, los que están en el centro del proyecto deben asumir la mayor responsabilidad a la hora de establecer las prioridades, interpretar las observaciones y recopilar experiencias de primera mano de los clientes y otros implicados. De esta manera, el equipo, considerado como un todo, se situará en la perspectiva correcta e interpretará adecuadamente los datos computados y otras informaciones. Es necesario, pues, que algunos miembros del equipo dispongan de observaciones de primera mano y las comuniquen a los otros miembros.
Finalmente, Cronbach afirma que la evaluación puede resultar peligrosa si la sociedad restringe los programas que los evaluadores condenan, y ponen en marcha aquellos que recomiendan. Los evaluadores prestan un servicio valioso y satisfactorio, descubriendo hechos y relaciones que a los observadores casuales les pasan por alto. Cronbach cree que los evaluadores tendrán una influencia mayor en los años venideros, con el perfeccionamiento de su arte y con la progresiva confianza de la sociedad <<en los estudios sistemáticos que ofrecen para proporcionar información>>.
--------------------------------------------------------------------------------[1] UTO: datos generales que participan en un estudio
uto: parte o todo de un conjunto de estudio o datos de una sola unidad o a los de toda la muestra.
[2] *UTOS: aspectos del informe que pueden extrapolarse.
[3] * El Head Start y el Follow Through son dos momentos de un programa de aprendizaje; el primero, de principios básicos y el segundo introduce ya en la tarea que se trata de asimilar. (T.)