Edward A Suchman y el método científico - Rose Marquez

Vista previa del material en texto

UNIDAD 2
	La evaluación, sus modelos más significativos.
	LecturaTres
	EDWARD A. SUCHMAN Y EL METODO
CIENTÍFICO DE EVALUACIÓN
	«Edward A. Suchman y el método científico
de evaluación »
 
Edward Suchman creía que la evaluación, como todas las investigaciones, debía basarse en la lógica del método científico. Pensaba que un evaluador debía utilizar cualquier técnica investigativa que resultara útil y factible, de acuerdo con la circunstancias de cada evaluación. Suchman, que alcanzó el puesto de profesor de sociología en la Universidad de Pittsburg (antes de su prematura muerte en 1971), trabajó intensamente en el campo de las ciencias sociales, particularmente en salud pública. Sus publicaciones se centraron en el área la investigación social, y su principal contribución a la evaluación es su interesante y documentado libro Evaluative Research: Principles and Practice in Public Service and Social Actino Programs (1967).
Suchman no estaba solo en su creencia de que, aunque los evaluadores son básicamente investigadores, deben llegar a un equilibrio entre el rigor del método y la situación en la que deben actuar. Los primeros autores que propugnaron un método similar para la metodología evaluativa fueron KLINEBERG (1955), JAMES (1958), HERZOG(1959), y FLECK (1961).
Suchman distinguía entre evaluación e investigación evaluativa. A la primera se refería por lo general como un “proceso de emitir juicios de valor”, mientras que consideraba que la investigación evaluativa consistía en los “procedimientos de recopilación y análisis de datos que aumentan la posibilidad de demostrar, mas que de asegurar, el valor de alguna actividad social”. Cuando hablaba del proceso evaluativo, proponía un método científico. Veía la evaluación como un proceso social continuo, que suponía intrínsecamente una combinación d suposiciones básicas acerca de la actividad que estaba siendo evaluada y de los valores personales de quienes participaban en el estudio, incluyendo al evaluador. Insistía en que la evaluación debe necesariamente convertirse en un proceso científico que de cuenta de esta subjetividad intrínseca, ya que no puede ser eliminada.
Aspectos conceptuales de la evaluación
Como ya se ha afirmado, Suchman considera que la evaluación es un proceso científico. De acuerdo con esta postura, no creía que la especialidad evaluativa tuviera una metodología distinta de la del método científico. Por lo tanto, conceptualizó la investigación evaluativa como “la primera y principal investigación, que debe acercarse cuanto le sea posible a las normas comúnmente aceptadas de la metodología investigativa”. Los mismos procedimientos que se utilizaban para descubrir el conocimiento podían ser utilizados para evaluar el nivel de éxito obtenido en la aplicación de este conocimiento. Suchman defendía firmemente la concepción de que, adoptando el método científico, un evaluador conseguirá resultados más objetivos y de una exactitud y validez fácilmente discernibles.
Suchman afirmaba que la investigación básica tenía un propósito diferente al de la investigación evaluativa. La investigación básico es el descubrimiento del conocimiento; la acción administrativa no es una consecuencia necesaria. En cambio, la investigación evaluativa es investigación aplicada, y su propósito es determinar hasta qué punto un programa específico ha conseguido el resultado deseado. Los resultados siempre serán utilizados por el administrador para tomar decisiones acerca del futuro del programa. Conservando en la mente el papel dominante del criterio administrativo a la hora de determinar la validez del estudio llevado a cabo, el evaluador necesita estar continuamente al tanto de la potencial utilidad de los resultados.
Este énfasis en la necesidad de la utilidad de los resultados puede convertirse, en opinión de Shucman, en un problema acuciante para el evaluador. A causa de la fuerza de los intereses creados, el administrador del programa intentará controlar la evaluación, por lo menos hasta el punto de definir los objetivos del programa que va a ser evaluado. Aún mucho más que el investigador básico, el evaluador puede perder el control de la situación investigativa. Así, no son los conceptos investigativos, por sí mismos, los que dificultan los estudios evaluativos, “sino más bien los problemas prácticos derivados de asumir estos principios ante las consideraciones administrativas”.
Cuando se preguntaba si la investigación evaluativa estaba preparada para desempeñar un papel más importante, Suchman concluía diciendo que no. El análisis sistemático de los principios teóricos, metodológicos y administrativos que subyacían en los objetivos y procedimientos del evaluador, se hacía necesario, antes de que pudieran darse, con confianza, positivos y significativos pasos hacia delante. Ahora hablaremos de algunos aspectos de las concepciones de Suchman acerca de estos tres aspectos (relacionados entre sí) de la evaluación.
Propósitos y principios de la evaluación
Suchman asumía los propósitos evaluativos expuestos por BIGMAN (1961):
1. Descubrir si los objetivos han sido alcanzados y de qué manera.
2. Determinar las razones de cada uno de los éxitos y fracasos.
3. Descubrir los principios que subyacen en un programa que ha tenido éxito.
4. Dirigir el curso de los experimentos mediante técnicas que aumenten su efectividad.
5. Sentar las bases de una futura investigación sobre las razones del relativo éxito de técnicas alternativas.
6. Redefinir los medios que hay que utilizar para alcanzar los objetivos, así como incluso las submetas, a la luz de los descubrimientos de la investigación.
Estos propósitos, en opinión de Suchman, sugieren una relación intrínseca entre la planificación del programa y su desarrollo, por una parte, y la evaluación, por otra. Los medios para alcanzar los propósitos de Bigman, a saber, la investigación educativa, deben proporcionar la información básica para planificar y, si es necesario, replanificar los programas. Así como la investigación tradicional suele conducir hacia una comprensión más amplia de los procesos básicos, la investigación evaluativa debe “conducir a una mayor comprensión de los procesos aplicados o administrativos”. Suchman también afirmaba que los programas en acción estaban muy influidos por los procesos administrativos.
Un principio fuertemente defendido por Suchman era aquel según el cual situaciones distintas necesitan distintos métodos evaluativos, incluyendo destinitos métodos y criterios técnicos para valorar el éxito obtenido en la consecución de los objetivos deseados. Basándose en la suposición de que un estudio evaluativo puede tomar formas distintas y en que la función principal de muchos estudios es ayudar en la planificación, desarrollo y operatividad de los programas, Suchman llegó a distinguir, como ya se ha dicho, entre evaluación e investigación evaluativa. La primera designa el proceso de juzgar el mérito de alguna actividad, sin hacer caso del método empleado. La investigación evaluativa, por su parte, designa la utilización específica del método científico con el propósito de realizar una evaluación. En otras palabras, la evaluación puede ser considerada como una meta, mientras que la investigación evaluativa puede ser considerada como un medio concreto de alcanzar esa meta.
Aunque Suchman consideraba que la utilización de la metodología científica necesitaba un énfasis especial, no excluía la utilización de métodos no científicos. Reconocía que en la planificación y realización del programa, muchas cuestiones acerca de la evaluación podían ser respondidas sin necesidad de investigación. Sin embargo, mantenía que si los requisitos básicos de la investigación evaluativa podían ser satisfechos –esto es, las suposiciones subyacentes en los objetivos examinados, el desarrollo de criterios valorables específicamente relacionados con los objetivos y el control de una situación establecida--, los resultados serían conclusiones basadas en investigaciones convincentes, y no sólo en juicios subjetivos.Los valores y el proceso evaluativo
Una precondición de cualquier estudio evaluativo, según Suchman, es la presencia de alguna actividad cuyos objetivos tengan algún tipo de valor. Define el valor como “cualquier aspecto de una situación, actividad u objeto que tenga un interés part5icular, como ser bueno, malo, deseable o cosas por el estilo”. Los valores, por lo tanto, pueden estar construidos como modos de organizar la actividad humana basados en principios que determinan tanto las metas como el perfeccionamiento de los programas, así como el medio de alcanzar esas metas.
Suchman consideraba que el proceso evaluativo parte de, y regresa a, la formación de los valores, tal, como muestra la figura
	
La evaluación empieza con un valor concreto (ya sea explícito o implícito), luego procede a definir la meta, esto es, a hacer una selección entre todas las metas alternativas posibles. Cada una de ellas compite con las demás en recursos y esfuerzo. Seguidamente, se seleccionan los criterios para valorar la consecución de la meta; la naturaleza de la evaluación determinará el tipo de evaluación que se debe utilizar. La próxima etapa es la identificación de algún tipo de actividad para alcanzar la meta (el tratamiento) y la operacionalización de esta actividad. Esta etapa incluye la determinación del grado en que el programa operativo ha alcanzado el objetivo predeterminado. Finalmente, basándose en esta evaluación, se emite un juicio acerca de si esta actividad dirigida hacia la meta ha resultado útil.
El acto de juzgar devuelve la actividad a la formación del valor. El concepto de Suchman acerca del movimiento cíclico del proceso evaluativo enfatiza la fuerte interrelación existente entre la evaluación y la naturaleza, basada en el valor de la planificación y la operación del programa. Como resultado, siempre existe la posibilidad de conflicto de valores entre el administrador del programa y el evaluador. Este problema será discutido más tarde en esta misma unidad. En términos generales, puede decirse que los valores desempeñan un amplio papel en la determinación de los objetivos de los programas de servicio social (como los de naturaleza educativa) y que el proceso evaluativo que presenta consecuencias deseadas de estos programas debe presentar valores, especialmente valores conflictivos.
Las presuposiciones en los estudios evaluativos
La principal suposición de Suchman acerca de los estudios evaluativos es que cada programa tiene algún valor con algún propósito. Así, la característica más identificable de la investigación evaluativa “es la presencia de alguna meta u objetivo cuyo nivel de consecución constituye el principal centro de atención del problema investigativo”.
Cuando ha sido expuesta una afirmación clara acerca del objetivo del programa que va a ser evaluado, la evaluación puede ser vista como un estudio del cambio. El programa que debe ser evaluado constituye una variable casual o independiente, y el cambio deseado es similar al efecto o variable dependiente. Caracterizando así un estudio evaluativo, Suchman afirmaba que el proyecto debía ser formulado como series de hipótesis que afirmen que “las actividades A, B, y C producirán los resultados X, Y y Z”.
Los objetivos y las presuposiciones de un estudio evaluativo acaban fuertemente interrelacionadas cuando se necesita una respuesta, antes de que empiece es estudio, para las siguientes y difíciles preguntas: ¿Qué tipo de cambios se desea? ¿Qué medios deben utilizarse para efectuar este cambio? ¿Qué signos convertirán el cambio en reconocible? Antes de responder a estas preguntas, el evaluador debe ser capaz de diagnosticar la presencia o ausencia de un problema social y su correspondiente sistema de valores, y definir las metas indicativas del progreso en la mejora de esa condición.
Suchman propone seis preguntas que deben ser respondida cuando se formulen los objetivos de un programa con propósitos evaluativos y, claro está, la planificación del propio estudio:
1. ¿Cuál es la naturaleza del contenido del objetivo (por ejemplo, cambios en los conocimientos, las actitudes y/o el comportamiento)?
2. ¿Quién es el destinatario del programa (por ejemplo, grupos grandes o pequeños)?
3. ¿Cuándo debe producirse el cambio deseado (metas a corto o largo plazo, o programas cíclicos y repetitivos)?
4. ¿Los objetivos son unitarios o múltiples (por ejemplo, los programas son similares para todos los usuarios o diferentes para distintos grupos)?
5. ¿Cuál es la magnitud deseada del efecto (por ejemplo, resultados concentrados o dispersos)?
6. ¿Cómo es el objetivo que debe ser alcanzado (por ejemplo, cooperación voluntaria o sanciones obligatorias)?
Muchas respuestas que pueden darse a estas preguntas requieren un examen de las presuposiciones subyacentes en los objetivos fijados. Suchman cree que la obligación de un evaluador es poner en duda estas presuposiciones, si es necesario, puesto que sólo entonces podrá aplicarse de verdad el método científico al proceso evaluativo.
Clasificó las presuposiciones en dos clases: presuposiciones de valor y presuposiciones de validez. Las presuposiciones de valor pertenecen al sistema de creencias que determinan qué es “bueno” para una sociedad o para una parte de esa sociedad. Por ejemplo, un nuevo programa educativo puede ser juzgado favorable o desfavorable por los distintos grupos de un distrito escolar. La pregunta a la que debe responder el evaluador antes de investigar el programa es: ¿qué se considera un éxito, y desde el punto de vista de quién?
Las presuposiciones de validez están relacionadas específicamente con los objetivos del programa. Estas presuposiciones, por ejemplo, son la base de la creencia de los educadores acerca de que los primeros programas elementales deben estar en consonancia con las influencias del hogar de cada niño. Suchman insistía en que las respuestas a todas las preguntas sobre la validez nunca podían darse antes del inicio de un programa. El administrador debe atender a su propia experiencia y habilidad para desarrollar programas prácticos cuyas presuposiciones aparezcan claramente fijadas. Entonces, la tares del evaluador consiste en demostrar o refutar el significado de estas presuposiciones.
Tipos de evaluación
Siguiendo a HERZOG (1959), Suchman hablaba de tres tipos de estudios evaluativos. La evaluación ultima se refiere a la determinación del éxito global de un programa según los objetivos que se habían fijado. La investigación preevaluativa trata de los problemas intermedios (por ejemplo, el desarrollo de explicaciones válidas y exactas acerca del problema, la definición de las metas y el perfeccionamiento de las técnicas) que deben ser resueltos antes de abordar la evaluación final. La evaluación a corto plazo busca información específica acerca de procedimientos concretos en términos de utilidad inmediata.
Con cualquier tipo de evaluación que se utilice, siempre se tiende, según Suchman, a idealizar los objetivos del estudio. Sin despreciar la obvia importancia de los idealizados objetivos finales, Suchman afirma que son los objetivos prácticos e inmediatos los que más a menudo representan el paso del propósito al programa. Recomendaba que la evaluación del éxito obtenido en la consecución de estos objetivos prácticos.
Suchman menciona un importante error que realizan los evaluadores cuando pasan de la evaluación global de un programa a una evaluación segmentada de cada una de sus partes. Ocurre demasiado a menudo que se evalúan los componentes de un programa con criterios de éxito final más que con criterios intermedios que resulten relevantes. Por lo tanto, debe existir una cadena acumulativa de objetivos que vaya desde el objetivo más inmediatamente practico hasta la última (y quizás idealizada) meta. Además, el conocimiento nunca se alcanza del todo, y deben ser rellenados sólo con presuposiciones relativas a la validez de estas etapas. Así, las presuposiciones de validez acaban siendo “el cimiento indispensable que hace cuajar la jerarquía de los objetivos”.Categorías de la evaluación
Además de modificar los niveles de los objetivos, Suchman consideraba que la investigación evaluativa debía ser entendida según categorías de efecto distintas. Estas categorías representan varios criterios de éxito (o fracaso) con los que puede juzgarse un programa. Él proponía cinco categorías:
1. Esfuerzo. Las evaluaciones de esta categoría presentan, como criterio de éxito, la calidad y la cantidad de las actividades producidas durante el programa. Es una valoración de lo que se hace y no del producto. Indica, por lo menos, que se está haciendo algo para solucionar el problema.
2. Trabajo. Los criterios de esta área más los resultados del esfuerzo que el esfuerzo por sí mismo.
3. Suficiencia del trabajo. Este criterio de éxito se refiere al grado en que el trabajo efectuado coincide, por comparación, con las necesidades expuestas (de acuerdo con los objetivos definidos).
4. Eficiencia. La evaluación, en esta categoría, plantea la pregunta: ¿es la eficiencia la capacidad de un individuo, organización, facilidad, operación o actividad, para producir resultados en proporción al esfuerzo realizado?
5. Proceso. El propósito de esta categoría es investigar explicaciones básicas acerca de las razones que conducen a los resultados. Suchman apuntaba cuatro dimensiones para el análisis de un proceso: a) los atributos del programa, b) la gene a la que se afecta el programa, c) el contexto en el que se desarrolla el programa y d) los diferentes tipos de efectos producidos por el programa (por ejemplo, efectos múltiples o unitarios y duración de los efectos).
En resumen, al discutir los tipos y categorías de la investigación, Suchman apuntaba el proceso básico que debía seguirse a la hora de dirigir un estudio evaluativo. Este proceso supone objetivos fijos en términos de finalidad, metas intermedias o inmediatas, el examen de las presuposiciones y la formulación de criterios de esfuerzo, trabajo, suficiencia, eficiencia y proceso.
Los aspectos metodológicos de la evaluación
Evaluación contra investigación no evaluativa
Suchman delineó claramente las diferencias existentes entre los objetivos y las facultades investigativas de la evaluación, oponiéndolas a las de la investigación no evaluativa (esto es, básica o pura). Se dio cuenta de que la diferencia no estaba en que una fuera acertada y la otra equivocada, sino en una “compleja mezcla de distintos valores, propósitos y recursos”.
La investigación evaluativa es un tipo especial de investigación aplicada cuya meta, a diferencia de la investigación no evaluativa, no es el descubrimiento del conocimiento, sino valorar la aplicación de este conocimiento. Poniendo principalmente el énfasis en la utilidad, la investigación evaluativa debe proporcionar información para la planificación del programa, su realización y su desarrollo. La investigación evaluativa asume también las particulares características de la investigación aplicada, que permite que las predicciones se conviertan en un resultado de la investigación. Las recomendaciones que se hacen en los informes evaluativos son, por otra parte, ejemplos de predicciones.
Comparándolo con la investigación no evaluativa, el estudio evaluativo contiene una amplia serie de variables sobre las que el evaluador tiene muy poco o ningún, control. Suchman insistía en que en la investigación evaluativa, las variables que se pueden observar y valorar son los fenómenos de interés; el programa que se va realizando tiene como meta el cambio de los valores de estas valoraciones. Mientras el concepto subyacente el de importancia primordial en la investigación básica, no ocurre lo mismo en la investigación aplicada, una de cuyas formas es la investigación evaluativa.
Suchman afirmaba que la evaluación de un programa puede ser muy poco generalizable, puesto que la evaluación es aplicable únicamente al programa que está siendo evaluado y a sus ramificaciones contextuales. Así pues, existe una razón de por qué tantos estudios evaluativos aparecen repetitivos (siempre existe la incertidumbre acerca de si un programa que resulta efectivo en una situación lo será en también otra). Además, cuando la solución del problema que es el objetivo de la investigación evaluativa parece ser “estimular la toma de decisiones administrativas respecto a algunas necesidades inmediatas y especificas” las futuras dificultades referentes a su validez externa se presentan por sí mismas.
Aproximaciones metodológicas a la evaluación
Las diferencias existentes entre los estudios evaluativos y los no evaluativos, según Suchman, se reflejan en la forma que toma la exposición del problema. Mientras la investigación pura (investigación no evaluativa) pregunta si A está relacionado con B y comprueba esta relación experimentalmente (bajo condiciones controladas), la investigación aplicada (investigación evaluativa) pregunta si A intenta efectivamente cambiar a B y procura responder a esta pregunta empíricamente, manipulando A y valorando su efecto sobre B. En la investigación no evaluativa, es muy importante el análisis del proceso mediante el cual A se relaciona con B, pero en la investigación evaluativa “tiene relativamente poca importancia el hecho de comprender por qué A produce B”. Los lectores deben advertir que, al hacer esta afirmación, Suchman se opone a un punto de vista que expondremos dentro de poco: el que afirma que la evaluación debe poner el énfasis en el proceso que se desarrolla entre el inicio del programa y sus conclusiones.
Las diferencias, además, entre la investigación evaluativa y la no evaluativa no son absolutas, pero puede decirse que existen siempre. Suchman pensaba que un evaluador debe, por lo tanto, atender tanto como le sea posible en la practica a las reglas de la investigación científica, pero el evaluador debe exponer y justificar dónde y cuándo estas reglas deben adaptarse a la realidad.
De cualquier forma, puede argüirse que, si A es falsamente interpretado como causa de B, puede desarrollarse un costoso programa basado en A, solo para descubrir que no se produce el efecto deseado a un cambio en la “verdadera” causa, que puede estar mínimamente relacionada con A. Suchman recomendaba que para descubrir una causa falsa, el plan de la evaluación debe incluir un análisis del proceso que se desarrolla entre el inicio del programa y sus conclusiones. Este método exige un plan de investigación evaluativa que se convierta en “una parte integrante del propio programa entendido como servicio”. Una evaluación continua es un reconocimiento de que la operación de un programa esta dominada por muchas condiciones cambiantes, incluyendo fuerzas que están mas allá del control del administrador del programa, pero también la formación que va llegando continuamente, que puede influir tanto sobre los objetivos del programa como sobre el proceso. Teniendo esto presente, un evaluador debe ser indulgente con las contingencias del desarrollo y pensar, al diseñar el plan, en la recopilación de datos adicionales, que de verdad son necesarios.
Variaciones en el plan de investigación evaluativa
Suchman afirmaba que la investigación evaluativa no tenia una metodología propia; al tratarse de una investigación, se atiene a los principios del método científico tanto como les es posible. Por lo tanto, utiliza una variedad de reconocidos planes de investigación y las correspondientes técnicas científicas para la recopilación y el análisis de datos. La pregunta más importante que debe responderse (como ya previó Suchman) no es si la investigación evaluativa es científica, sino hasta qué punto la investigación evaluativa puede hacer el mejor uso posible de los planes y técnicas de investigación disponibles.
Dando mucha importancia a la relación entre las causas y efectos de un programa, por una parte, y la planificación por otra, Suchman propuso un modelo que demuestra que la secuencia de causas propuesta para una evaluación se convierte en uno mas de los campos de acción y actividades que conducen a las conclusiones
El diagrama dela figura (abajo) muestra ese modelo: un sistema abierto, un modelo naturalista y multicausal, que se opone al sistema cerrado de la investigación no evaluativa.
	
Concepto multicasual de efvaluación
 
 
 
 
Este modelo es muy importante para la planificación de los estudios de investigación evaluativa. Por ejemplo, indica que los programas sociales son, inevitablemente, evaluados en el contexto de otros programas o actividades que afectan al objeto en cuestión. Así, el plan de estudio debe tomar precauciones para tener en cuenta las precondiciones y los acontecimientos que pueden influir en la actividad del programa inicial. Los efectos, tanto los deseados como los indeseados, son, probablemente, consecuencia de la falta de un control experimental, algo inherente a cualquier teoría. El plan debe prevenir, de nuevo, la investigación de estos efectos.
Principios de planificación de la investigación evaluativa
Suchman hizo una lista de principios que deben ser observados al trazar el plan de un estudio evaluativo. Los principales son éstos:
1. Un buen plan es aquel que resulta ser el mas apropiado para el propósito del estudio; No importa tanto si es o no es científico.
2. No hay nada como un plan correcto y simple; las hipótesis pueden estudiarse por medio de diferentes métodos y utilizando diversos planes.
3. Todo plan de investigación representa un compromiso dictado por muchas consideraciones practicas.
4. Un plan de investigación evaluativa no es algo muy especifico que deba ser seguido sin desviación alguna, sino una serie de indicaciones para asegurar que se va en la buena dirección.
En el capitulo 6 de su libro de 1967, SUCHMAN proporciona detalles acerca de posibles variaciones que pueden darse en el plan de investigación evaluativa. Los lectores interesados quizá deseen investigar estos planes. Se encontraran con que Suchman creía que el estudio ideal debía adaptarse al modelo experimental clásico, afirmando también que, en realidad, los proyectos de investigación evaluativa utilizan, por lo general, alguna variación y adaptación de este modelo. En un sentido amplio la formulación de los objetivos y el plan de un estudio de investigación evaluativa depende de quién dirija el estudio y de la utilización anticipada que se haga de las conclusiones. Suchman insistía en que, mientras planifica un estudio, un evaluador debe saber que las consideraciones sobre la validez son cruciales.
La valoración de los efectos
De acuerdo con Suchman, la valoración de los efectos de un programa requiere que se especifiquen las cuatro principales categorías de variables:
1. Partes integrantes o procesos del programa.
2. Población estimada y grupos a los que realmente concierne.
3. Condiciones situacionales en las que se desarrolla el programa.
4. Efectos diferenciales del programa.
Suchman afirmaba que la determinación de la exactitud y la validez de los criterios de efectividad de estas variables origina ciertos problemas. En la mayor parte de ellos, el evaluador no debe valorar directamente el fenómeno que esta siendo estudiado, sino las clasificaciones de esos fenómenos, entonces aparecen dos problemas obvios. Primero, ¿cómo debe el evaluador tomar una decisión acerca de los indicadores de los criterios que debe emplear para alcanzar los objetivos del programa? Y segundo, ¿cómo debe el evaluador seleccionar, de entre todos los posibles indicadores, aquellos que pueden ser utilizados para un propósito concreto?
Al exponer las soluciones a estos problemas, Suchman comenta aspectos de los conceptos metodológicos de fiabilidad y validez con gran amplitud. En particular, subraya que los evaluadores deben estar enterados de, y de esforzarse por controlar, las principales causas de variación sistemática en la investigación evaluativa:
1. Fiabilidad del sujeto: actitudes y comportamiento afectado por el estado de animo, la fatiga, etc.
2. Fiabilidad del observador: factores personales que influyen en la interpretación del tema.
3. Fiabilidad de la situación: condiciones de la valoración que producen cambios en los resultados, que no reflejan el “verdadero” cambio que se ha producido.
4. Fiabilidad del instrumento: todo lo anterior (combinado) o aspectos específicos del propio instrumento (por ejemplo, preguntas mal redactadas) afectan la fiabilidad.
5. Fiabilidad del proceso: enumerar los errores y demás cosas que pueden fortuitamente reducir la fiabilidad.
La validez presenta muchos más problemas que la fiabilidad, porque no sólo se refiere a variaciones especificas, sino también al significado de todo el proceso evaluativo. La validez de un estudio evaluativo se refiere a la validez de sus valoraciones especificas, así como a la teoría subyacente a las hipótesis que relacionan las actividades evaluativas con su objetivo. Exponemos a continuación las causas de los errores referentes a la validez en los estudios evaluativos:
1. Validez proporcional: la utilización de presuposiciones o teorías incorrectas o inadecuadas.
2. Validez del instrumento: la utilización de clasificaciones operacionalmente irrelevantes.
3. Validez del muestreo: falta de representatividad de la población escogida.
4. Validez del observador (evaluador): introducción de errores importantes basados en inclinaciones personales o nociones preconcebidas.
5. Validez del sujeto: hábitos y predisposiciones que conducen a errores importantes.
6. Validez de la administración: las condiciones del estudio (por ejemplo, los métodos de recopilación de datos) constituyen una causa de invalidez.
7. Validez del análisis: errores deliberados o involuntarios conducen a la invalidez.
Los efectos diferenciales e un programa abarcan lo que Suchman llama efectos inesperados o involuntarios. Los fenómenos sociales son tan complejos e interrelacionados que resulta imposible cambiar uno de sus aspectos sin producir una serie de cambios en cadena, lo que Suchman llama efectos secundarios. Estos efectos secundarios de un programa pueden ser particularmente fastidiosos cuando el programa esta pensado para ser ampliamente difundido. Los programas federales de educación pertenecen a esta categoría. El evaluador y el administrador del programa deben, por lo tanto, ser cautos y no aceptar fácilmente los efectos secundarios positivos como justificación de la consecución de los objetivos previamente fijados de un programa; las decisiones referentes a la generalización deben hacerse según esta base. De cualquier manera, es también importante comprender que la investigación es un proceso de aprendizaje y de los efectos secundarios (deseados o indeseados) y el análisis de estos efectos, son parte integrante del proceso.
La evaluación y la administración del programa
Como se ha dicho al principio, Suchman consideraba que el propósito de una evaluación esa, por lo general, la utilidad. Su principal objetivo era aumentar la efectividad en la administración del programa. Relacionado con este objetivo esta el concepto según el cual la administración de un estudio evaluativo es una forma de actividad programática; consecuentemente, la planificación y ejecución de los estudios evaluativos requieren recursos organizativos. Suchman reconocía la existencia de una intensa relación entre la investigación evaluativa, por una parte, y la practica administrativa, por otra.
La evaluación y la ciencia administrativa
La investigación evaluativa puede desafiar a la practica tradicional y llevar a cavo la útil función de hacer más eficientes estas actividades. Los estudios evaluativos de programas anteriores cumplen la importante función de sacar a la luz esfuerzos improductivos. Con relación a los programas actuales, la investigación evaluativa puede valorar el progreso experimentado y adelantar nuevas estrategias. Y en lo que se refiere a programas futuros, la investigación evaluativa puede prestar una gran contribución a la definición de objetivos.
Suchman afirmaba que la evaluación había sido tradicionalmente considerada como el proceso final de la función administrativa que representa planificarun programa, siendo los procesos anteriores la investigación, la planificación, la demostración u la ejecución. De cualquier forma, insistía en que la evaluación, como estudio del a efectividad, puede darse en todas las etapas del proceso. Por ejemplo, un administrador puede desear evaluar, o haber evaluado, los resultados de un estudio investigativo o la viabilidad de un programa durante su desarrollo. De los diversos procesos, según Suchman, la planificación y la ejecución requieren una evaluación más cuidadosa, y la prioridad mas alta debe concederse a los programas operativos.
La evaluación de la etapa operacional (o ejecución) –“proporcionar una valoración de hasta qué punto el programa ha alcanzado los resultados deseados” –desempeña, entre otras, estas valiosas funciones:
1. Especifica los puntos fuertes y los débiles de la operación programática y sugiere cambios y modificaciones en procedimientos y objetivos.
2. Examina la eficiencia y suficiencia de los programas comparándolos con otros métodos a la luz de las necesidades.
3. Sugiere nuevos métodos para futuros programas.
4. Establece prioridades entre los programas, según la escasez de recursos como los fondos, el personal y el tiempo.
5. Facilita una responzabilización publica.
6. Fomenta las actitudes morales y criticas del personal implicándolo en la evaluación de su propio trabajo.
Debe destacarse que cada función evaluativa tiene una conexión real con las funciones administrativas.
Suchman advertía que la investigación evaluativa, con todas sus consideraciones administrativas, debe ser acometida con otros propósitos aparte del perfeccionamiento del programa. Por ejemplo, un administrador puede intentar justificar un mal programa con informes manipulados (“música celestial”), ocultar los fallos de un programa evitando los métodos objetivos (“blanqueamiento”) o destituir un programa sin tener en cuenta su valor para librase de él (“submarino”). Dado que las estructuras administrativas tienden a perpetuarse a sí mismas, deben tenerse también en cuenta que los resultados de una evaluación podrían ser mejor acogidos si el estudio tuviera la capacidad de debilitar el poder de la evaluación. Suchman no creía que este omnipresente problema tuviera una fácil solución.
Administración de los estudios evaluativos:algunas áreas problemáticas
Una evaluación es “una forma de actividad social que abarca varias relaciones interpersonales altamente significativas, que se dan entre los investigadores, el personal del programa y los sujetos”. El evaluador no puede eludir un estas interrelaciones. Además de los aspectos normativos de la investigación, un evaluador trata con problemas muy relacionados con los intereses creados. Por lo tanto, atendiendo mas al éxito o al fracaso que al objetivo escolar, las recomendaciones del evaluador pueden determinar la continuación o el cambio de un programa. La precisión del juicio del evaluador puede muy bien depender de la calidad de las actividades complementarias del evaluador y el personal más importante del estudio.
Si las relaciones entre los papeles del evaluador y del administrador se deterioran, pueden abordarse varias estrategias para mejorarlas. Suchman proporciona algunas sugerencias:
1. desarrollar un optimo nivel de expectación para la orientación inicial por ambas partes
2. Clarificar los papeles y actividades de ambas partes.
3. Fomentar las técnicas de preparación inicial (organizado por ambas partes).
Suchman advertía que, sobre todo en el caso de evaluaciones extremas, los evaluadores necesitan saber que el personal del programa se siente como si lo estuvieran juzgando y, por lo tanto, amenazando. La coordinación entre el evaluador y los administradores puede ser un largo camino hacia la prevención del conflicto. “El evaluador y el personal del programa deberían ponerse de acuerdo antes de que empiece la evaluación, con el fin de discutir los objetivos y el plan de procedimientos.”
La pregunta ¿quién debe hacer la evaluación?, según Suchman, no tiene una respuesta fácil. Tanto las evaluaciones internas como las externas tienen ventajas y desventajas. A pesar de que no se implica tanto personalmente y de que no sufre tantas presiones para llegar a un compromiso en el plan de investigación y en la interpretación, el investigador externo es menos apropiado para comprender los objetivos y procedimientos del programa o la viabilidad de las recomendaciones. Un evaluador interno estará más informado acerca del programa, pero su falta de objetividad es un peligro omnipresente. Aunque las circunstancias son las que dicen qué estrategia es preferible, Suchman aconseja, cuando sea posible, una combinación de ambas.
Otro problema omnipresente se refiere a las distintas posiciones valorativas del evaluador y el administrador acerca de la definición de los objetivos. En general, el evaluador tiende a valorar los logros, mientras que el administrador del programa se ocupa de los objetivos inmediatos. Suchman subrayaba que la evaluación está concebida para ayudar, y no estorbar, en la realización de un proyecto. Así, el evaluador puede acabar haciendo un informe de muy poco valor si se obsesiona con la precisión de las valoraciones. Y, por otra parte, la preocupación por las últimas técnicas, y el desinterés por el significado total del proyecto, es igualmente una mala práctica. Una explicación, por parte del evaluador y del administrador, de las metas del estudio, resulta crucial para la solución de los problemas planteados por las distintas posturas valorativas, como ocurre en los ejemplos reseñados más arriba.
Acuerdos para solucionar los problemas administrativos
Ya se ha afirmado que Suchman consideraba que los estudios evaluativos debían alcanzar el mejor compromiso posible entre las exigencias de la ciencia y las condiciones realistas de la investigación. A menudo, de cualquier forma, las decisiones acerca del compromiso deben tomarse, por los menos en parte, atendiendo a los problemas o presiones planteados por los administradores. Si se acepta que la investigación evaluativa está destinada a proporcionar una base a las decisiones administrativas, el plan de estudio debe acomodarse a la política administrativa y otras cosas. El evaluador necesita recordar siempre que una evaluación se desarrolla bajo las condiciones naturales y que sus técnicas investigativas deben necesariamente adaptarse a la realidad de la recopilación y el análisis de datos. La ingenuidad y confianza del evaluador, sin embargo, necesitan el mayor control científico posible.
Finalmente, en sus comentarios sobre los papeles del evaluador y el administrador, Suchman afirmaba que ambas partes deben consultarse acerca de la viabilidad y las posibilidades de perfeccionamiento de las conclusiones, mientras que los resultados de una evaluación deben ser traducidos a juicios referentes al éxito o fracaso del programa. Para que tengan un valor real, los resultados deben ser claros indicadores de futuras direcciones. Un evaluador puede cometer un gran error si se hace una lista de recomendaciones sin consultar al administrador y al personal del programa. Una consulta puede evitar la presentación de resultados erróneos que no tengan en cuenta las muchas contingencias en la práctica, incluyendo las funciones interpersonales y administrativas.