Descarga la aplicación para disfrutar aún más
Vista previa del material en texto
INSTITUTO TECNOLOGICO Y DE ESTUDIOS SUPERIORES DE MONTERREY CAMPUS l1~UCl1~IO (;AH.ZA SADA .ANAUSIS CRITICO OE LA F:VAWACION DEL CURSO DE FISICA REMEDIAL EN EL ITESM-CAM'PUS ESTADO DE MEXICO Y PRESENTACION ,DE UN MODELO PARA LA ELABORACION DE LAS PRUEBAS TES I S PRESENTADA COMO REQUISITO PARCIAL PARA OPTAR AL TITULO DE MAESTRO EN EDUCACION CON ESPECIALIDAD EN FISICA POR ELENA <;AHL-UELA CABUAL Vf:LAZQUl1~Z MONTERREY. N. L. JUNIO DE 1992 ANALISIS CRITICO DE LA EV ALUACION DEL CURSO DE FISICA REMEDIAL EN EL ITESM-CAMPUS ESTADO DE MEXICO Y PRESENTACION DE UN MODELO PARA LA ELABORACION DE LAS PRUEBAS Lic. Elena Gabriela Cabral Trabajo de grado aprobado en nombre del Instituto Tecnológico y de Estudios Superiores de Monterrey, Campus Eugenio Garza Sada, por el siguiente jurado Dra. Margarita A. de Sánchez Mta_. Eisa Hinojosa Dr. Juan Osear Saldaña A mi esposo, Sergio Por su paciencia, comprensión y apoyo en todo momento. Reconocimientos A la Dra. Margarita A. de Sánchez, coordinadora de la Maestría en Educación del ITESM-Campus Eugenio Garza Sada, por su asesoría y apoyo para realizar estre trabajo de tesis. A la Lic. Dora Estela Rodríguez, directora de la Maestría en Educación del ITESM-Campus Eugenio Garza Sada, por su apoyo para cursar la maestría y realizar este trabajo. Al lng. Juan López Díaz, director de la División de Ingeniería y Ciencias del ITESM-Campus Estado de México, por la oportunidad de estudiar la Mestría en Educación. RESUMEN En este trabajo de tesis se parte de un diagnóstico del proceso de evaluación del aprovechamiento con base en diferentes aspectos, tales como las personas involucradas en la elaboración de dicha evaluación, criterio, correspondencia de objetivo-reactivo, validez lógica de contenido, confiabilidad de la prueba, calidad de distractores y sistema de elaboración o estructuración de la prueba. Con base en esto se presenta un análisis crítico de la evaluación que se aplica al curso de Física Remedia! y una propuesta de un modelo para evaluar el aprovechamiento de los alumnos. Para conceptualizar el problema, se realizó una revisión bibliográfica acerca de la función de la evaluación en el proceso educacional, de las características que debe presentar una prueba, como son: el grado de validez desde un punto de vista lógico, la confiabilidad, la factibilidad y la objetividad en el puntaje. Una vez que se identificaron las características con las que debe cumplir una prueba objetiva, se identificaron los criterios para hacer el análisis crítico del sistema de evaluación existente y se especificaron diferentes lineamientos para proponer el modelo para la elaboración de pruebas que permitan cumplir con la necesidad de evaluar el aprovechamiento del alumno con alto grado de validez y confiabilidad y mejorar el proceso de evaluación en su totalidad. La muestra del universo, sobre la cual se llevó a cabo el análisis fue un conjunto de objetivos específicos y reactivos correspondientes, que se aplicaron en las evaluaciones de cada período durante el semestre Agosto-Diciembre de 1990. Una vez que se llevó a cabo el análisis crítico de la evaluación, los resultados obtenidos indican que las pruebas que se estructuran para la evaluación del aprovechamiento tienen un bajo nivel de validez y confiabilidad. Como consecuencia de los resultados del análisis y los lineamientos para estructurar una prueba se propone un modelo para elaborar las pruebas que permita disminuir las discrepancias detectadas y cumplan con la necesidad de evaluar el aprovechamiento con un nivel más alto de validez y confiabilidad que el actual. Se concluyó que definir el propósito de la prueba y determinar las características con las que debe cumplir dicha prueba para su elaboración permite verificar los cambios producidos en la conducta de los alumnos y eficiencia de las técnicas empleadas para la enseñanza y el diagnóstico del progreso del alumno. Se recomienda realizar futuras investigaciones que ayuden a obtener una retroalimentación a partir de análisis estadísticos sobre la validación de las pruebas. También, considerar la participación del docente como evaluador y sus necesidades en cuanto a su capacitación para realizar esta tarea y con el fin de permitir una mejora continua de las evaluaciones. INDICE GENERAL PRESENTACION •••.•..•••.••.•........•••••.•.....••.•..•....•..•....... RECONOCIMIENTOS ............................•...........•.......... i i RESUMEN •.........................•••.....••..•...••.............•..•..••... i i i INDICE GENERAL •........••••..•.....................................•. i V LISTA DE TABLAS .........•......••••••..•.••........•..•••........•• X LISTA DE FIGURAS ......•............................................ X V CAPITULO l. INTRODUCCION .................................................. 1 ANTECEDENTES .............................................................................. 1 PRESENTACION DEL PROBLEMA ............................................... 8 Enunciado................................................................................... 9 Delimitación ................................................................. .-......... 1 O Importancia.............................................................................. 1 4 OBJETIVOS ....................................................................................... 14 ORGANIZACION DEL TRABAJO .................................................. 1 5 CAPITULO 11. MARCO TE O RICO CONCEPTUAL .............. 1 6 LA EVALUACION COMO PROCESO ............................................. 1 6 MEDIDA DEL APROVECHAMIENTO ACADEMICO .................... 2 6 ELABORACION DE PRUEBAS ....................................................... 35 Selección de objetivos a evaluar .................................... 4 3 ELABORACION DE REACTIVOS (ITEMS) ................................. 4 5 CONCEPTUALIZACION DE LAS CARACTERISTICAS DE UNA PRUEBA .................................................................................... 5 6 Validez ....................................................................................... 5 6 Confiabilidad ........................................................................... 6 1 Objetividad en la determinación del puntaje ........... 6 5 Factibilidad de la prueba ................................................... 6 5 LINEAMIENTOS PARA ANALISIS DE PRUEBAS Y REACTIVOS ...................................................................................... 6 6 Lineamientos para análisis de pruebas ....................... 6 6 Lineamientos para análisis de reactivos .................... 6 7 ELABORACION DE UN MODELO DE EVALUACION............ 6 8 CAPITULO 111. ESTRATEGIA METODOLOGICA ............. 7 O METODO DE INVESTIGACION UTILIZADO .............................. 7 O ESTRATEGIA DE DIAGNOSTICO ................................................ 7 2 Universo y muestra de objetivos ................................... 72 Métodos y procedimientos de análisis de los objetivos y reactivos ....................................................... 7 8 Análisis de objetivos .......................................................... 7 8 Análisis de reactivos .......................................................... 7 9 Criterio de análisis de la correspondencia entre objetivo-reactivo ............................................................. 7 9 Criterio de análisis de la confiabilidad de la prueba ..................................................................................... 80 Operacionalización de variables ..................................... 8 O Fuentes de información ...................................................... 8 O Objetivos específicos ......................................................... 8 2 Método de procesamiento de datos ................................8 4 ESTRATEGIA PARA CONSTRUIR UN MODELO DE EVALUACION .................................................................................... 8 4 Propósito de la prueba ......................................................... 8 5 Tabla de especificaciones ................................................... 8 5 Redacción de reactivos o ítems ........................................ 8 6 Desarrollo de la prueba ....................................................... 8 7 Evaluación de la prueba ....................................................... 8 8 CAPITULO IV. DIAGNOSTICO DEL PROBLEMA .............. 8 9 DESCRIPCION DE LA MUESTRA .................................................. 8 9 ANALISIS DE OBJETIVOS ............................................................ 9 O ANALISIS DE REACTIVOS ........................................................... 9 2 ANALISIS DE LA CORRESPONDENCIA ENTRE OBJETIVO-REACTIVO ................................................................... 9 4 Correspondencia de contenido .......................................... 9 5 Correspondencia del nivel cognoscitivo ....................... 9 5 ANALISIS DE LA CONFIABILIDAD DE LA PRUEBA .............. 9 6 Consistencia Indices de dificultad ....................................................... 9 7 Indices de discriminación ............................................. 9 8 Estabilidad ................................................................................. 9 9 COMPARACION DE RESULTADOS ............................................... 106 RESULTADOS FINALES ................................................................... 1 O 7 CAPITULO V. MODELO PARA LA ELABORACION DE LAS PRUEBAS ................................................................................... 1 O 9 NATURALEZA Y PROPOSITO DE LA PRUEBA ......................... 1 1 O ELABORACION Y VALIDACION DE LOS REACTIVOS Y CONFORMACION DE LA BASE DE REACTIVOS ........................ 111 Organización de los objetivos del programa analítico ................................................................................. 111 Especificación del número de reactivos por objetivo ................................................................................. 1 1 2 Proposición del tipo de reactivo que evalúa cada objetivo ................................................................................. 1 1 4 Validación lógica de cada reactivo ................................ 115 Clasificación de los reactivos ......................................... 1 1 5 Almacenamiento de los reactivos .................................. 11 6 CONFORMACION DE LAS PRUEBAS ........................................... 117 Estructuración de las pruebas ......................................... 11 7 Validación de las pruebas .................................................. 1 1 9 ADMINISTRACION Y ANALISIS DE LOS RESULTADOS DE LAS PRUEBAS .................................................................................. 1 21 VISION GENERAL DEL MODELO ................................................... 122 CAPITULO VI. SINTESIS, CONCLUSIONES Y RECOMENDACIONES ....................................................................... 1 2 4 SINTESIS Y CONCLUSIONES ........................................................ 1 24 RECOMENDACIONES ....................................................................... 1 2 8 ANEXOS ANEXO A ............................................................ 130 ANEXO B ... ... . . ........ ............. .. . ..... .. . ... . . ............ .. . 1 3 1 ANEXO C ............................................................ 1 3 2 ANEXO D ............................................................ 147 ANEXO E . . ... ... . . ........ .. . ........ .. . ........ ... .. .. . . .... .. . .. .. 1 5 O ANEXO F ......... .. . ...... ........ .. . . ... ...... ..... .. ...... ........ 1 51 ANEXO G . . .. ... . . .. . . ....... .. . ........ .. . ..... .. ... . ..... .. . .. . . .. . 1 5 2 ANEXO H .. . . .. . .. .. . . .. . ... . ... . . ...... .. .. .. .... .. .... ...... ... . .. . 1 5 3 ANEXO 1 •••••••••••••••••••••••••••••••••••••••••••••••••••••••••••• 1 63 ANEXO J ............................................................. 170 BIBLIOGRAFIA....................................................... 173 INDICE DE TABLAS TABLA 1 Estructuración del Banco de problemas del curso de PAG. Física Remedial ........................ 7 4 2 Objetivos evaluados en cada período del semestre Agosto - Diciembre 1990 ....... . 3 Operacionalización de varia- 77 bles ............................................. 8 1 4 Resultados del análisis estadístico del primer parcial. . .................................... . 5 Resultados del análisis estadístico del segundo 100 parcial. ....................................... 1 O 1 6 Resultados del análisis estadístico del tercer parcial. ....................................... 1 O 2 7 Resultados del análisis estadístico de la evaluación Final. 8 Tabla de especificaciones de 103 los objetivos ............................. 1 1 3 9 Tabla de especificacione de la prueba. .................................... 1 1 8 FIGURA 1 2 3 INDICE DE FIGURAS PAG Variables inherentes al proceso de evaluación .......................................... 12 Representación del proceso educa- cional .................................................. 22 Representación del rol de la evalua- ción en el proceso educacional ....... . 25 4 Proceso de elaboración y aplicación del modelo para el diseno de una prueba genérica para evaluar el aprovechamiento del alumno en física..................................................... 123 CAPITULO 1 INTRODUCCION En este capítulo se presentan: los antecedentes del problema como una descripción del Sistema de Ayuda para la Evaluación del Aprendizaje y su aplicación; el problema detectado a partir de las desventajas que presenta el sistema; la delimitación a partir de las variables que intervienen en el estudio, sus objetivos y la importancia del análisis crítico. ANTECEDENTES El Instituto Tecnológico y de Estudios Superiores de Monterrey (I.T.E.S.M.) Campus Monterrey comenzó a utilizar regularmente la computadora como ayuda para la evaluación del aprendizaje desde 1975; con la ayuda de un paquete computacional se administraron los bancos de reactivos para generar tantos exámenes distintos como se deseara, usando un sistema de selección al azar. A su vez, para la elaboración de los reactivos se procedió a establecer una serie de criterios, uno de los cuales era el de establecer un banco de objetivos específicos extendidos de aprendizaje para los temas del curso que inició esta nueva evaluación, Matemáticas, con el fin de determinar las habilidades específicas a lograr por el proceso de enseñanza-aprendizaje. Se estableció que los profesores que impartían el curso (en el área de Matemáticas) tenían que participar en la generación de dichos objetivos, por ello se requirió el establecimiento de un lenguaje común y de una clara comprensión de los objetivos. Una vez que se normaron todos los criterios, se diseñaron 20 problemas similares para cada objetivo, en promedio, y se logró formar así un banco de 15,000 reactivos. Los problemas que lo integraban eran del tipo de opción múltiple, con tres o cuatro distractores y una respuesta correcta, siendo alimentados a una computadora central. Asimismo, en el Campus Monterrey, en el área de Matemáticas, las pruebas fueron diseñadas por comités de profesores con base en los objetivos específicos de aprendizaje que debían evaluarse, y se generó un examen distinto para cada alumno. Los exámenes fueron aplicados inicialmente en el salón de clase correspondiente a cada grupo, posteriormente se decidió aplicarlos en un centro de evaluación. Este lugar es un local especialdotado de mesabancos, computadoras conectadas en red y una lectora óptica. Por otra parte los alumnos que presentaron los exámenes que fueron estructurados a partir del método antes descrito, llenaban hojas especiales de respuestas {Anexo A) que luego eran revisadas por una lectora óptica y evaluadas por una computadora que hacía el análisis de todas las respuestas con el fin de verificar la validez de cada reactivo. Se realizaba un análisis estadístico que utilizaba como indicador la proporción de alumnos que contestaban la pregunta acertadamente, entonces la calidad discriminatoria de 2 cada reactivo se calculaba mediante el coeficiente de correlación biseral y se presentaba la distribución de las respuestas en las diferentes opciones para determinar si había opciones inválidas. Con los resultados de este análisis se afinaba el banco eliminando aquellos reactivos que no pasaban las pruebas de validez. Así se concluyó, en el I.T.E.S.M. Campus Monterrey, un programa denominado "Sistema de Ayuda para la Evaluación del Aprendizaje" (SAEA) que ayudó a la administración de los exámenes, asesoró a los usuarios de bancos de preguntas y produjo documentos útiles en la elaboración y validación de exámenes. Posteriormente este tipo de evaluación del aprendizaje con ayuda de la computadora se implementó, dentro del Campus Monterrey, a otras áreas como Física y también se extendió a otros campus del Sistema Tecnológico, como es el caso del Estado de México. Desde agosto de 1986 en el I.T.E.S.M.-Campus Estado de México, en el departamento de Ciencias Básicas, se está implementando el Sistema de Ayuda para la Evaluación del Aprendizaje como un medio para medir el rendimiento escolar de los alumnos de una manera objetiva y eficaz, de tal modo que la calificación obtenida de la evaluación automatizada sea un reflejo del aprendizaje. Esta forma de evaluación implementada, consiste en la presentación de exámenes que han sido estructurados a partir de 3 ciertos objetivos específicos que forman parte del programa de estudios y que se desea que sean evaluados, de estos objetivos se derivan una serie de reactivos de opción multiple, que son diseñados y propuestos por los diferentes maestros que imparten cada una de las materias en las que se aplica este tipo de evaluación. El diseño de los reactivos tiene como base, actualmente, la metodología de objetivos específicos extendidos, la cual consiste en, primeramente, seleccionar un objetivo específico integrador del tema en estudio; una vez que se identifica el objetivo a evaluar se crea un enunciado del cual derivan una serie de reactivos. Dicho enunciado general constituye un contexto que tiene una parte constante, y otra variable. Si se comparan los diferentes reactivos de un mismo objetivo, el formato es el mismo y la parte variable cambia de un problema a otro. El siguiente ejemplo ilustra lo que se acaba de explicar. Una fuerza neta que actúa sobre un automóvil de masa m=1700 kg, efectúa un trabajo de W=150,000 joules. Diga cuál de las opciones siguientes contiene el resultado de calcular la velocidad final del automóvil si su velocidad inicial es de Vo=40 mis. A) 80.50 mis B) 63.22 mis C) 44.55 mis D) 42.15 mis Una fuerza neta que actúa sobre un automóvil de masa m=1500 kg, efectúa un trabajo de W=100,000 joules. Diga cuál de las opciones siguientes contiene el resultado de calcular la velocidad final del automóvil si su velocidad inicial es de Vo=1 O mis. A) 15.28 mis 8) 18.55 mis C) 21.83 mis D) 22.91 mis Como puede observarse ambos reactivos, correspondientes a 4 un mismo objetivo, tienen una parte común y la otra variable. Además, teniendo como base lo que es un reactivo de opción múltiple, para cada enunciado del problema, se proponen 4 alternativas de respuesta siendo una de ellas la respuesta correcta y las otras los distractores. A partir de cada objetivo específico integrador se desarrollan, en promedio, de 1 O a 16 reactivos de opción múltiple. Esta clase de exámenes permite evaluar los objetivos de aprendizaje correspondientes a distintos niveles de dominio cognoscitivo de acuerdo a la Taxonomía de Bloom, permiten, también, una revisión rápida y son sometidos a un análisis estadístico que provee información sobre los reactivos como: qué tan fácil resultó cada reactivo, qué tan bien descriminó cada reactivo entre un grupo superior y un grupo inferior y cuan eficaces son las alternativas. Este análisis se basa en el índice de dificultad (ID) considerado para el 27% de alumnos con mejor calificación (IDs) y para el 27% de alumnos con calificación inferior (IDi). El valor del 1 D puede presentar variaciones ya que depende de qué tan competente es el grupo que toma cada curso. Otro factor del análisis es el índice de discriminación {IH) que también trabaja con el 27% del grupo superior y el 27% del grupo 5 inferior, y toma en cuenta los índices de correlación biseral (Rbis) y tetracórica (Rtet). La correlación Rbis se refiere a la calificación obtenida comparada con el reactivo y la correlación Rtet tiene que ver con la respuesta del reactivo en relación con la calificación del alumno del grupo superior y del alumno del grupo inferior. La conformación del examen de cada alumno se hace con apoyo de un programa computacional, SUPER 35 (SUPERMAT en su versión 3.5 modificado de acuerdo a las necesidades de manejo del departamento) que selecciona, de cada objetivo a evaluar, un problema aleatoriamente. Los objetivos y el número de problemas que componen cada examen son definidos con anterioridad por el coordinador de la materia. El sistema operativo crea la cantidad de exámenes necesarios para cubrir la población total de alumnos que toman cada una de las materias. En cuanto a la aplicación de exámenes, estos se presentan en el Centro de Evaluación Automatizada ( CEA ) por los alumnos de cada una de las diferentes materias de acuerdo a la selección de un día, definido por el Departamento, y una hora durante ese día elegida por el mismo alumno. Dentro del CEA, el alumno tiene asignado un lugar en donde se encuentra su examen, hoja de respuestas (Anexo B) y hojas para el desarrollo de los procedimientos, en caso necesario. En dicho centro, (CEA) se ha detectado por experiencia, y de 6 acuerdo a un estudio realizado por la Dirección Académica de la Rectoría Zona Sur, que genera ansiedad y tensión en los alumnos. Esta ansiedad y tensión se presenta cuando se les limita el tiempo para realizar el examen y no se da la atención adecuada a cada uno. Además, por la cantidad de estudiantes que estan presentando examen, se genera ruido y evita que se llegue a una concentración deseada. Una vez que el alumno termina y entrega su examen se procede a dar de alta, en la computadora, los datos como: número de matrícula, examen y respuestas seleccionadas a cada reactivo del examen, con el fin de obtener inmediatamente la calificación de la prueba con ayuda de un sistema computacional. Para obtener un reporte final o una calificación que evalua el aprendizaje del alumno, únicamente se consideran las respuestas que contienen la solución de cada uno de los problemas, no considerando ningún tipo de procedimiento que desarrolle el alumno en el examen. Una vez que termina la evaluación, en días posteriores, el maestro ofrece revisión de exámenes en los casos en que los alumnos deseen corroborar la forma en que han sido evaluados y la manera como se obtiene la calificación. A nivel departamental existe un formato (Anexo D) para llevar a cabo dichas revisiones. Aplicando el Sistema de Ayuda para la Evaluación del 7 Aprendizaje con base en exámenes que contienen reactivos de opción múltiple, se sustenta la estandarización de un mismo nivel académico en cada una de las materias, el alumno obtiene su calificación inmediatamente,los exámenes son estandarizados y evita que el maestro sea parcial en sus evaluaciones. PRESENTACION DEL PROBLEMA La experiencia ha demostrado que el sistema de evaluación presenta algunas desventajas: existen dificultades en el diseño de los reactivos; en su enunciado, por ejemplo la presencia de palabras claves que dan pista al alumno para encontrar la respuesta correcta a la pregunta, los distractores, que pueden ser fáciles de eliminar por no ser atractivos para ser seleccionados como posible respuesta; la evaluación se presta a que el alumno conteste adivinando. Otra dificultad se refiere al modo de evaluar, que no permite observar el proceso de pensamiento del alumno para resolver el problema (procedimiento), lo que impide identificar las fallas del alumno y darle la retroalimentación necesaria en caso de que no sea acertivo en dar la respuesta a un problema. Por la forma en que son hechos los exámenes, la diferencia entre las preguntas que evalúan un mismo objetivo es de contenido, por lo que la estructura permanece invariable y es fácilmente memorizable; esto da lugar a que el estudiante pueda conocer y 8 memorizar antes de presentar su evaluación el contenido del examen cuestionando a algunos compañeros· que ya han sido evaluados en turnos anteriores; una vez conociendo ese contenido, el estudiante tiene mayor probabilidad de obtener calificaciones mejores que los compañeros que le preceden. Todo lo anterior resta validez y confiabilidad a la evaluación y al proceso de aplicación por la interacción que hay entre las preguntas y el aprendizaje inmediato del alumno. A través del presente trabajo se pretende indagar cuáles son las variables que influyen sobre la validez y confiabilidad del proceso de evaluación, desde un punto de vista lógico, con el propósito de sugerir alternativas que contribuyan a mejorar la situación detectada. De aquí se desprende el problema de investigación que se enuncia a continuación. Enunciado del problema ¿Es válida y confiable, desde un punto de vista lógico, la evaluación del aprendizaje de los alumnos que toman el curso de Física Remedia! en el I.T.E.S.M.-Campus Estado de México? ¿Cómo diseñar un modelo de evaluación que permita establecer un grado mayor de validez de contenido de los reactivos y una mayor confiabilidad de las pruebas que se estructuran a partir de dichos reactivos? 9 Delimitación El problema abarca dos aspectos, el primero relacionado con la validez lógica de contenido de los reactivos y con la confiabilidad de la prueba. La validez se determinará mediante un análisis lógico de los objetivos del programa con énfasis en objetivos denominados integradores. Además, se identificarán las relaciones entre los objetivos y los reactivos, así como entre estos últimos y sus correspondientes alternativas de respuesta. Se identificará cuáles son las discrepancias que dan lugar a la falta de validez y confiabilidad, y a partir de estos resultados se generará un modelo de elaboración de reactivos que permita mejorar el sistema de evaluación. En lo que respecta a la confiabilidad, se analizará la manera como se deriva cada uno de los reactivos para identificar posibles dificultades relacionadas con el número de reactivos correspondientes a cada objetivo y la conformación de cada reactivo en términos de su estructura y de las variables que conforman el objetivo. Conociendo las fallas, se propone un modelo de elaboración de reactivos que intenta reducir las discrepancias detectadas. Este segundo aspecto del trabajo conduce a la generación de un producto tecnológico que en este caso consiste en un modelo para diseñar una evaluación que permita disminuir las deficiencias detectadas. 1 O Las unidades de observación están formadas por el conjunto de todos los reactivos del banco de problemas del curso de Física Remedia! procedentes de los objetivos integradores. Específicamente se tomarán de este universo aquellos reactivos que resulten seleccionados para integrar los exámenes aplicados durante el semestre agosto-diciembre del 90, período en el cual se realiza esta investigación. Las variables que intervienen en el estudio son variables inherentes al proceso de elaboración o estructuación de la evaluación que se explican a continuación, Figura 1. En cuanto a las personas involucradas, se refiere al tipo de personas que participan en el proceso de elaboración que son maestros que imparten la materia, y al punto de vista de las personas que elaboran los reactivos que se relacionan con el criterio de dichas personas que, específicamente es un criterio personal. Las variables que tienen que ver con la correspondencia que hay de objetivo a reactivo son la coherencia lógica y la factibilidad; la primera se refiere a la correspondencia interna en el problema propuesto y el objetivo que se está evaluando. La segunda es la factibilidad.se define como la posibilidad real de interpretar lo que se desea evaluar. Esta variable lo que trata de buscar es la posibilidad de que el reactivo evalúe lo que se desea. 11 FIGURA No. 1. Variables inherentes al proceso de elaboración de la evaluación VARIABLES INHERENTES ASPECTOS VARIABLES __,,,,, Tipo de personas Personas involucradas ~ Criterio de las personas que elaboran los reactivos _,,,,JflJ"' Coherencia lógica Correspondencia de -....... objetivo-reactivo Factibilidad de interpretación Validez lógica de contenido Confiabilidad de la prueba Calidad de los distractores ~ ~ ~ ~ ----... - Sistema de elaboración o estructuración de la prueba 1 2 Claridad del enunciado Precisión del enunciado Especificación de ~nivelde variables derivadas dominio del objetivo Consistencia Estabilidad Grado de trivialidad Proximidad entre el reactivo y el distractor cognoscitivo Para la validez lógica de contenido se considerará la claridad y precisión del enunciado tanto de los objetivos como de los reactivos que son aplicados en una evaluación. La claridad se refiere a la ausencia de ambigüedades en el enunciado y la precisión a la concordancia entre el contenido y lo que se evalúa. El tercer aspecto, especificación de variables derivadas del objetivo, se refiere a la correspondencia de la variable, nivel de dominio cognoscitivo entre el objetivo y el reactivo. La confiabilidad de la prueba se determina por la consistencia y estabilidad en el puntaje. La consistencia se relaciona con el acuerdo que hay entre los resultados y el instrumento de medida y la estabilidad se define por un índice de correlación entre los resultados que da el instrumento de medida. Dichos resultados deben ser parecidos cada vez que se repita la medición. La calidad de los distractores o alternativas de respuesta se relaciona con la trivialidad, que se refiere al tipo de alternativa que se identifica de manera inmediata debido a que está implícita en el enunciado del problema. También, se relaciona con la proximidad entre el reactivo y el distractor, que se mide por el número de características en que estos se diferencían; mientras mayor es el número de características mayor es la distancia y más fácil de descartar el distractor. El sistema de la elaboración o estructuración de la prueba se relaciona con la manera cómo se integra la prueba a partir de los 1 3 objetivos y la disponibilidad de preguntas que hay en el banco. Importancia El análisis que se presenta sobre los objetivos que integran una serie de reactivos para la evaluación de los alumnos de Física Remedia! es con el propósito de verificar, con base objetiva y definida, la validez de contenido y la confiabilidad, desde un punto de vista lógico, de la medición del aprendizaje con base en la evaluación de opción múltiple. Una vez que se hayan detectado los problemas que reducen la validez y confiabilidadde la evaluación, como producto final de este trabajo se propone un modelo para el diseño de nuevos reactivos que sirvan para conformar un proceso de evaluación que satisfaga las necesidades detectadas y permita utilizar las pruebas no solo como instrumento de evaluación, sino como medio para diagnosticar y retroalimentar el proceso de enseñanza y aprendizaje. OBJETIVOS A través del presente trabajo se pretende: Proporcionar con el marco teórico la conceptualización de las variables seleccionadas en el estudio. Hacer un análisis crítico de la validez de contenido y la confiabilidad del banco de reactivos de la materia del curso de Física Remedia!. 1 4 Proponer un modelo para la elaboración de una prueba que disminuya las discrepancias detectadas en el análisis. Justificar el nuevo modelo de evaluación. Hacer recomendaciones para la aplicación de las pruebas. Organización de la Tesis En este apartado se presenta como se desarrolla el trabajo de Tesis. Capítulo l. Introducción Capítulo 11. Marco teórico conceptual. Capítulo 111. Estrategia metodológica. Capítulo IV. Diagnóstico del problema. Capítulo V. Modelo para la elaboración de las pruebas. Capítulo VI. Síntesis, Conclusiones y Recomendaciones. 1 5 CAPITULO 11 MARCO TEORICO CONCEPTUAL Dentro del desarrollo del marco teórico se presentan aspectos conceptuales relacionados con la evaluación; tales aspectos son las técnicas de evaluación, la medida del aprovechamiento académico, la elaboración de reactivos, la construcción de una prueba y los métodos para especificar puntajes. Otro punto que se desarrolla es la conceptualización de la validez y confiabilidad de una prueba tanto de su forma de aplicación como de los reactivos que constituyen dicha prueba. También, se presentan los lineamientos para analizar pruebas y reactivos y para la elaboración de un modelo de evaluación. LA EVALUACION COMO PROCESO Pedro Lafourcade (1974) plantea una pregunta, ¿cómo evaluar el grado de eficacia de las sesiones dedicadas a la comunicación oral? "Las diversas modalidades didácticas empleadas en la enseñanza superior adquieren su justificación en la medida que resultan adecuadas a los objetivos que pretenden satisfacer. Si la clase-conferencia apunta al logro de determinadas metas, el único modo de averiguar su efectividad como una forma de enseñanza, las actividades, para apreciar el esfuerzo realizado, podrán ser la aplicación de una prueba cuyos ítems procuran comprobar sucintamente 16 los aprendizajes efectuados en función de los objetivos específicos y el registro de las observaciones e impresiones recogidas". Un punto importante que destaca Lafourcade en el proceso de la educación es el de llevar a cabo una evaluación para establecer si se ha logrado aprendizaje, es decir, cambios duraderos y positivos en las conductas de los sujetos con base en objetivos definidos de modo concreto y preciso. Lafourcade (1969) establece que sólo se puede estar seguro de afirmar la eficacia del esfuerzo docente si se aportan pruebas fehacientes de dicha eficacia: si, en suma, se procede a la evaluación de los resultados mediante técnicas confiables y válidas. Para Lafourcade la evaluación es entendida como: "Una etapa del proceso educacional que tiene por fin comprobar de modo sistemático en qué medida se han logrado los resultados previstos en los objetivos que se hubieran especificado con antelación". El autor, además hace una diferencia entre medir y evaluar. La evaluación la presenta como una interpretación de una medida en relación a una norma ya establecida, es decir tanto, medidas cuantitativas como descripciones cualitativas pueden ser sometidas a una interpretación y a un juicio de valor, y la medición solo se limita a dar un valor y hacer una comparación. 1 7 Paul Goring (1971) considera que el propósito principal de la evaluación es el de diagnosticar el desarrollo o modificación de las conductas estudiantiles y tiene como meta este diagnóstico, indicar el valor de las experiencias de aprendizaje con miras a efectuar las debidas modificaciones en un programa de enseñanza. Bloom (1975) al igual que los autores citados anteriormente, considera que la educación viene a ser un conjunto de tareas de aprendizaje que implican un proceso de cambio. Como una parte del proceso educativo considera que la evaluación, además de tener como propósito "la clasificación de los estudiantes", es: 1.- Un método para adquirir y procesar la evidencia necesaria para mejorar el aprendizaje del estudiante y la enseñanza. 2.- Una ayuda para aclarar las metas y objeti'-'.'.OS más importantes de la educación y como un proceso para determinar el grado en que los estudiantes evolucionan en las formas deseadas. 3.- Un sistema de control de calidad en que pueden determinarse en cada etapa del proceso de enseñanza y aprendizaje, si ese proceso es eficaz o no. 4.- Un instrumento de medida que permite establecer si ciertos procedimientos alternativos son igualmente eficaces o no para alcanzar un conjunto de metas educacionales. 1 8 Bloom, de acuerdo a su planteamiento, propone que la evaluación no solamente se aplica para que el alumno obtenga una calificación y se le clasifique dentro de un grupo de "mejor rendimiento" o "bajo rendimiento" sino que debe dar una retroalimentación para generar juicios de valor que ayuden a mejorar todo el proceso educativo, ya sea definir mejor las metas a lograr, o lograr un mejor cambio de conducta, etc. Por -otra parte, Richard Wolf (1984) en su publicación "The Nature of Educational Evaluation" cita a varios autores para definir la evaluación y sus elementos claves, para determinar las diferencias entre evaluación y medición y representar el rol de la evaluación en el proceso educacional. Así C. E. Beeby (1977), citado por Wolf, describe la evaluación como "La recolección e interpretación sistemática de evidencia llevando como parte del proceso, a un juicio de valor con vistas a una acción". Para Beeby el término sistemático implica que toda la información que es requerida será definida con algún grado de precisión incluyendo un esfuerzo para asegurarse de que la información es valiosa. Haciendo una comparación hasta este punto, se encuentra que para Laforucade, la evaluación, se base en el producto, para Goring en el proceso, para Bloom en el producto y en el proceso y para 1 9 Beeby, al igual que Bloom considera que la evaluación se basa en un producto y en un juicio de valor de dicho producto. Asimismo, la interpretación de evidencia en el concepto de evaluación de Beeby, introduce una consideración crítica que algunas veces se pasa por alto en la evaluación, la mera recolección de la evidencia no constituye por sí misma un trabajo de evaluación. Ahora bien, sobre los juicios de valor, Beeby toma a la evaluación más allá del mero nivel de descripción de lo que está sucediendo en un proyecto educacional; esto pretende que los evaluadores emitan un juicio sobre un esfuerzo educacional, por lo que la evaluación no abarca solo la recolección e interpretación de información acerca de qué tan bien un programa educacional está teniendo éxito en alcanzar sus objetivos, sino el juzgar los objetivos mismos. Las distinciones entre una evaluación y una medida, de acuerdo a Wolf, son las siguientes: "La medición de propiedades físicas de objetos, tales como la longitud y la masa, no implica que ellos tengan un valor, son simplemente atributos. En la evaluación los principales atributos estudiados se escogen principalmente porque representan valores educacionales. El objeto de atención de cada uno, la medida en la educaci6n es sobreentendida como el propósito de efectuar comparaciones entre individuos en relación a algunas características. En la evaluación es poco necesario o aun deseablehacer tales comparaciones lo que es de interés es la efectividad de un programa". 20 En suma, para Wolf, la evaluación y la medición son dirigidas hacia diferentes puntos: la evaluación se dirige a la descripción de efectos de tratamientos, valores educacionales y efectividad de un programa; por lo que en la evaluación no es necesario que los alumnos respondan al mismo tipo de preguntas o temas porque no se dirige a la comparación de individuos y en la medición si se lleva a cabo la comparación. Para denotar el rol de la evaluación en el proceso educacional, Wolf dice citando a Tyler, lo siguiente: "el proceso educacional está relacionado con 3 elementos que son: objetivos; experiencias de aprendizaje y procedimientos de valoración" (considerando que la evaluación es un procedimiento para valorar el progreso del aprendizaje dirigido al logro de ciertos objetivos), Figura 2. Los objetivos se refieren a las intenciones de una persona por un esfuerzo educacional, representan el deseo o valores o conductas que los individuos en un programa, se supone, deben adquirir. Las experiencias de aprendizaje se refieren a aquellas actividades que los alumnos sobrellevan o hacen para poder adquirir los comportamientos deseados. Incluyen actividades de grupo o personales que se llevan a cabo fuera o dentro del salón de clases. La valoración de aprendizaje en el proceso educacional es crítica porque está muy relacionado con la averiguación extendida de cuáles de los objetivos del pograma se han cumplido. 21 000'398 EHPERIENCIAS DE APRENDIZAJE OBJETIUOS UALORACION DEL APREND l 2AJE FIGURR No.2. Representación del proceso educaclonal. 22 La representación dinámica de Tyler, inicia con los objetivos, la doble flecha entre las experiencias de aprendizaje y los objetivos indica dos cosas: que los objetivos sirven como guía para la selección o creación de las experiencias de aprendizaje del programa operacional y que dichas experiencias involucran maestros, estudiantes y material de aprendizaje que están sujetos a nuevos objetivos. La doble flecha entre los objetivos y la valoración del aprendizaje indica: a) que el foco primario de la valoración está sobre la recolección de evidencia y sobre la extensión en que se logran los objetivos y b) que los procedimientos de valoración que se especifican a partir de los objetivos, pueden proporcionar información acerca de lo que se logra en dichos objetivos. La flecha entre las experiencias de aprendizaje y la valoración del aprendizaje indica dos cosas: que las experiencias de aprendizaje pueden proveer ejemplos para el desarrollo de tareas de valoración y que dicha valoración puede: suministrar información dando una idea sobre cuáles experiencias de aprendizaje parecen estar trabajando y cuáles no y que tareas, ejercicios y problemas, desarrollados por evaluadores, pueden ser influyentes en nuevas experiencias de aprendizaje. Sobre la propuesta anterior de Tyler es importante notar que la evaluación, considerada como sinónimo de valoración de aprendizaje, es vista como un proceso central de la educación y no 23 como un apéndice, además se considera como un foco central para obtener diferentes tipos de información con el fin de valorar y delimitar en un programa educativo, tanto los objetivos como las experiencias de aprendizaje, que son la parte operacional del programa. De acuerdo a Wolf la evaluación representada en una forma más completa (Figura 3) involucra cuatro elementos que son: los objetivos, las experiencias de aprendizaje, la valoración del aprendizaje y la relación entre los tres. Además, Wolf menciona tres limitantes en la evaluación educacional: a) no produce resultados generalizables porque la evaluación de un programa particular, perteneciente a un lugar determinado puede, únicamente, proveer información útil acerca de ese programa en ese lugar, b) la evaluación se desarrolla con base en un programa educacional vigente, si hay cambios en el programa, la evaluación puede ser inválida si no presenta cambios en relación con el nuevo programa, c) por último, una tercera limitación de la evaluación radica en determinar la diferencia entre diagnosis y prescripción. Con respecto a esto puede decirse que la evaluación llega a indicar el progreso de un alumno en la escuela y también algunas razones por las cuales se da ese progreso, pero la información obtenida de dicha evaluación no puede proveer una prescripción de como llegar a resolver deficiencias identificadas. 24 EUALUAC ION NECESIDAD OBJETI lJOS EHPERIENCIAS DE APRENDIZAJE lJALORACION FIGURA No. 3. Representación del rol de lo euoluoción en el proceso educocionol. 25 MEDIDA DEL APROVECHAMIENTO ACADEMICO En el apartado anterior se plantearon varias ideas de diferentes autores que definen la evaluación como parte importante del proceso de enseñanza-aprendizaje, las cuales hacen notar los elementos que integran una evaluación. Por ello, la evaluación presenta diferentes momentos que van explicando la evolución de su concepto y forma de aplicación, desde su consideración como medio para obtener una medición precisa, objetiva, confiable y válida hasta cuando se considera que el punto esencial de la evaluación es conocer si se han dado los cambios profundos y permanentes en el individuo como productos del aprendizaje. Cervantes cita en su tesis "Estudio del efecto de un modelo de enseñanza de la matemática, basado en procesos con dosificación de contenido sobre el rendimiento de los estudiantes de profesional en el ITESM-Campus Tampico", el trabajo de Chacón (1990) titulado "Hacia una Evaluación del Rendimiento basada en los Procesos Cognoscitivos", donde se hace una síntesis de los diferentes momentos de la evaluación del aprendizaje. El interés común inicial de la evaluación es obtener una medición precisa, objetiva, confiable y válida. En este trabajo, Tyler define la evaluación como foco central para la comprobación del logro de los objetivos propuestos para el estudiante, esto da origen al movimiento referido a la evaluación basada en criterios. En este enfoque, sin desechar las ideas de 26 confiabilidad y validez, se define con precisión el dominio de comportamiento asociado a cada segmento de instrucción, y se derivan preguntas dirigidas a la instrucción y a los objetivos propuestos en el programa. En los 80's la evaluación de los procesos cognoscitivos se enfocó esencialmente a evaluar cambios profundos y permanentes que ocurren en el individuo como producto del aprendizaje. Desarrollando un poco sobre la evolución, en la primera etapa, Díaz Barriga (sin fecha) determina que la evaluación del rendimiento escolar ganó su rango de cientificidad al apoyarse en la teoría de los "tests" e incorporar la estadística descriptiva como instrumento de cuantificación del material que asigna ciertos valores numéricos al instrumento de medición del aprendizaje (índice de confiabilidad) y a los resultados de los escolares y sólo guardan una relación independiente respecto al objeto que pretenden medir, tal es el caso del rendimiento escolar. Fermín (1971) propone el siguiente concepto de evaluación: "Un proceso integral, sistemático, gradual y continuo que valora los cambios producidos en la conducta del educando, la eficiencia de las técnicas empleadas, la capacidad científica y pedagógica del educador, la calidad del currículum y todo cuanto converge en la realización del hecho educativo". Díaz Barriga presenta una diferencia con respecto a Fermín para definir el término evaluación de la educación. El primero utiliza el término como un sinónimo de medida, mientras que 27 Fermín, establece que evaluar puede considerarse como sinónimo de valorar y corresponde a una evaluación basada en criterios, en donde el interés se centra en la comprobacióndel logro de los objetivos propuestos para el estudiante. Ausubel (1990) afirma este último punto y menciona que "la función de la evaluación consiste en determinar el grado en que varios objetivos, de importancia educativa, están siendo alcanzados en realidad". Evaluar es hacer un juicio de valor o de mérito, para apreciar los resultados educativos en términos de si están satisfaciendo o no un conjunto específico de metas educativas. Para Fermín los procedimientos de evaluación más usuales en las escuelas, son los siguientes: 1.- Las pruebas orales. 2.- Las pruebas escritas o de composición. 3.- Las pruebas objetivas o de respuesta corta. 4.- Las pruebas de libro abierto. Ahora bien, el siguiente desarrollo conceptual se enfoca básicamente en pruebas objetivas o de respuesta corta, ya que son el tipo de pruebas que se aplican para la evaluación de los cursos de Física, entre otros, en el ITESM-Campus Estado de México. De acuerdo con Fermín, las pruebas objetivas se caracterizan porque la respuesta que el alumno da es corta y muchas veces se limita a colocar un número, una letra, una palabra o simplemente a 28 trazar una raya para unir dos oraciones , subrayar palabras o letras, etc. y se les llama objetivas porque intentan eliminar, en la medida de lo posible, la subjetividad del profesor cuando analiza, procesa y califica la prueba. Sobre las críticas del tipo de prueba objetiva, Beard (1974) menciona que, los que se oponen a este tipo de prueba, sostienen que éstas sólo sirven para probar información fáctica, que las conjeturas tergiversan los resultados y que los estudiantes inteligentes pueden obtener las respuestas mediante un proceso de deducción sobre la estrategia del autor del test y sin referencia directa al propio contenido de la asignatura. Fermín (1971) menciona otras críticas hacia las pruebas objetivas. Considera que estas: Miden el contenido de la materia memorizado por el alumno y no aquellas capacidades más complejas que constituyen el verdadero saber. No evidencían si los conceptos evocados o reconocidos forman un núcleo de conocimientos o son ideas simples, o si, únicamente constituyen meras expresiones verbales, con un mínimo esfuerzo mental. No miden lo deseado ya que debido a la forma en que se responden (selección de una opción entre varias alternativas) 29 da lugar a que se cometa fraude, ya que existe la posibilidad de acertar respuestas por azar, independientemente del conocimiento que se tenga sobre lo que se evalúa. Por otra parte, para Gay (1985) las pruebas objetivas son algunas veces criticadas sobre la base de que son apropiadas para medir el nivel de conocimiento basado en un resultado solamente. Propone que es verdad que algunos resultados de alto nivel pueden ser medidos más sencillamente con reactivos tipo ensayo, pero que los reactivos tipo objetivo también pueden utilizarse para medir reactivos de este nivel. Además, ya que las pruebas tipo objetivo pueden incluir más reactivos que los de ensayo, tienden a muestrear el comportamiento más adecuadamente por lo que una prueba objetiva es más válida y confiable que una prueba de ensayo. Por otro lado, el autor denota que las pruebas objetivas requieren más tiempo y habilidad para su preparación, que las pruebas de ensayo; además, es necesario hacer un esfuerzo conciente para escribir los reactivos en forma clara, concisa y sin ambigüedad para que comuniquen los comportamientos requeridos al estudiante. De acuerdo a Gay los argumentos más contundentes que exponen los defensores de las pruebas objetivas son su validez, confiabilidad y objetividad; considera que estos sostienen que cuando la prueba objetiva está bien construída puede ser tan eficiente en la apreciación de la capacidad crítica, razonamiento y 30 asimilación como la mejor prueba de ensayo. La prueba objetiva ofrece la ventaja de que el resultado es concreto y facilita el procesamiento de los datos y la asignación de la calificación y que además, con su perfeccionamiento, se puede ir eliminando el factor suerte o azar. En cuanto a una comparación de tipos de prueba, Marelim (1983) presenta una investigación de Cook donde establece que la presentación de una respuesta escrita por el propio examinando no significa, necesariamente, que este posea un mejor rendimiento escolar que un estudiante que seleccionó una respuesta o indicó la veracidad o falsedad de una proposición. Snow, citado por Chacón (1990) en su trabajo titulado "Hacia una evaluación del rendimiento basada en los procesos cognoscitivos", señala que el educador o investigador debe buscar una evaluación del aprendizaje, basada en principios teóricos e integrada con la instrucción. En relación a esto, para determinar las estrategias evaluativas debe tenerse como foco principal, los procesos ya que estos permiten dar lugar a un seguimiento de las conductas del estudiante. En relación a la medición de los resultados de la enseñanza, Lafourcade (1974) menciona que no todos los objetivos que se hayan seleccionado para una determinada unidad se convierten en conductas logradas. Esto significa que no todos los resultados obtenidos coincidirán en calidad y cantidad con las metas que 31 sirvieron de guías para desarrollar los contextos del- aprendizaje (objetivos de un programa) y, además que no todas las conductas que los procesos de asimilación que se estimularon y lograron podrán ser apreciados por los procedimientos de medición existentes, ya que el autor menciona que "los fenómenos que el docente pretende medir (rendimiento escolar) poseen una serie de características que dificultan su medición". Lafourcade enuncia que "el aprendizaje de un campo de estudio es el resultado de una interacción entre los procesos mentales del sujeto y los elementos cognoscitivos que se hayan seleccionado sobre la base de ciertos principios rectores", para el autor estos principios rectores corresponden a los objetivos, tanto generales como específicos de un programa e indican la existencia de niveles de conocimientos, necesarios todos, pero de diverso grado de importancia. Entonces, para llevar a cabo la medición de los diferentes rendimientos escolares que poseen ciertas características se indica que es necesario clasificar y ponderar metas seleccionadas. Por ello, es necesario conocer la formulación de los objetivos, expresados en relación con lo que el alumno puede llegar a evidenciar a través de comportamientos específicos, para el planeamiento de un proceso evaluativo y de control real de los resultados. Bloom y colaboradores presentan una clasificación general de objetivos muy utilizada para guiar el aprendizaje y la evaluación; esta comprende los siguientes niveles: 32 Conocimiento, que es el nivel más bajo, se refiere al recuerdo de datos específicos, principios y generalizaciones, métodos y procesos, convenciones, clasificaciones y criterios identificados en cualquier campo de estudios. Comprensión: Representa un nivel bajo del entendimiento. El sujeto debe captar el sentido directo de una comunicación verbal, pictórica, simbólica, etc., sin necesidad de hallarle otras implicaciones. Aplicación: Representa un grado de abstracción más complejo que los anteriores. Subraya la habilidad para dividir un todo en sus partes y entender sus interrelaciones de modos de organización. En ciencias y estudios parciales es común el enunciado de objetivos donde los alumnos deban demostrar la capacidad para distinguir los hechos de las hipótesis, las causas de los efectos, lo que es importante para identificar un argumento, etc Análisis: Es el fraccionamiento de una comunicación en sus elementos o partes constituyentes, de tal modo que se ponga de manifiesto la relativa jerarquía de ideas y/o se explíciten las relaciones entre las ideas expresadas.La habilidad para analizar un problema, una comunicación o forma de enfocar un problema es una habilidad compleja que utiliza el conocimiento, la comprensión y la aplicación, pero va más allá de ellos. Síntesis: Es la reunión de elementos y partes para formar un 33 todo. El alumno puede extraer apuntes de muchas fuentes, organizarlos de modo personal y elaborar un nuevo material. Representaría, hasta cierto punto la formación de conductas creadoras. Evaluación: Se define como la formulación de juicios sobre el valor que, para un propósito tienen ideas, trabajos, soluciones, métodos, materiales, etc. Implica el uso de criterios y de normas para apreciar el grado en que los elementos particulares son precisas, eficaces, económicas o satisfactorios. La evaluación se presenta como la última categoría de los objetivos, por lo que se requiere alguna suficiencia en todas las categorías anteriores: conocimiento, comprensión, aplicación, análisis y síntesis. Ahora bien, la evaluación es un proceso central que sirve como guía para mejorar la enseñanza a través de la valoración del desempeño del estudiante, en términos del aprendizaje y de los cambios de conducta significativos, logrados de acuerdo a objetivos definidos de modo concreto y preciso. Esta definición implica que la evaluación, para cumplir este propósito, debe proporcionar la información necesaria en cada paso del proceso educativo. Un examen o prueba puede estar orientado a la obtención de: a) una evaluación diagnóstica, que determina las causas que en un momento dado originan dificultades en el proceso de aprendizaje, así como el nivel de homogeneidad de los alumnos, en cuanto a su preparación previa; b) una evaluación formativa, que determina el 34 progreso de una persona a lo largo del proceso de aprendizaje y retroalimente acerca de las fuerzas y debilidades del proceso de enseñanza-aprendizaje; c) o a una evaluación sumativa que orienta hacia una estimación del grado en que los objetivos han sido alcanzados a lo largo del curso o en una parte considerable de él. De lo dicho se desprende la necesidad de seleccionar un tipo de prueba que proporcione la mayor información posible acerca de las "conductas deseadas" (Tyler, 1973 ) o bien de las "capacidades esperadas" (Gagné, 1979) de cada meta. Esta prueba debe tener la estructuración requerida para garantizar la validez y confiabilidad a los resultados obtenidos una vez que se aplica. A continuación se presentan criterios de diferentes autores acerca de la elaboración de una prueba, los cuales se enfocan principalmente hacia una prueba de tipo objetiva o de respuesta corta por las ventajas que se enunciaron anteriormente y ya que es el tipo de prueba que se aplica para obtener las evaluaciones del curso de Física Remedia!. ELABORACION DE PRUEBAS Bloom (1975), enuncia algunos pasos generales que pueden ser utilizados para la elaboración de una prueba. 1.- Elaborar una tabla de especificaciones para la asignatura y el nivel educacional de interés. 2.- Preparar ítems de prueba adaptados a las secciones 35 aplicables de la matriz. 3.- Elegir ítems que comprueben las diversas reacciones. 4.- Reunir los ítems de acuerde;> con algún plan sistemático. 5.- Desarrollar un modelo de organización del puntaje que pueda suministrar la información más útil o el propósito del examen. 6.- Proporcionar al examinado directivas que le indiquen sin ambigüedad las reglas fundamentales. De acuerdo a los pasos de Bloom, el primero especifica que para la elaboración de una prueba, se parte de la formación de una matriz o tabla de especificaciones, con el propósito de examinar el área de contenido de una asignatura. En relación al segundo menciona que para elegir y preparar los ítems se debe tomar en cuenta las conductas que se desean medir. El tercer paso es la reunión de los ítems de una forma sistemática (ordenada): con respecto a ello, menciona que es deseable reunir dichos ítems, dentro del examen, en subgrupos que representen tipos de conducta de cierto nivel cognoscitivo, o bien agruparlos por contenidos (objetivos). Cuando la elección de los ítems tiene una homogeneidad en relación con el contenido y la conducta, es recomendable ordenarlos a lo largo de una escala que vaya de lo relativamente fácil (que muchos alumnos contesten acertivamente) a lo relativamente difícil (que pocos contesten 36 acertivamente). Con respecto a la organización del puntaje, como paso 5 Bloom menciona que "asignar las calificaciones, es muy útil", ya que permite al docente verificar los cambios de conducta. Para la "iniciación de la instrucción" (inicio del curso) el puntaje debe brindar información sobre lo que puede hacerse en el siguiente curso. Para la " retroalimentación " a los estudiantes , con base en el resultado del proceso, este debe ser lo suficientemente claro para informar al alumno qué destrezas o habilidades maneja correctamente. Cuando se comparan los resultados de diferentes grupos debe utilizarse un sistema de puntaje que refleje las diferencias en las habilidades y destrezas y tome en consideración temas o áreas de materias. El paso 6, indicación de las reglas fundamentales, se refiere a estructurar una serie de especificaciones para presentar la prueba: si se espera que el alumno trabaje en todos los ítems o ha de trabajar sólo con aquellos que cree conocer, si ha de elegir la mejor respuesta o la respuesta correcta, el tiempo de que se dispone, etc. Por otra parte John Hills (1981) enuncia que "el método recomendado para planificar la prueba empieza con la confección de una tabla de especificaciones", considerando que sea "una ficha de 37 dos entradas" (Anexo E) la dimensión horizontal, rotulada a la cabeza indica distintos comportamientos que el maestro desea observar en los alumnos, por ejemplo que el alumno muestre los comportamientos de la taxonomía de Bloom, en la dimensión vertical, inscrita generalmente en el margen izquierdo, indica el contenido al cual se refiere el comportamiento del alumno, que es el contenido que el maestro enseña. En cada casilla de la ficha hay un número, el cual se relaciona con la cantidad de ítems y denota la importancia de la prueba y el peso que se adjudica a cada uno de los comportamientos o conductas. Otro enfoque del planeamiento de una prueba de acuerdo a Hills consiste en tomar en cuenta la serie de objetivos de comportamiento que sirvan de guía a la enseñanza y que indican lo que el alumno debe ser capaz de hacer con respecto a cada contenido. Los mismos objetivos deben indicar en qué condiciones y a qué nivel debe darse un comportamiento. Entonces, el primer paso sería planificar una prueba para una serie de objetivos de comportamiento indicando cuantos ítems se desean en cada objetivo; el segundo paso consistiría en indicar la cantidad de ítems de que se dipone y el tercero, sería el de anotar los números de los ítems específicos relacionados con cada objetivo. Comparando los dos enfoques, la diferencia solo reside en el hecho de que la tabla de especificaciones no requiere la explicación 38 verbal de la lista de objetivos de comportamiento y expone más claramente qué tipo de comportamiento se pondera y con cuánto peso. Marelim (1983) menciona que la elaboración de un test o prueba objetiva exige la consideración previa de los objetivos educativos, con el fin de que mida y evalúe lo que es relevante en el proceso educativo, y obedece criterios establecidos que dependen del examinador o grupo de ellos. Marelim propone seguir los siguientes pasos para la elaboración de una prueba: 1.- Organización de los ítems en forma creciente de dificultad y complejidad. 2.- Organización de los ítems por áreas de contenido. 3.- Organización de los ítems según el tipo de comportamiento exigido. 4.-Organización de los ítems según su presentación formal. De acuerdo con el autor, la organización de los ítems en una prueba se basa en la conducta del alumno o estudiante cuando presenta dicha prueba, además, el seguir un orden creciente de dificultad impide que se encuentre con una barrera inicial que le puede restar motivación y por lo tanto sentirse frustrado presentando un rendimiento deficiente. 39 La estructuración del test o prueba por áreas de contenido ayuda o favorece el rendimiento del examinando, y también facilita la determinación de las exigencias del rendimiento escolar. Por otra parte, el organizar los ítems de acuerdo a comportamientos permite establecer hasta que punto los objetivos propuestos han sido realmente alcanzados. Por último, Marelim menciona que si diferentes tipos de ítems exigen que el examinando ponga en marcha diferentes procesos mentales, para no crear inquietudes, deben realizarse agrupamientos de los ítems según su tipo formal (clasificación), por ejemplo, se agruparían los ítems de selección múltiple para formar un conjunto, los ítems de ensayo formarían otro conjunto formal, etc. Aunado a todos los puntos anteriores propuestos por diferentes autores sobre la elaboración de pruebas, en su trabajo Berk (1980) indica lo siguiente: "El primer paso en el desarrollo de una prueba con referencia a un criterio es definir operacionalmente el dominio de contenido o conductas que miden dicha prueba. También es un paso de suma importancia, la validez e interpretación de los puntajes de la prueba que dependen de la precisión de las especificaciones del dominio. Es escencial que la relación de los puntajes con el dominio sea planeada deliberada y sistemáticamente como parte del diseño de la prueba para asegurar la obtención de resultados significativos". 40 Considerando que el desarrollo de una prueba con referencia a un criterio es decir con relación a una descripción del desempeño de una persona en función del dominio específico de tareas relevantes del aprendizaje, Berk establece que principalmente debe ser planteado el dominio. Berk cita también en su trabajo a Popham, J. el cual amplía un poco mas los conceptos acerca de los pasos para la elaboración de una prueba, en cuanto a ese dominio. Las "especificaciones de prueba", para Popham, se basan en delimitar la clase de conductas que se están evaluando por medio de una prueba con referencia a un criterio. Si el propósito de la "descripción general" es proporcionar una perspectiva del conjunto de conductas (objetivos) para un conjunto de especificaciones, debe haber un "reactivo muestra" que proporcione guías de formato para las que deben generar los reactivos que van a constituir la prueba. Señala el autor, que es importante que en la sección "estímulo-atributos" (conjunto de datos bien definidos para generar una respuesta específica) de especificaciones de la prueba se planteen todos los factores que influyen en la restricción de la composición de un conjunto de reactivos de prueba, es decir, ponderar cuáles son esos factores y como se pueden escribir de la manera más precisa y concisa. De acuerdo a Popham el componente final (atributos de respuesta) del conjunto de especificaciones de la prueba, enfoca la respuesta del examinando con base en los elementos generados en la 41 sección de estímulos-atributos. Ahora bien, el autor también menciona que existen dos tipos de respuesta por parte del examinando: que seleccione entre las opciones de respuesta o bien que presente una respuesta construída. Si la prueba implica una respuesta seleccionada, es necesario proporcionar reglas para determinar, no únicamente la naturaleza de la respuesta correcta, sino también la naturaleza de las opciones de respuesta equivocada. Por ejemplo, en una prueba de opciones múltiples sería imperativo indicar primero los lineamientos de una respuesta correcta, después el especificador de la prueba debe definir las distintas opciones de respuesta equivocada que pudieran constituir distractores en cualquier reactivo. Comparando la propuesta de Popham sobre la especificación de dominio para el desarrollo de una prueba.con la de los autores mencionados anteriormente, este trata de superar las deficiencias de un enfoque tradicional, es decir, trata de proporcionar una definición no ambigua de dominio que establece un vínculo concreto entre el dominio conductual y los reactivos de prueba correspondientes. Resumiendo, la especificación de dominio propuesta por Popham se obtiene a partir de los cinco siguientes componentes descritos anteriormente: 1.- Descripción general de la conducta a ser medida. 42 2.- Presentación de una muestra de reactivo prueba. 3.- Especificación de los atributos de estimulación que restringen la composición de los reactivos 4.- Especificación de los atributos de respuesta (respuestas seleccionadas o construidas). 5.- Un suplemento de especificación optativo para incluir contenido adicional de reactivos, cuando sea necesario. Selección de objetivos a evaluar Para la selección de los temas y objetivos que serán incluídos en los exámenes puede utilizarse alguno de los siguientes métodos. Uno de los métodos se basa en asignar prioridades a todos los objetivos a través de rangos, esto se lleva a cabo por un grupo de personas que califican los objetivos en escala del 1 al 5, el criterio puede ser variable, donde el valor de la calificación dada determina las prioridades. Este proceso tiene como ventaja que fija las prioridades de acuerdo a los intereses de un grupo. Otro método es también asignar prioridades a través de jerarquía de objetivos, es decir los objetivos son agrupados en áreas de contenido, y luego se clasifican de simples a complejos. Puede realizarse por el evaluador -coordinador- sin cooperación de 43 nadie y las prioridades que se asignan a los objetivos más complejos, evitan la atención a aquellos demasiados simples. El método de muestreo de objetivos se realiza seleccionando al azar los objetivos de un conjunto total, este método es rápido y puede hacerlo el evaluador - coordinador. Por último, en el muestreo matricial, objetivos y preguntas se asignan a partes de exámenes y cada parte es aplicada a diferentes grupos de alumnos seleccionados al azar, en este caso se tiene la ventaja de que pueden probarse varios objetivos a la vez. De acuerdo a lo que se propone como método de selección de objetivos, el método de asignación de prioridades a todos los objetivos puede, entonces, ser considerado en especial, ya que tiene como base el interés de todo un grupo docente que imparte la materia y, siendo que la necesidad es tener una homogeneidad en la enseñanza de la Física y contar con un mayor número de personas que colaboren en el diseño de los reactivos para estructurar las pruebas, este método lograría la integración del grupo docente y cubriría la necesidad de contar con mayor número de evaluadores. Así, de esta manera, el método sugiere trabajar con todos los objetivos del curso, lo que implicaría dedicar más tiempo y esfuerzo por parte del grupo docente que imparte la materia. Los otros métodos presentan algunas desventajas con respecto 44 a lo mencionado anteriormente. Estas son: se recomienda que el evaluador trabaje solo; se asignan jerarquías que pueden encaminar a evaluar objetivos complejos únicamente y dejar afuera algunos objetivos importantes. Esto también sucede si se aplica el método de selección al azar a no ser que todos sean de igual importancia. Por último, partiendo de un muestreo matricial no se permitiría comparar el desempeño de los alumnos. ELABORACION DE REACTIVOS (ITEMS) Berk (1980) cita a Jasan Millman enunciando lo siguiente: "para que la prueba con referencia a un criterio tenga significado en algún sentido, esindispensable que se explique claramente el dominio de contenido" . De acuerdo a Millman, la importancia de especificar el dominio, indica la pauta para un planteamiento claro del rango de reactivos que se puede emplear para medir dicho dominio, además la presencia de una definición de dominio hace posible que cualquiera pueda juzgar la validez de contenido de las pruebas. El núcleo de una prueba está constituído por los ítems. Hills (1981) propone que muchos tipos de ítems pueden usarse eficientemente en las pruebas escolares. Los diferentes tipos de ítems que existen, pueden situarse en dos categorías (College Board): a) El tipo conforme al cual el examinando aporta su propia 45 respuesta: pregunta de ensayo, pregunta de respuesta breve y el ítem de completar. b) El tipo según el cual el examinando elige su propia respuesta de varias respuestas proporcionadas por el elaborador de la prueba. Ejemplo de este tipo de ítem es el de respuesta optativa como el de cierto y falso; el ítem de selección múltiple; y el ítem de pareo. En este apartado se analizarán los ítems del tipo de elección multiple que son los de interés para llevar a cabo la evaluación de la materia de Física Remedia!. Una prueba estructurada por ítems de elección múltiple puede ser adaptada a numerosos usos , Hills determina que puede medir diferentes contenidos, así como tipos y niveles de comportamiento, incluso niveles superiores, tales como aplicación, análisis y evaluación. Cada ítem objetivo puede ser calificado fácilmente y en forma objetiva, es decir sin que intervenga ningún juicio estimativo. Hills menciona que como desventaja los ítems de elección multiple están más expuestos a la adivinanza o al azar que aquellos en que el alumno tiene que concebir su respuesta en vez de dirigirla. Un ítem consta de un enunciado que plantea un problema, " la base", y le sigue una serie de respuestas posibles llamadas alternativas o elecciones. Una de ellas es la clave o la opción correcta y las otras son los distractores o las opciones incorrectas. 46 Jorge J. Dieppa (sin fecha) menciona que una vez determinados los objetivos de la medición, debe trazarse un bosquejo o esquema del examen que especifique los énfasis principales y los pesos que se desean asignar a distintas tareas. Hace hincapié en que no todos los aspectos importantes en un curso tienen igual peso ni se enseñan con igual rigor. Una vez terminada la especificación de los contenidos y los niveles de destrezas que se juzgan necesarios para la medición, se inicia la redacción de ejercicios. Para la redacción de ejercicios de alternativas multiples Dieppa presenta las siguientes direcciones generales: 1 .- Cada ejercicio debe , por si mismo, presentar un problema que, al ser resuelto por el examinado, este demuestre que ha alcanzado un objetivo determinado. Debe dar la oportunidad al examinado para demostrar si tiene o no la habilidad o la destreza que el examen intenta medir. 2.- El lenguaje usado en la redacción del problema ha de ser apropiado a la materia que cubre, particularmente en lo que se refiere al vocabulario técnico. 3.- Los ejercicios deben ser independientes unos a otros; la información que se incluye en un ejercicio no debe sugerir la solución a otro. 47 En relación a la redacción del enunciado o base del reactivo, las direcciones son las siguientes: 1.- La frase principal debe presentar solamente un problema central y al leerla debe entenderse de que se trata el problema. 2.- El problema debe expresarse con precisión; para evitarse ambigUedades debe quedar claro el propósito del ejercicio. 3.- El ejercicio debe redactarse con sencillez y corrección; para el caso de Física el problema no debe medir habilidad para comprender estructuras gramaticales. 4.- En la mayoría de los casos el problema debe contener solo material relevante a su solución. 5.- Siempre que sea posible el ejercicio debe redactarse en sentido afirmativo para no restarle validez. Con respecto a las direcciones para preparar las alternativas se tienen los siguientes puntos: 1.- La respuesta correcta (clave) debe ser incuestionable. Por lo menos dos personas deben revisar el ejercicio para determinar si la solución correcta esta clara. 48 2.- Las alternativas incorrectas deben presentar los errores en pensamiento comunes en estudiantes y no los errores u opiniones del público en general. Las alternativas obviamente incorrectas reducen la capacidad de discriminación del ítem. 3.- Las alternativas deben ser tan breves como sea posible. 4.- Nunca debe sugerirse cuál es la solución correcta. a) A veces puede haber demasiada semejanza de estilo entre la solución correcta y el enunciado. b) La simple asociación de sonido o forma entre una palabra clave en el enunciado y una palabra clave de una alternativa puede resultar en que el candidato escoja esa alternativa. c) Alternativas que vienen de otros campos que no son los que se consideran en el enunciado, son obviamente erróneas y deben evitarse. d) Términos demasiado inclusivos como nunca, siempre, único, etc. , no deben incluirse en las alternativas erróneas. Pueden ser usados ocasionalmente en la correcta. e) Debe evitarse que haya incongruencias gramaticales entre las alternativas y el enunciado ya que estas ayudan en la selección de las respuestas correctas. 49 f) No deben usarse alternativas que sólo representen la incapacidad del escritor para pensar en otras posibilidades. Por ejemplo, la frase "ninguna de las anteriores" , solo debe usarse cuando genuinamente se quiere evaluar la capacidad del sujeto para distinguir entre varias posibilidades y no porque no haya más posibilidades. En el segundo caso debe descartarse el ejercicio. En caso de usarse esta alternativa, debe aparecer varias veces en el examen, tanto como respuesta correcta como incorrecta. g) Alternativas que son mucho más cortas o más largas que las demás tienden a ser obviamente correctas o incorrectas. h) En los ejercicios de matemáticas debe tratarse de colocar las alternativas en orden numérico para evitar que la respuesta correcta resulte demasiado obvia por ser la primera o la última. En resumen se señalan en " Guía para la redacción de ejercicios" algunos puntos importantes al redactar ejercicios: 1.- Todo ejercicio debe tener un objetivo, deben guardar una estrecha relación con el propósito del examen para ello, se hace uso de la "tabla de especificaciones" en donde aparecen descritos el contenido o área de conocimiento que se incluye en las pruebas; los objetivos descritos desde el área del 50 conocimiento hasta aspectos mas elaborados como análisis, síntesis y evaluación; y la dificultad del ejercicio que depende del contenido o del objetivo. 2.- Todo ítem debe ser apropiado a la materia que intenta medir para ello puede observarse si es correcto hacer esa pregunta en ese contexto. 3.- El vocabulario a usarse debe corresponder al que se supone conozcan los alumnos de la misma edad y nivel que los candidatos a examinar. Tomando en cuenta las direcciones para la construcción de un ítem y considerando que el curso de Física Remedia! presenta un programa analítico en objetivos que siguen la Taxonomía de Bloom puede especificarse aún más acerca de como elaborar un reactivo correspondiente a un nivel de esta taxonomía: conocimiento, comprensión, aplicación, análisis, síntesis y evaluación. Bloom y colaboradores (1975), indican algunos de los principales formatos de ítems para definir las conductas cognoscitivas para las cuales resultan adecuados. Los ítems de elección multiple para objetivos de conocimiento exigen que el estudiante confronte su memoria de un hecho, convención, definición o algún otro enunciado con aquello que le es presentado. 51 Los objetivos de comprensión
Compartir