Descarga la aplicación para disfrutar aún más
Vista previa del material en texto
EVALUACIÓN EDUCATIVA PORTAFOLIO DE INSTRUMENTOS. DOCUMENTO DE TRABAJO DEL CURSO ELABORACIÓN DE INSTRUMENTOS DE MEDICIÓN PARA EL ÁMBITO EDUCATIVO Primera edición: 2008 / Actualización: Enero 2014 Fuente: UNAM, http://biblioweb.dgsca.unam.mx/libros/mexico/inicio.html Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 2 ÍNDICE INSTRUMENTOS DE EJECUCIÓN DE LOS ALUMNOS ............................ 3 PRUEBA DE ENSAYO ..................................................................................... 4 Ejemplo de Tabla de Especificaciones e instrumento para Prueba de Ensayo ...... 6 MAPA CONCEPTUAL .................................................................................... 10 Ejemplo de Tabla de Especificaciones e instrumento para Mapa Conceptual ..... 11 INSTRUMENTOS DE APOYO A LA OBSERVACIÓN ............................... 13 LISTAS DE COMPROBACIÓN (COTEJO O VERIFICACIÓN) ...................... 14 Ejemplo de Tabla de Especificaciones e instrumento para Lista de Comprobación ..................................................................................................... 15 ESCALA GRÁFICA ........................................................................................ 17 Ejemplo de Tabla de Especificaciones e instrumento para Escala Gráfica .......... 19 ESCALA NUMÉRICA ..................................................................................... 24 Ejemplo de Tabla de Especificaciones e instrumento para Escala Numérica ...... 25 ESCALA DESCRIPTIVA ................................................................................. 29 Ejemplo de Tabla de Especificaciones e instrumento para Escala Descriptiva .... 31 RÚBRICA O MATRIZ DE VALORACIÓN ....................................................... 35 Ejemplo de Tabla de Especificaciones e instrumento para Rúbrica ..................... 36 ESTRATEGIAS DE EVALUACIÓN ................................................................ 40 PORTAFOLIO ................................................................................................ 41 EXÁMENES ORALES .................................................................................... 43 OBSERVACIÓN ............................................................................................. 44 USO RECOMENDADO DE CADA INSTRUMENTO ................................... 45 BIBLIOGRAFÍA RECOMENDADA ................................................................. 46 Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 3 INSTRUMENTOS DE EJECUCIÓN DE LOS ALUMNOS (Instrumentos que responde el alumno y que califica el profesor) Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 4 Nombre. PRUEBA DE ENSAYO Quién responde. El evaluado Definición. Instrumento de evaluación compuesto por una/algunas pregunta/s de las que se espera una respuesta libre por parte del evaluado. Uso. - Determinar la capacidad de seleccionar, organizar, integrar, relacionar y valorar ideas. - Conocer cómo piensa el estudiante. - Proporcionar varios datos de evaluación. - Evaluar pensamiento crítico. Rasgos distintivos. - Para evaluar grupos pequeños. - Mide directamente el pensamiento complejo. - Se elimina la adivinación. - Enfatiza la integración y aplicación de habilidades de: Análisis, Síntesis, Evaluación, Pensamiento lógico, Resolución de problemas, Hipótesis. Limitantes. - Dificultad de puntuar objetivamente. - Consumen tiempo. - Respuestas influenciadas por la habilidad de escritura de los estudiantes. Clasificación. Grounlud - Respuesta restringida – respuesta extensiva; Ornstein - Comparar, Clasificar, Enlistar, Resumir, Organizar, Analizar, Aplicar, Inferir, Deducir, Sintetizar, Justificar, Evaluar, Predecir, Crear. Elaboración. - Especificar límites. - Estructurar de la tarea. - Hacer cada ítem relativamente corto e incrementar el número de ítems. - Dar a todos los estudiantes las mismas preguntas de ensayo. - Hacer preguntas de manera directa. - Cada palabra de la pregunta debe ser tan simple y clara como sea posible. - Preparar suficientes preguntas para cubrir el contenido total. - Hacer preguntas que requieran un pensamiento complejo. - Hacer preguntas con respuestas generalmente aceptadas. - Aplicar una muestra de preguntas antes de la prueba. Calificación. - Explicar las técnicas de puntuación previamente. - Preparar con anticipación un esbozo de la respuesta esperada. - Usar un método de calificación: Por puntos. Compara cada respuesta con la contestación ideal y asignar puntos. De tasación: Dividir los ensayos en montones de calidad y asignar calificación. - Calificar todas las respuestas a una pregunta antes de pasar a la siguiente. - Calificar sin ver el nombre del alumno. Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 5 - Para decisiones importantes, recolectar dos calificaciones independientes. - Volver a leer los ensayos después de decidir la calificación final. - Hacer comentarios en las hojas para indicar las bases para el puntaje. Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 6 Ejemplo de Tabla de Especificaciones e instrumento para Prueba de Ensayo Academia: CIENCIAS SOCIALES Grado: SEGUNDO Asignatura: DESARROLLO MOTIVACIONAL Grupos: Horas: T: 9, P: 18 HRS. Profesor: Objetivo de asignatura Reflexionar sobre la motivación en la propia persona y el momento que vive en su condición de adolescente, revisando los elementos que conllevan el pensamiento creativo, la toma de decisiones y la planeación para desarrollar un perfil emprendedor. Examen: Extraordinario Propósito: Aplicar los procesos mentales involucrados en el uso de las herramientas en diferentes situaciones de la vida diaria. Uni dad Conten idos Objetivos de aprendizaje Resultados de aprendizaje Categoría cognoscitiva No. % Con Com Apl 1 Introduc ción a la creativi dad Comprender algunas características del acto creativo y de sus manifestaciones. Explicar el pensamiento convergente y el divergente. X 1 20 Analizar enfoques para desarrollar la creatividad. Identificar las características de las personas creativas. X 1 20 2 Herrami entas del proceso creativo Comprender el significado y estructura de las diferentes herramientas del pensamiento. Explica las características de las herramientas del pensamiento. X 1 20 Aplicar los procesos mentales involucrados en el uso de las herramientas en diferentes situaciones de la vida diaria. Emplear las herramientas del pensamiento en la solución de problemas. X 0 --- 3 Toma de decision es Conocer el proceso de toma de decisiones. Definir qué es una toma de decisión. X 0 --- Comprender la importancia de tomar una decisión. Explicar los componentes de la toma de decisiones. X 1 20 Aplicar las habilidades de pensamiento. Decidir sobre una situación, empleando las herramientas del pensamiento. X 1 20 TOTAL 2 3 2 5 100 Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 7 Nombre: _______________________________________________________________ Grupo: ___________________________________________ INSTRUCCIONES. Lee con atención cada una de las preguntas que se te presenta a continuación. Respóndelas en la parte inferior o anverso de la hoja. PREGUNTAS 1. Explica los dos tipos de pensamiento humano, señalando características, aplicaciones y un ejemplo de cada uno (valor 8 pts.) 2. Explica algunas características de las personas creativas (2 pts.) 3. Describe las características de las herramientas del pensamiento humano (PNI, PMO. APO, CyS, PB, OPV, ER), considerando su uso y formato de presentación (valor 20 pts.) 4. Explica loscomponentes presentes en la toma de decisiones, señalando su importancia y ejemplifica cada uno (valor 20 pts.) 5. Resuelve el siguiente problema empleando las herramientas del pensamiento humano (valor 50 pts.) Estás a punto de concluir tu bachillerato y has decidido continuar estudiando. Hoy se ha publicado la convocatoria para presentar el examen en las tres instituciones públicas de educación superior de la zona (UNAM, Politécnico y UAM). En ésa se enlistan los requisitos que debes cumplir para completar el trámite. La fecha de examen es dentro de un mes, cada institución en un día diferente, y no habrá una segunda oportunidad. A ti te interesa estudiar una carrera que es nueva y no estás seguro si alguna de esas instituciones la ofrece, aunque sí conoces una universidad privada que la tiene, pero desconoces los costos de inscripción y colegiatura así como el plan de estudios. Tus padres no saben si les alcanzará poder costearte los estudios, por eso te han sugerido intentes presentar el examen a la escuelas públicas. ¿Cuál es tu decisión? Fundamenta tu respuesta anexando las herramientas del pensamiento que consideres necesarias para esto. Valor total del examen 100 pts. Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 8 Nombre: _______________________________________________________________ Grupo: ___________________________________________ INSTRUCCIONES. Lee con atención cada una de las preguntas que se te presenta a continuación. Respóndelas en la parte inferior o anverso de la hoja. PREGUNTAS 1. Explica los dos tipos de pensamiento humano, señalando características, aplicaciones y un ejemplo de cada uno (valor 8 pts.) 2. Explica algunas características de las personas creativas (2 pts.) 3. Describe las características de las herramientas del pensamiento humano (PNI, PMO. APO, CyS, PB, OPV, ER), considerando su uso y formato de presentación (valor 20 pts.) 4. Explica los componentes presentes en la toma de decisiones, señalando su importancia y ejemplifica cada uno (valor 20 pts.) 5. Resuelve el siguiente problema empleando las herramientas del pensamiento humano (valor 50 pts.) Estás a punto… Fundamenta tu respuesta anexando las herramientas del pensamiento que consideres necesarias para esto. Valor total del examen 100 pts. COMPONENTES MÍNIMOS DE RESPUESTA 1. Pensamiento vertical o convergente. Busca soluciones lógicas y respuestas correctas, se regula por el hemisferio izquierdo del cerebro, es el que desarrollan los científicos. Pensamiento lateral o divergente. Es llamado creativo, no existe una solución única, se regulador el hemisferio derecho del cerebro, es el que desarrollan los artistas. 2. espontáneas (no requieren demanda del exterior), imaginativas (buscan y ofrecen soluciones novedosas a problemas), organizadas (disciplina “personalizada” en su trabajo), flexibles (adaptables al entorno), originales (se desarrollan con novedad), curiosos (exploran alternativas en su entorno), sensitivos (piensan en el entorno), persistentes (ejecutan tareas sin perder el objetivo, hasta cumplirlo), atentos (se centran con facilidad en su tarea), tolerantes (aceptan lo que en el entorno les es contrario). 3. PMO. Planteamiento de metas y objetivos, permite identificar las metas que son guías para las acciones. PNI. Positivo, negativo e interesante, evita la subjetividad y ayuda a identificar puntos de análisis. OPV. Otros puntos de vista, ayuda a evitar el egocentrismo. APO. Alternativas, posibilidades y oportunidades, dirige la atención hacia la búsqueda de alternativas y ayuda a salir de lo convencional. CTF. Considere todos los factores; atrae la atención hacia los puntos que deben considerarse para tomar una decisión. CyS. Consecuencias y secuelas; identificar las consecuencias de las decisiones evaluando mejor lo que pensamos y evitar errores. PB. Prioridades básicas; permite reconocer los más importante al elegir factores, definir objetivos. ER. Establecimiento de reglas; establecen normas de funcionamiento, sirven para facilitar la convivencia, útiles en situaciones de emergencia. 4. El factor más importante es el tiempo. Toda elección conlleva dos o más que deben analizarse. En la decisión interviene la razón (valoración, órdenes, costumbres) y las emociones (caprichos, adicciones). 5. Deben emplear al menos PMO, PNI, CTF, señalar su decisión y explicar por qué. Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 9 FICHA DE EVALUACIÓN DE EXAMEN Pre- estrut urada Uniestruct urada Multiestructurada Relacional Abstra cción extens ión Bajo Medio Alto Bajo Medio Alto D es cr ip ci ón N o en tie n de la p re g un ta , ad iv in a pr op or ci on a de fin ic io ne s ta ut ol ó gi ca s. S ól o m e nc io na u na p ie za re le va nt e d e in fo rm ac ió n. M en ci on a d os o tr es el em en to s re la ci on ad os c on la pr eg un ta p er o si n de sa rr ol la rlo s. M en ci on a u n n úm er o d iv er so de e le m en to s, s in de sa rr ol la rlo s M en ci on a d iv er so s el em en to s re la ci on ad os c on la p re g un ta , lo s el ab or a e ilu st ra . G en er a liz a id e as y fo rm a pá rr af os e n un a pa rt e de l en sa yo . G en er a liz a id e as e n di fe re nt e s pa rt es d e l e ns ay o. G en er a liz ac ió n c om pl et a e n to do e l e ns ay o. G en er a liz a id e as y d es ar ro lla cr íti ca s so br e el te m a o di sc ip lin a V al . P ts . 0 1 3 4 5 7 8 9 10 R 1 R 2 R 3 R 4 R 5 Tot Valor reactivo Puntos obtenidos Puntos máximos Calificación reactivo R1 8 R2 2 R3 20 R4 20 R5 50 TOTAL Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 10 Nombre. MAPA CONCEPTUAL Quién responde. Elabora el alumno y califica el profesor Definición. Técnica gráfica que señala relaciones entre conceptos de un dominio. Se emplea para evaluar. Como técnica de evaluación es el conjunto de procedimientos para medir aspectos importantes de la organización y estructura del conocimiento declarativo de los estudiantes. Uso. - Medir y evaluar la estructura del conocimiento de los estudiantes Rasgos distintivos. -De los tipos de dominio del conocimiento: declarativo, procesal y estratégico (qué, cómo, por qué-cuándo) corresponde al primero. -Refleja directamente la comprensión sobre un dominio. -Es una tarea para evidenciar la estructura de conocimiento del alumno, un formato de respuesta y un sistema de calificación. -Como tarea varía de acuerdo al grado de dirección que se imponga. Ventajas -Evalúa cuali y/o cuantitativamente estrategias de construcción personal -Evalúa cómo estructuran los alumnos su conocimiento -Permite evaluar grupos de tamaño diverso -Evaluación integral o analítica, de pendiendo de la escalada adoptada Limitantes. -Requiere de quien elabore la escala y el mapa criterio -Requiere de tiempo para la construcción de la estrategia, el criterio y la escala -Evalúa el nivel declarativo, no procesal ni estratégico Clasificación. - De acuerdo al grado de dirección puede ser total o nulamente dirigido, dentro de un continuo: Grado de dirección Conceptos, ligas, conectores y estructura Proporcionado por el profesor Elaborado por el alumno Elaboración. 1. Definir el constructo y sus dimensiones a evaluar. 2. Identificar proposiciones, con nodos y ligas, sustanciales sobre el dominio. 3. Definir tipo de calificación (con base en escala o criterio) 4. Construir un mapa considerando las proposiciones sustanciales 5. Definir escala (dico o politómica) 6.Describir los extremos de la escala y, de ser necesario los puntos intermedios 7. Asignar baremos cuanti y cualitativos a cada nivel del continuo descrito 8. Considerar tiempo y esfuerzo para mostrar evidencia. Calificación. -Se puede calificar de acuerdo a un mapa criterio o a la calidad de la proposiciones (con una escala dico o politómica) -Definir los atributos a calificar (ej. organización, comprensión, precisión) -Se coteja el mapa con la escala o criterio -Se suman los puntos obtenidos Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 11 Ejemplo de Tabla de Especificaciones e instrumento para Mapa Conceptual CONSTRUCTO: MAPA CONCEPTUAL CATEGORÍA O DIMENSIÓN: DEFINICIÓN DE MAPA COCNEPTUAL INSTRUMENTO: Mapa Conceptual OBJETIVO: Definir al mapa conceptual, completando un mapa. Contenido Resultado de aprendizaje Indicador Nivel cognitivo Reactivos Con Com Apl # % DEFINIFIÓN, USO Y UTILIDAD DEL MAPA CONCEPTUAL Definir al mapa conceptual Señalar al mapa conceptual como herramienta de aprendizaje X 1 11 Señalar al mapa conceptual como técnica de estudio X 1 11 Indicar el uso del mapa conceptual en informes X 1 11 Indicar el uso del mapa conceptual en investigación X 1 11 Indicar el uso del mapa conceptual en educación X 1 11 Indicar el uso del mapa conceptual en otras áreas X 1 11 Especificar que el mapa permite al alumno organizar el conocimiento X 1 11 Especificar que el mapa permite al docente construir y explorar conocimiento de sus alumnos X 1 11 Señalar que el mapa conceptual es útil para fomentar reflexión, análisis y creatividad X 1 11 Total 9 100 Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 12 Nombre: ________________________________________________________________________________ Grupo: ________________________________ INSTRUCCIONES: Completa el siguiente mapa conceptual escribiendo los conceptos que faltan en los nodos. MAPAS CONCEPTUALES TÉCNICA PREESCOLAR UNIVERSIDAD son utilizadas en INFORMES TESIS DE INVESTIGACIÓN ESTUDIO de HERRAMIENTAS APRENDIZAJE de permiten al DOCENTE ALUMNO la la del CONSTRUCCIÓN EXPLORACIÓN ORGANIZACIÓN CONOCIMIENTO fomentan la REFLEXIÓN ANÁLISIS CREATIVIDAD y Valor 13 pts. Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 13 INSTRUMENTOS DE APOYO A LA OBSERVACIÓN (Instrumentos que emplea el evaluador para calificar el desempeño de los alumnos con base en la observación) Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 14 Nombre. LISTAS DE COMPROBACIÓN (COTEJO O VERIFICACIÓN) Quién responde. El evaluador Definición. Lista de factores, propiedades, aspectos, tareas o dimensiones de un objeto a evaluar. Uso. - Verificar la presencia o ausencia de una atributo o proceso en el objeto evaluado. - Para calificar procedimientos y/o productos de ejecuciones, comprensión o desempeño en otras pruebas Rasgos distintivos. - Puede haber listas de orientación de ejecución de la tarea. - Son dicotómicas (presencia, ausencia) - Reducen el efecto halo - Se entienden fácilmente - Maneja muchos datos conjuntados - Se les llama también de cotejo o verificación Limitantes. - Requieren observador “experto” - Quien observe debe conocer perfectamente la lista. - Quien califique debe saber cómo. Clasificación. De súper. - No hay orden Secuencial. - Fuerte. Si se cumple A entonces B - Débil. No importa el orden pero si la presencia. Iterativa. - Requiere re-leerse varias veces Diagnóstica. - Se basa en un diagrama de flujo De mérito. - Con base en un criterio, con peso en puntos Elaboración. - Se define el constructo y sus dimensiones. - De las dimensiones se señalan indicadores y criterios de ejecución. - Cada punto debe ser criterio no indicador. - Los criterios se ponderan por importancia, ocurrencia, necesidad o utilidad. - Se definen los descriptivos de la escala dicotómica. - Se define el procedimiento de calificación. - Se elaboran instrucciones con ejemplo. Calificación. - Se ponderan los criterios. - Se asigna puntaje según ponderación. - Se califica por norma (media y desviación) o por criterio (puntuación máxima posible, puntuación mínima aprobatoria o porcentaje de criterios presentes. - Se valida (constructo, aparente, contenido, criterio) y se señala su confiabilidad (consistencia, estabilidad y entre jueces) Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 15 Ejemplo de Tabla de Especificaciones e instrumento para Lista de Comprobación CONSTRUCTO: Evaluación del aprendizaje. CATEGORÍA O DIMENSIÓN: Prueba objetiva. INSTRUMENTO: Lista de comprobación. OBJETIVO: Evaluar la calidad de los reactivos de una prueba objetiva de opción múltiple, verificando la presencia de sus atributos elementales, para obtener la validez aparente del instrumento. Contenido Resultado de aprendizaje Indicador Nivel cognitivo Reactivos Con Com Apl # % Reactivos de opción múltiple Elaborar reactivos de opción múltiple válidos Elaborar reactivos con formato y redacción adecuada X 7 27 Elaborar distractores válidos X 8 31 Elaborar instrucciones adecuadas a los reactivos X 6 23 Incluir gráficos o texto adecuados para apoyar la resolución de reactivos X 5 19 Total 26 100 Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 16 LISTA DE VERIFICACIÓN DE REACTIVOS La presente lista tiene por objetivo verificar la presencia de atributos en los reactivos de una prueba objetiva de opción múltiple. Lea las afirmaciones y marque la celda SI en caso de que el reactivo cumpla con el atributo o marque la celda NO en caso contrario, marque la celda NA si el atributo No Aplica para el reactivo. Sume el total de cada columna, multiplique el total de la columna SI por 100 y divídalo entre la suma de los totales de las columnas SI y NO. Indique si el reactivo SI NO NA 1 Está numerado 2 Posee distractores u opciones de respuesta 3 Posee gráficos o apoyos textuales 4 Posee instrucciones 5 Está redactado con lenguaje claro y sencillo 6 Está redactado de manera positiva 7 Presenta sólo un problema por resolver 8 Es adecuado para la edad a quien va dirigido 9 Mide el resultado de aprendizaje señalado en la tabla de especificaciones 10 Corresponde al nivel cognitivo señalado en la tabla de especificaciones Si el reactivo posee distractores señale si SI NO NA 11 Poseen viñetas homogéneas 12 Se distinguen de la base del reactivo 13 Están ordenados según su extensión 14 Están redactados con lenguaje claro y sencillo 15 Son plausibles 16 Evitan proporcionar pistas para la solución del mismo reactivo 17 Posee sólo una respuesta correcta 18 La respuesta señalada como correcta parece serlo Si el reactivo posee instrucciones indique si SI NO NA 19 Se incluyen como parte de la base del reactivo 20 Poseen ortografía adecuada 21 Están redactadas con lenguaje sencillo 22 Son comprensibles 23 Son plausibles Si el reactivo posee apoyos gráficos o textuales indique si SI NO NA 24 Son congruentes con el resto del reactivo 25 Las gráfica tiene los rótulos de nombre y ejes (apoyo gráfico) 26 Incluye el título y autor del texto (apoyo textual) 27 El apoyo textual está redactado adecuadamente o el apoyo gráfico es nítido. Total Porcentaje Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 17 Nombre. ESCALA GRÁFICA Quién responde. El evaluador Definición. ESCALA. Serie de rangos descriptivos o numéricos de un continuo, empleados para evaluar o juzgar niveles específicosde desempeño. Escala gráfica. Técnica observacional que consiste en presentar descripciones o características a lo largo de un continuo, vertical u horizontalmente Uso. - Evaluar desempeño, procesos o productos - En ambos casos el evaluador necesita conocer el objeto y sus dimensiones. - Si es una escala de proceso debe atender tanto al procedimiento correcto como al incorrecto (errores frecuentes). Rasgos distintivos. FORMATO - Al menos tres diferentes formatos, que se distinguen por la línea continua o segmentada. - No hay evidencia que se afecte la precisión. - Se describen los extremos y/o el centro - Su uso depende de las características del objeto a evaluar. forma 1 Línea segmentada Excelente Bueno Regular Malo Pésimo forma 2 Línea continua, niveles delimitados : : : : Excelente Bueno Regular Malo Pésimo forma 3 Línea continua Excelente Bueno Regular Malo Pésimo Ventajas. - Calificación rápida - Útiles para procesos y productos - Abarcan una o más dimensiones de un mismo constructo - Son objetivas - Pueden analizarse cuali o cuantitativamente Limitantes. - El evaluador requiere conocer el objeto - Se requiere capacitación para la calificación - Susceptible de acarreamiento (efecto halo) - Uso parcial de la escala - “Generosidad” - Percepción diferenciada - Calificados individualmente Consideraciones. Problema Solución Falta de entrenamiento Capacitación Acarreamiento Calificar un rasgo a la vez, Evitarlo o Que no se reconozca el nombre del sujeto Indulgencia (calificar con reserva) Cuidar descriptivos de la escala Tendencia central Cuidar # intervalos de escala Ambigüedad del rasgo Explicitar el rasgo y descriptivos escala Clasificación. - Observacionales - Numéricas - Gráficas - Descriptivas - Comparativas* - Guttman - Rasch - No comparativas* - Thurstone - Likert *son procedimientos Elaboración. - Identificar el objeto - Definir el objeto - Ordenar proceso o producto - Elegir escala Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 18 - Categorías - Indicadores - Reactivos - Pertinencia de la escala - Elegir formato - Elaborar instrucciones Calificación. - Cuali= depende de la extensión de los descriptores - Cuanti= se asigna un valor máximo (esperado) para cada reactivo, se contabiliza - mezclar las calificaciones de diferentes observadores (promedio) - Deben poseer atributos de validez, confiabilidad y generalización. - La confiabilidad entre pares es útil en la construcción Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 19 Ejemplo de Tabla de Especificaciones e instrumento para Escala Gráfica CONSTRUCTO: Evaluación del aprendizaje. CATEGORÍA O DIMENSIÓN: Prueba objetiva de opción o selección múltiple. INSTRUMENTO: ESCALA GRÀFICA OBJETIVO: Evaluar la calidad de los reactivos de una prueba objetiva de opción múltiple, describiendo sus atributos elementales, para obtener la validez aparente del instrumento. Contenido Resultado de aprendizaje Indicador Nivel cognitivo Reactivos Con Com Apl # % Reactivos de opción múltiple Elaborar reactivos de opción múltiple con formato adecuado -numerar el reactivo -emplear un formato de fuente que distinga la base del reactivo de las opciones de respuesta -ordenar las opciones de respuesta con letras como viñetas, iniciando con la letra “A” -escribir con ortografía correcta las palabras que contiene el reactivo -emplear correctamente los signos de puntuación X 4 22 -distinguir el espacio donde debe completarse la afirmación, para reactivos de completar X 1 6 -distinguir las columnas a relacionar, en reactivos de casamiento -ordenar cada columnas a relacionar con viñetas diferentes entre sí y respecto del reactivo y las opciones de respuesta, en reactivos de casamiento -emplear número semejante de elementos en cada columna, en reactivos de casamiento -incluir componentes de cada columna con extensión semejante, en reactivos de casamiento X 3 17 Elaborar reactivos de opción múltiple con redacción adecuada -escribir reactivos adecuados para la edad a quien se dirigen -escribir reactivos con información suficiente para comprenderlos X 4 22 Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 20 -escribir reactivos que correspondan al nivel cognitivo señalado en la tabla de especificaciones -escribir reactivos que midan el aprendizaje esperado señalado en la tabla de especificaciones Elaborar distractores plausibles -incluir opciones de respuesta con extensión semejante -ordenar convenientemente las opciones de respuesta (por extensión, cronología, alfabética o numéricamente) -colocar sólo una respuesta correcta -omitir distractores claramente descartables X 4 22 Incluir gráficos o texto necesarios para comprender los reactivos -incluir el texto o gráfico necesario para comprender el reactivo -emplear un formato que permita distinguir con claridad el texto o gráfico -incluir, en el texto o gráfico, información suficiente para comprender el reactivo X 2 11 Total 18 100 Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 21 ESCALA GRÁFICA PARA EVALUAR REACTIVOS DE PRUEBAS OBJETIVAS DE OPCIÓN MULTIPLE La presente escala gráfica tiene por objetivo evaluar la calidad de los reactivos de una prueba objetiva de opción múltiple. Lea las afirmaciones de la escala y marque el intervalo en el continuo que represente mejor el atributo del reactivo. El intervalo se compone por cuatro intervalos: Descriptivo del intervalo Valor Deficiente 0 1 2 Excelente 3 Sume los valores asignados a cada afirmación de la escala y divídalos entre el número de afirmaciones resueltas. 0 1 2 3 1. La ortografía del reactivo es correcta Deficiente : : : Excelente 2. El uso de los signos de puntuación es correcto Deficiente : : : Excelente 3. El formato de la base del reactivo es diferente del de las opciones y permite distinguirlas Deficiente : : : Excelente 4. Las opciones de respuesta se ordenan con viñetas correctas Deficiente : : : Excelente 5. Los apoyos textuales o gráficos poseen un formato que los muestra con claridad Deficiente : : : Excelente 6. Los apoyos textuales o gráficos contienen información suficiente para ayudar en la comprensión del reactivo Deficiente : : : Excelente 7. El reactivo de completar distingue el espacio donde debe completarse la afirmación Deficiente : : : Excelente 8. El reactivo de casamiento distingue las columnas que deben relacionarse Deficiente : : : Excelente 9. Las columnas, del reactivo de casamiento, Deficiente : : : Excelente Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 22 son semejantes en número y extensión 10. Las columnas, del reactivo de casamiento, se ordenan con viñetas que distinguen a la columnas entre sí y respecto a las base y opciones de respuesta Deficiente : : : Excelente 11. El reactivo es adecuado para el grupo de edad a quien se dirige Deficiente : : : Excelente 12. El reactivo posee información suficiente para comprenderlo Deficiente : : : Excelente 13. Mide el resultado de aprendizaje señalado en la tabla de especificaciones Deficiente : : : Excelente 14. Mide en el nivel cognitivo señalado en la tabla de especificaciones Deficiente : : : Excelente 15. Las opciones de respuesta poseen extensión semejante Deficiente : : : Excelente 16. Las opciones de respuesta poseen orden conveniente Deficiente : : : Excelente 17. Existe sólo una respuesta correcta Deficiente: : : Excelente 18. Las opciones de respuesta omiten distractores claramente descartables Deficiente : : : Excelente SUMA TABLA PARA EVALUACIÒN No. del reactivo evaluado No. de afirmaciones resueltas Suma total Valor del reactivo Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 23 Otros ejemplos de cómo podemos representar este tipo de escala son los siguientes cuatro: 1) 2) 3) 4) Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 24 Nombre. ESCALA NUMÉRICA Quién responde. El evaluador Definición. ESCALA. Serie de rangos descriptivos o numéricos de un continuo, empleados para evaluar o juzgar niveles específicos de desempeño. Escala numérica. Técnica observacional que consiste en presentar una lista de números para indicar el grado en que una características está presente. Uso. - Para calificar desempeño, procesos o productos Rasgos distintivos. - Es la más sencilla de las escalas, de hecho la escala gráfica incluye a la numérica y la descriptiva incluye a ambas. Limitantes. - El evaluador requiere conocer el objeto - Se requiere capacitación para la calificación - Susceptible de acarreamiento (efecto halo) - Prejuicio o propensión personal - Uso parcial de la escala - Generosidad y severidad - Calificados individualmente Clasificación. - Para calificar el procedimiento, producto o desarrollo personal-social Elaboración. - Identificar el objeto - Definir el objeto - Categorías - Indicadores - Reactivos - Ordenar proceso o producto - Elegir escala - Asignar descripción para cada número - Elaborar instrucciones Calificación. - Cuali= depende de la extensión de los descriptores - Cuanti= se asigna un valor máximo (esperado) para cada reactivo, se contabiliza - Deben poseer atributos de validez, confiabilidad y generalización. - Debe obtenerse confiabilidad entre pares TIP Las características deben… - tener importancia educativa - ser directamente observables - definirse con claridad Las escalas deben… - permitir calificar en puntos intermedios - evitar calificarse si no se es apto - mezclar las calificaciones de diferentes observadores (promedio) Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 25 Ejemplo de Tabla de Especificaciones e instrumento para Escala Numérica CONSTRUCTO: Evaluación del aprendizaje. CATEGORÍA O DIMENSIÓN: Prueba objetiva de opción o selección múltiple. INSTRUMENTO: ESCALA NUMÈRICA OBJETIVO: Evaluar la calidad de los reactivos de una prueba objetiva de opción múltiple, describiendo sus atributos elementales, para obtener la validez aparente del instrumento. Contenido Resultado de aprendizaje Indicador Nivel cognitivo Reactivos Con Com Apl # % Reactivos de opción múltiple Elaborar reactivos de opción múltiple con formato adecuado -numerar el reactivo -emplear un formato de fuente que distinga la base del reactivo de las opciones de respuesta -ordenar las opciones de respuesta con letras como viñetas, iniciando con la letra “A” -escribir con ortografía correcta las palabras que contiene el reactivo -emplear correctamente los signos de puntuación X 4 22 -distinguir el espacio donde debe completarse la afirmación, para reactivos de completar X 1 6 -distinguir las columnas a relacionar, en reactivos de casamiento -ordenar cada columnas a relacionar con viñetas diferentes entre sí y respecto del reactivo y las opciones de respuesta, en reactivos de casamiento -emplear número semejante de elementos en cada columna, en reactivos de casamiento -incluir componentes de cada columna con extensión semejante, en reactivos de casamiento X 3 17 Elaborar reactivos de opción múltiple con redacción -escribir reactivos adecuados para la edad a quien se dirigen -escribir reactivos con X 4 22 Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 26 adecuada información suficiente para comprenderlos -escribir reactivos que correspondan al nivel cognitivo señalado en la tabla de especificaciones -escribir reactivos que midan el aprendizaje esperado señalado en la tabla de especificaciones Elaborar distractores plausibles -incluir opciones de respuesta con extensión semejante -ordenar convenientemente las opciones de respuesta (por extensión, cronología, alfabética o numéricamente) -colocar sólo una respuesta correcta -omitir distractores claramente descartables X 4 22 Incluir gráficos o texto necesarios para comprender los reactivos -incluir el texto o gráfico necesario para comprender el reactivo -emplear un formato que permita distinguir con claridad el texto o gráfico -incluir, en el texto o gráfico, información suficiente para comprender el reactivo X 2 11 Total 18 100 Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 27 ESCALA NUMÉRICA PARA EVALUAR REACTIVOS DE PRUEBAS OBJETIVAS DE OPCIÓN MULTIPLE La presente escala numérica tiene por objetivo evaluar la calidad de los reactivos de una prueba objetiva de opción múltiple. Lea las afirmaciones de la escala y marque el intervalo en el continuo que represente mejor el atributo del reactivo. El intervalo se compone por cuatro intervalos: Valor Descriptivo 0 Deficiente 1 Regular 2 Bueno 3 Excelente Sume los valores asignados a cada afirmación de la escala y divídalos entre el número de afirmaciones resueltas. Identifique el descriptivo para el resultado. 0 1 2 3 1. La ortografía del reactivo es correcta 2. El uso de los signos de puntuación es correcto 3. El formato de la base del reactivo es diferente del de las opciones y permite distinguirlas 4. Las opciones de respuesta se ordenan con viñetas correctas 5. Los apoyos textuales o gráficos poseen un formato que los muestra con claridad 6. Los apoyos textuales o gráficos contienen información suficiente para ayudar en la comprensión del reactivo 7. El reactivo de completar distingue el espacio donde debe completarse la afirmación 8. El reactivo de casamiento distingue las columnas que deben relacionarse 9. Las columnas, del reactivo de casamiento, son semejantes en número y extensión 10. Las columnas, del reactivo de casamiento, se ordenan con viñetas que distinguen a la columnas entre sí y respecto a las base y opciones de respuesta 11. El reactivo es adecuado para el grupo de edad a quien se dirige 12. El reactivo posee información suficiente para comprenderlo 13. Mide el resultado de aprendizaje señalado en la tabla de especificaciones 14. Mide en el nivel cognitivo señalado en la tabla de especificaciones 15. Las opciones de respuesta poseen extensión semejante 16. Las opciones de respuesta poseen orden conveniente 17. Existe sólo una respuesta correcta Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 28 18. Las opciones de respuesta omiten distractores claramente descartables SUMA TABLA PARA EVALUACIÒN No. del reactivo evaluado No. de afirmaciones resueltas Suma total Valor del reactivo Descriptivo Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 29 Nombre. ESCALA DESCRIPTIVA Quién responde. El evaluador Definición. ESCALA. Serie de rangos descriptivos o numéricos de un continuo, empleados para evaluar o juzgar niveles específicos de desempeño. Escala descriptiva. Técnica observacional que consiste en presentar frases descriptivas para identificar puntos sobre una escala gráfica. Uso. - Para conocer nivel de competencia, proceso, producto o desarrollo social Rasgos distintivos. - Es la más usadaen escuelas. - Expresa en términos de comportamiento cómo son los alumnos en etapas diferentes. - En ocasiones sólo los extremos se describen, o se escribe una frase descriptiva debajo de cada punto designado. - Se proporciona un espacio en blanco para comentarios adicionales. Ventajas. - Calificación rápida - Útiles para procesos, productos y comportamientos. - Abarcan una o más dimensiones de un mismo constructo - Son objetivas - Pueden analizarse cuali o cuantitativamente Limitantes. - El evaluador requiere conocer el objeto - Se requiere capacitación para la calificación - Susceptible de acarreamiento (efecto halo) - Calificados individualmente - Prejuicio o propensión personal - Uso parcial de la escala - Generosidad y severidad - Error lógico (tendencia entre constructos, inteligencia 1/a socialización) Consideraciones. - Los alumnos la pueden conocer desde antes de ser evaluados - Se describen todos los intervalos Clasificación. - Para calificar el procedimiento, producto o desarrollo personal-social Elaboración. - Identificar el objeto - Definir el objeto - Categorías - Indicadores - Reactivos - Ordenar proceso o producto - Elegir escala y descriptivos - Pertinencia de la escala - Elaborar instrucciones TIP - Se puede seleccionar una muestra del trabajo o comportamiento de los alumnos que representen los niveles de calidad deseados (ej. 5 ó 7) - Se ordenan según su mérito o valor - Se asigna un valor a éstos - Se realizan las comparaciones Calificación. - Cuali= depende de la extensión de los descriptores - Cuanti= se asigna un valor máximo (esperado) para cada reactivo, se contabiliza TIP Las características deben… - tener importancia educativa - ser directamente observables Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 30 - Deben poseer atributos de validez, confiabilidad y generalización. - Debe obtenerse confiabilidad entre pares - definirse con claridad Las escalas deben… - permitir calificar en puntos intermedios - evitar calificarse si no se es apto - mezclar las calificaciones de diferentes observadores (promedio) Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 31 Ejemplo de Tabla de Especificaciones e instrumento para Escala Descriptiva CONSTRUCTO: Evaluación del aprendizaje. CATEGORÍA O DIMENSIÓN: Prueba objetiva de opción o selección múltiple. INSTRUMENTO: ESCALA DESCRIPTIVA OBJETIVO: Evaluar la calidad de los reactivos de una prueba objetiva de opción múltiple, describiendo sus atributos elementales, para obtener la validez aparente del instrumento. Contenido Resultado de aprendizaje Indicador Nivel cognitivo Reactivos Con Com Apl # % Reactivos de opción múltiple Elaborar reactivos de opción múltiple con formato adecuado -numerar el reactivo -emplear un formato de fuente que distinga la base del reactivo de las opciones de respuesta -ordenar las opciones de respuesta con letras como viñetas, iniciando con la letra “A” -escribir con ortografía correcta las palabras que contiene el reactivo -emplear correctamente los signos de puntuación X 3 25 -distinguir el espacio donde debe completarse la afirmación, para reactivos de completar X 1 8 -distinguir las columnas a relacionar, en reactivos de casamiento -ordenar cada columnas a relacionar con viñetas diferentes entre sí y respecto del reactivo y las opciones de respuesta, en reactivos de casamiento -emplear número semejante de elementos en cada columna, en reactivos de casamiento -incluir componentes de cada columna con extensión semejante, en reactivos de casamiento X 3 25 Elaborar reactivos de opción múltiple con redacción adecuada -escribir reactivos adecuados para la edad a quien se dirigen -escribir reactivos con información suficiente para comprenderlos X 2 17 Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 32 -escribir reactivos que correspondan al nivel cognitivo señalado en la tabla de especificaciones -escribir reactivos que midan el aprendizaje esperado señalado en la tabla de especificaciones Elaborar distractores plausibles -incluir opciones de respuesta con extensión semejante -ordenar convenientemente las opciones de respuesta (por extensión, cronología, alfabética o numéricamente) -colocar sólo una respuesta correcta -omitir distractores claramente descartables X 2 17 Incluir gráficos o texto necesarios para comprender los reactivos -incluir el texto o gráfico necesario para comprender el reactivo -emplear un formato que permita distinguir con claridad el texto o gráfico -incluir, en el texto o gráfico, información suficiente para comprender el reactivo X 1 8 Total 12 100 Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 33 ESCALA DESCRIPTIVA PARA EVALUAR REACTIVOS DE PRUEBAS OBJETIVAS DE OPCIÓN MULTIPLE La presente escala descriptiva tiene por objetivo evaluar la calidad de los reactivos de una prueba objetiva de opción múltiple. Lea las afirmaciones de la escala y marque lel intervalo del continuo que describa mejor el atributo del reactivo a evaluar. Cada intervalo del continuo posee un baremo cuantitativo. Sume los valores de las respuestas emitidas para cada afirmación de la escala, divida entre el número de afirmaciones resueltas. El resultado le indicará el baremo sobre el cual valorar el reactivo. 0 1 2 3 R E D A C C IÓ N A D E C U A D A El reactivo… No se numera y contiene errores ortográficos Se numera, pero contiene errores ortográficos Está libre de errores ortográficos, pero no se numera Se numera y su ortografía es correcta Muestra el mismo formato en la base y las opciones de respuesta y las confunde, además muestra un uso incorrecto de signos de puntuación Muestra un uso correcto de signos de puntuación, pero el formato de la base y de las opciones de respuesta es el mismo y las confunde Muestra un uso incorrecto de signos de puntuación, pero el formato de la base y de las opciones de respuesta es diferente y permite distinguirlas Muestra un uso correcto de signos de puntuación y el formato de la base y de las opciones de respuesta es diferente y permite distinguirlas Las opciones de respuesta… No se ordenan con viñetas alfabéticas Se ordenan con viñetas alfabéticas Se ordenan con viñetas alfabéticas sin iniciar con la letra “A” Se ordenan con viñetas, iniciando con la letra A Los apoyos gráficos o textuales necesarios para comprender el reactivo… No se incluyen Poseen un formato que no los muestra con claridad Poseen un formato que los muestra con claridad, pero contienen información insuficiente Poseen un formato que los muestra con claridad y contienen información suficiente El reactivo de completar… No distingue el espacio donde debe completarse la afirmación ni existe relación lógica entre la base y la opciones de respuesta Distingue el espacio donde debe completarse la afirmación, pero no existe relación lógica entre la base y la opciones de respuesta Existe relación lógica entre la base y la opciones de respuesta, pero no distingue el espacio donde debe completarse la afirmación Distingue el espacio donde debe completarse la afirmación y existe relación lógica entre la base y la opciones de respuesta El reactivo de casamiento… No distingue las columnas que deben relacionarse ni existe relación lógica entre la base y la opciones de respuesta Distingue las columnas que deben relacionarse, pero no existe relación lógica entre la base y la opciones de respuesta Existe relación lógica entre la base y la opciones de respuesta, pero no distingue las columnas que deben relacionarse Distingue las columnas que deben relacionarse y existerelación lógica entre la base y la opciones de respuesta Los componentes de las columnas a relacionar… No son semejantes en número ni en extensión Son semejantes en número pero no en extensión Son diferentes en número pero semejantes en extensión Son semejantes en número y extensión No están ordenados con viñetas Se ordenan con viñetas que distingue a las columnas entre sí, pero las confunde respecto a la numeración de la base o las opciones de respuesta Se ordenan con viñetas que distingue a las columnas respecto la numeración del reactivo o las opciones de respuesta, pero las confunde entre sí Se ordenan con viñetas que distinguen a la columnas entre sí y respecto a las base y opciones de respuesta C LA R ID A D El reactivo… Es inadecuado para el grupo de edad a quien se dirige y posee información insuficiente para comprenderlo Es inadecuado para el grupo de edad a quien se dirige, pero posee información suficiente para comprenderlo Es adecuado para el grupo de edad a quien se dirige, pero posee información insuficiente para comprenderlo Es adecuado para el grupo de edad a quien se dirige y posee información suficiente para comprenderlo No mide el resultado de aprendizaje ni corresponde al nivel cognitivo señalado en la tabla de especificaciones No mide el resultado de aprendizaje pero corresponde al nivel cognitivo señalado en la tabla de especificaciones Mide el resultado de aprendizaje pero no corresponde al nivel cognitivo señalado en la tabla de especificaciones Mide el resultado de aprendizaje en el nivel cognitivo señalado en la tabla de especificaciones Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 34 0 1 2 3 P LA U S IB IL ID A D Las opciones poseen… Extensión diferente y desorden Orden, pero extensión diferente Extensión semejante, pero desorden Extensión semejante y orden conveniente Más de una respuesta correcta con distractores claramente descartables Sin distractores claramente descartables, pero más de una respuesta correcta Existe sólo una respuesta correcta, pero con distractores claramente descartables Existe sólo una respuesta correcta sin distractores claramente descartables TABLA PARA EVALUACIÒN No. del reactivo evaluado No. de afirmaciones resueltas Suma de valores Valor del reactivo Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 35 Nombre. RÚBRICA O MATRIZ DE VALORACIÓN Quién responde. El evaluador Definición. Técnica observacional derivada de las escalas empleada para evaluar desempeños o productos. Es la forma de calificación de un instrumento. Guía de calificación consistente en criterios de desempeño específico pre- establecidos. Uso. - Para evaluar desempeño de estudiantes en tareas específicas, así como productos resultados de tales actividades. Clasificación - Rúbricas Holísticas (RH): califica el proceso o producto en general, como un todo, sin evaluar las partes por separado. Evaluación Sumativa. - Rúbricas Analíticas (RA): califica de manera separada las partes de un proceso o producto, para obtener un puntaje total. Evaluación Formativa. Rasgos distintivos. - Evalúan una dimensión. - RH para Evaluación Sumativa y RA para Evaluación Formativa. - RH para ensayos o donde no hay respuesta correcta, donde importa la calidad final. - RA permite comparar entre jueces y señalar un perfil o debilidades y fortalezas de los desempeños o productos de los alumnos. - Una buena rúbrica es inadecuada para un instrumento “pobre” - Requieren que el profesor revise primero, de manera general el desempeño o producto. - Debe haber el mismo número de intervalos Limitantes. - Construcción tardada - Tiempo y calificación costosa - Conocimiento de uso - Revisión previa del objeto a evaluar Elaboración. 1. Definir constructo 2. Definir dimensión 3. Considerar tiempo y recursos 4. Decidir por una RH o RA 5. Definir resultados de aprendizaje e indicadores 6. Convertir desempeño o producto en pasos graduados 7. Definir escala descriptiva 8. Señalar etiquetas cuanti y/o cualitativas para cada nivel Objetivos de aprendizaje Indicadores Atributos Descripción para cada atributo Completar criterios para intervalos Agregar baremos Ej. 0,1,2,3 = deficiente, regular, suficiente, excelente Calificación. - Contar puntajes para cada ítem según escala - Sumar puntajes - Promediar y ubicar resultado en escala - Describir obtenido - Obtener evidencias de Validez (aparente, contenido, criterio y constructo) y Confiabilidad (entre jueces, consistencia interna) Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 36 Ejemplo de Tabla de Especificaciones e instrumento para Rúbrica CONSTRUCTO: Evaluación del aprendizaje. CATEGORÍA O DIMENSIÓN: Prueba objetiva de opción o selección múltiple. INSTRUMENTO: RÚBRICA OBJETIVO: Evaluar la calidad de los reactivos de una prueba objetiva de opción múltiple, describiendo sus atributos elementales, para obtener la validez aparente del instrumento. Contenido Resultado de aprendizaje Indicador Nivel cognitivo Reactivos Con Com Apl # % Reactivos de opción múltiple Elaborar reactivos de opción múltiple con formato adecuado -numerar el reactivo -emplear un formato de fuente que distinga la base del reactivo de las opciones de respuesta -ordenar las opciones de respuesta con letras como viñetas, iniciando con la letra “A” -escribir con ortografía correcta las palabras que contiene el reactivo -emplear correctamente los signos de puntuación X 3 25 -distinguir el espacio donde debe completarse la afirmación, para reactivos de completar X 1 8 -distinguir las columnas a relacionar, en reactivos de casamiento -ordenar cada columnas a relacionar con viñetas diferentes entre sí y respecto del reactivo y las opciones de respuesta, en reactivos de casamiento -emplear número semejante de elementos en cada columna, en reactivos de casamiento -incluir componentes de cada columna con extensión semejante, en reactivos de casamiento X 3 25 Elaborar reactivos de opción múltiple con redacción adecuada -escribir reactivos adecuados para la edad a quien se dirigen -escribir reactivos con información suficiente para comprenderlos -escribir reactivos que X 2 17 Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 37 correspondan al nivel cognitivo señalado en la tabla de especificaciones -escribir reactivos que midan el aprendizaje esperado señalado en la tabla de especificaciones Elaborar distractores plausibles -incluir opciones de respuesta con extensión semejante -ordenar convenientemente las opciones de respuesta (por extensión, cronología, alfabética o numéricamente) -colocar sólo una respuesta correcta -omitir distractores claramente descartables X 2 17 Incluir gráficos o texto necesarios para comprender los reactivos -incluir el texto o gráfico necesario para comprender el reactivo -emplear un formato que permita distinguir con claridad el texto o gráfico -incluir, en el texto o gráfico, información suficiente para comprender el reactivo X 1 8 Total 12 100 Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 38 RÚBRICA PARA EVALUAR REACTIVOS DE PRUEBAS OBJETIVAS DE OPCIÓN MULTIPLE La presente rúbrica tiene por objetivo evaluar la calidad de los reactivos de una prueba objetiva de opción múltiple. Lea las afirmaciones de la escala y marque el intervalo del continuo que describa mejor el atributo del reactivo a evaluar. Cada intervalo del continuo posee un baremo cuantitativo y uno cualitativo. Sume los valores de las respuestas emitidas para cada afirmación de la escala, dividaentre el número de afirmaciones resueltas. El resultado le indicará el baremo sobre el cual valorar el reactivo. 0 1 2 3 DEFICIENTE REGULAR BIEN EXCELENTE R E D A C C IÓ N A D E C U A D A El reactivo… No se numera y contiene errores ortográficos Se numera, pero contiene errores ortográficos Está libre de errores ortográficos, pero no se numera Se numera y su ortografía es correcta Muestra el mismo formato en la base y las opciones de respuesta y las confunde, además muestra un uso incorrecto de signos de puntuación Muestra un uso correcto de signos de puntuación, pero el formato de la base y de las opciones de respuesta es el mismo y las confunde Muestra un uso incorrecto de signos de puntuación, pero el formato de la base y de las opciones de respuesta es diferente y permite distinguirlas Muestra un uso correcto de signos de puntuación y el formato de la base y de las opciones de respuesta es diferente y permite distinguirlas Las opciones de respuesta… No se ordenan con viñetas alfabéticas Se ordenan con viñetas alfabéticas Se ordenan con viñetas alfabéticas sin iniciar con la letra “A” Se ordenan con viñetas, iniciando con la letra A Los apoyos gráficos o textuales necesarios para comprender el reactivo… No se incluyen Poseen un formato que no los muestra con claridad Poseen un formato que los muestra con claridad, pero contienen información insuficiente Poseen un formato que los muestra con claridad y contienen información suficiente El reactivo de completar… No distingue el espacio donde debe completarse la afirmación ni existe relación lógica entre la base y la opciones de respuesta Distingue el espacio donde debe completarse la afirmación, pero no existe relación lógica entre la base y la opciones de respuesta Existe relación lógica entre la base y la opciones de respuesta, pero no distingue el espacio donde debe completarse la afirmación Distingue el espacio donde debe completarse la afirmación y existe relación lógica entre la base y la opciones de respuesta El reactivo de casamiento… No distingue las columnas que deben relacionarse ni existe relación lógica entre la base y la opciones de respuesta Distingue las columnas que deben relacionarse, pero no existe relación lógica entre la base y la opciones de respuesta Existe relación lógica entre la base y la opciones de respuesta, pero no distingue las columnas que deben relacionarse Distingue las columnas que deben relacionarse y existe relación lógica entre la base y la opciones de respuesta Los componentes de las columnas a relacionar… No son semejantes en número ni en extensión Son semejantes en número pero no en extensión Son diferentes en número pero semejantes en extensión Son semejantes en número y extensión No están ordenados con viñetas Se ordenan con viñetas que distingue a las columnas entre sí, pero las confunde respecto a la numeración de la base o las opciones de respuesta Se ordenan con viñetas que distingue a las columnas respecto la numeración del reactivo o las opciones de respuesta, pero las confunde entre sí Se ordenan con viñetas que distinguen a la columnas entre sí y respecto a las base y opciones de respuesta C LA R ID A D El reactivo… Es inadecuado para el grupo de edad a quien se dirige y posee información insuficiente para comprenderlo Es inadecuado para el grupo de edad a quien se dirige, pero posee información suficiente para comprenderlo Es adecuado para el grupo de edad a quien se dirige, pero posee información insuficiente para comprenderlo Es adecuado para el grupo de edad a quien se dirige y posee información suficiente para comprenderlo No mide el resultado de aprendizaje ni corresponde No mide el resultado de aprendizaje pero Mide el resultado de aprendizaje pero no Mide el resultado de aprendizaje en el nivel Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 39 0 1 2 3 DEFICIENTE REGULAR BIEN EXCELENTE al nivel cognitivo señalado en la tabla de especificaciones corresponde al nivel cognitivo señalado en la tabla de especificaciones corresponde al nivel cognitivo señalado en la tabla de especificaciones cognitivo señalado en la tabla de especificaciones P LA U S IB IL ID A D Las opciones poseen… Extensión diferente y desorden Orden, pero extensión diferente Extensión semejante, pero desorden Extensión semejante y orden conveniente Más de una respuesta correcta con distractores claramente descartables Sin distractores claramente descartables, pero más de una respuesta correcta Existe sólo una respuesta correcta, pero con distractores claramente descartables Existe sólo una respuesta correcta sin distractores claramente descartables TABLA PARA EVALUACIÒN No. del reactivo evaluado No. de afirmaciones resueltas Suma de valores Valor cualitativo del reactivo Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 40 ESTRATEGIAS DE EVALUACIÓN (Técnicas, no instrumentos) Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 41 Nombre. PORTAFOLIO Quién responde. Lo elabora el alumno o entre el profesor y el alumno; se califica por autoevaluación, co-evaluación o entre pares Definición. Es una técnica, NO instrumento, semiformal de evaluación que promueve diferentes formas de evaluación (autoevaluación, co-evaluación o entre pares). Colección de muestras o documentos seleccionados por el alumno cuyo propósito es demostrar lo que ha aprendido en un curso determinado o durante parte de su vida. Evidencia de los logros del proceso de enseñanza-aprendizaje. Uso. - En todas las disciplinas. - Para evaluar destrezas, estrategias, actitudes, organización y aplicación de conocimientos. - Reflexionar sobre el aprendizaje (alumno) o estrategias docentes empleadas (profesor). - Establecer un perfil de aprendizaje. - Desarrollar el pensamiento crítico y responsabilidad hacia el aprendizaje. Rasgos distintivos. - Meta: demostrar un proceso o procedimiento adquirido, conocimiento o actividades - Objetivos: 1. proporcionar evidencia del crecimiento como estudiante o profesor, según cómo se evalúe; 2. demostrar el logro de los objetivos de un curso o de los perfiles de egreso de una carrera universitaria - La validez de contenido depende de su construcción - Es formativo más que sumativo - Consiste en realizar la colección de productos, totales o parciales correctos y/o incorrectos (ensayos, análisis de textos, composiciones escritas, dibujos) e incluso exámenes erróneos (colocando las respuestas corregidas) - Requiere de una exposición razonada sobre la selección de las muestras y el trabajo que se logró - Si no existe evidencia “original” se elabora respecto al tema Ventajas. - El estudiante se involucra de manera activa - Valora el proceso más que el producto - Es una estrategia para reflexionar sobre el aprendizaje - Los alumnos lo perciben como instrumento que permite a) conocer sus avances y logros, b)reflexionar su aprendizaje, c)sintetizar e integrar lo aprendido - Las evidencias pueden ser muestras de experiencias generadas dentro del aula o en espacios extracurriculares o extraescolares Limitantes. - Tiempo y evaluación costosa - Técnica de trabajo de implementación lenta - Calificación complicada - Requiere capacitación sobre su uso y calificación Clasificación. - Estandarizado: señala qué debe mostrar mediante qué evidencias - Flexible: permite al alumno elegir qué aprendizaje presentará y mediante qué evidencias Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 42 Elaboración. 1. Definir propósitos 2. Determinar criterios - Qué incluir - Características de lo que se incluirá- Quién lo incluirá - En qué momento lo incluirá - Cómo se organizará - Cómo se presentará 3. Determinar criterios para valorar - Definirlos en conjunto o solo el profesor - Elaborar escala, lista o matriz - Definir formato de evaluación - Definir criterios de calificación - Darla a conocer a los alumnos - Señalar periodo de entrega Calificación. - Cuantitativa - Definir estrategias para evaluar (escala, lista o matriz) - Asignar puntaje - Asignar calificación - Cualitativa - Definir estrategias para evaluar (escala, lista o matriz) - Describir baremos de estrategia - Incluir recomendaciones - Ej.“algo importante que me gustaría mencionar es que no olvides agregar lo que tú crees dejaste de hacer y aprender y por qué crees que pasó. Esto te ayudará a que repases tus conocimiento y habilidades” (Martínez, 2002:62) Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 43 Nombre. EXÁMENES ORALES Quién responde. El evaluador Definición. Evaluación donde la respuesta del sujeto es verbal en lugar de escrita Uso. - Medir capacidades (conocimientos y habilidades). - Permite observar la interacción de las personas con base en esas habilidades en la resolución de problemas. Rasgos distintivos. - Pueden realizarse preguntas orales, escritas o situaciones-estímulo (caso, ejemplo, simulación, situaciones en vivo, etc.) - Dimensiones: Estructura (abierta y cerrada) Examinadores (autoevaluación, de pares, basada en una autoridad) Oralidad (sólo oral, con apoyo gráfico) Ventajas - Es flexible en tanto permite aclarar preguntas. - Es consistente cuando señala criterios de respuesta. Limitantes. - Requiere capacitación para usar las escalas - Susceptible de subjetividad - Requiere establecer rapport - Inadecuado para medir o evaluar algunas habilidades y conocimientos (depende del resultado de aprendizaje y propósito de evaluación) Clasificación. - Estructurada, Semi- estructurada, No estructurada Elaboración. - Definir el constructo y objetivos - Elaborar tabla de especificaciones - Definir indicadores - Elaborar reactivos objetivos (personal experto) - Confiabilidad Calificación. - Las hojas de calificación deben incluir las dimensiones a evaluar en conjunto con una escala - Las dimensiones variarán de acuerdo al formato del examen - Puede asignarse un peso a determinados resultados esperados VALIDEZ - Contenido, criterio, convergente. CONFIABILIDAD - Referida a la consistencia entre los juicios realizados sobre personas u objetos entre jueces. Es importante en las técnicas de observación para minimizar la subjetividad. - Se interpreta por porcentaje de acuerdo entre jueces, con ESCALA BIDIMENSIONAL= coeficiente Phi, procedimientos de análisis de varianza (índice Kappa –de 0 a 1-). Consideraciones. - Se recomienda que en su construcción se exponga claramente el objetivo, número suficientes de temas, viñetas y reactivos para asegurar cobertura y formato adecuado, - Explicitar los criterios de calificación, - Emplear más de dos observadores, - Entrenar a los evaluadores, - Emplear al menos a un evaluador experimentado, - Monitorear las sesiones, y - Proporcionar tiempo suficiente a los evaluados para que proporcionen sus respuestas. Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 44 Nombre. OBSERVACIÓN Quién responde. Procesos deliberado y sistemático orientado por un propósito, usado para la recolección de datos que proporciona una representación de la realidad de lo fenómenos de estudio. Definición. Técnica de evaluación. Uso. Permite obtener información sobre un fenómeno o acontecimiento tal y como se produce. Explorar, describir, comprender e identificar ambientes, para la solución de problemas. Rasgos distintivos. Deliberado, sistemático, guiado por un objetivo. Es la suma de percepción e interpretación. Ventajas Con el apoyo tecnológico (ej. videograbaciones) se puede analizar después de haber sucedido el evento. Aceptan material no estructurado. Puede trabajar con cantidades grandes de datos. Clasificación. Cualitativa –de campo, directa o participante- y cuantitativa –registro sistemático, válido y confiable de comportamiento y conducta manifiestas. Sistemas de observación (Sistemas categoriales, narrativos, descriptivos y tecnológicos) Observación participante -interactúa- y no participante –sin interacción. Consideraciones. Objeto de observación Contexto de evaluación (exclusivos o inclusivos) Selección de muestras o períodos de observación (periodos o intervalos) Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 45 USO RECOMENDADO DE CADA INSTRUMENTO TABLA 1. USO DE DIFERENTES INSTRUMENTOS Instrumento Dimensión Examen oral Prueba de opción múltiple o Escalas Prueba de ensayo Simulación Ejecución Observación Resolución de problemas *** * ** *** ** *** Conocimiento ** *** ** ** / / Comprensión *** * *** * *** * Habilidades *** / / / / *** Características personales *** * / / / Habilidades verbales *** / / / / *** Medir opinión / *** ** / / Medir rasgos (autoestima, autoeficacias, etc.) *** *** ** * * * * adecuado es circunstancias especiales ** adecuado *** totalmente adecuado / inadecuado Fuente: Adecuado de Hill, D. (1986). Oral examination for licensing or certification: A manual for psychology boards. USA: American Association of State Psychology Boards. TABLA 2. CARACTERÍSTICAS DE LOS TIPOS DE EXÁMENES ORALES No estructurada Semiestructurada Estructurada Duración Amplia (> 1hr.) Intermedia Corta (<30 min.) Contenido Depende de cada evaluado Parte de situaciones preestablecidas y planteadas durante la evaluación Preguntas preestablecidas o estandarizadas Consistencia de contenido Baja Media Alta Preguntas personalizadas Totalmente apropiadas Apropiadas Inapropiadas Preguntas basadas en respuestas anteriores Totalmente apropiadas Apropiadas Inapropiadas Calificación Con base en dimensiones predeterminadas Con dimensiones y escalas Con base en escala para cada reactivo Costo Bajo Medio Alto Decisiones Acreditado / Re-valoración Acreditado / No acreditado, Re- valoración Acreditado / No acreditado Retroalimentación Adecuada (necesaria) Verbal o escrita (probable) Escrita (probable) Fuente: Hill, D. (ídem.) Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 46 BIBLIOGRAFÍA RECOMENDADA Bond, L. (1996). Norm and criterion-referenced testing. Recuperado de: http://ericae.net/pare/getvn.asp?v=5&n=2 Bunderson, C. V. How to build a domain theory. On the validity centered design of construct-linked scales of learning and growth. Recuperado de: http://edumetrics.org/papers/How_to_build_a_Domain_Theor.pdf Byrne, J. (Edit) (2003). Learning and memory. New York: Macmillan. Biblioteca de posgrado psicología: BF318E53 2003 Byrne, J. (Edit) (2003). Learning and memory. New York: Macmillan. Biblioteca de posgrado psicología: BF318E53 2003 Chan, Ch., Tsui, M., S. Chan, M. y Hong, J (2002). Applying the structure of the Observed Learning Outcomes (SOLO) Taxonomy on student´s learning outcomes: an empirical study. Assessment & Evaluation in Higher Education. 27 (6), pp 511-528 Coll, C. (1990). Un marco de referencia psicológico para la educación escolar: La concepción constructivista del aprendizaje y de la enseñanza. En Coll, C. Marchesi, A. y Palacios, J. (Comp.). Desarrollo psicológico y educación II. Psicología de la educación. Madrid: Alianza, 435-453. Cronbach, L. Meehl, P. (1955). Construct validity in psychological tests. Recuperado de: http://psychclassics.yorky.ca/Cronbach/construct.htm De Fina, A. (1992). Portfolio assessment: Getting starde. USA: Scholastic Professional Books. Díaz-Barriga,A. F. y Hernández, R. G. (2004). Estrategias docentes para un aprendizaje significativo. México: McGraw-Hill Domjan, M. (2000) The essentials of conditioning and learning. Belmont: Wadsworth. Biblioteca de posgrado psicología: BF319 D64 2000. Fuchs, L. (1995). Connecting performance assessment to instruction: A comparison of behavioral assessment, mastery learning, curriculum based measurement and performance assessment. Recuperado de: http://www.ed.gov.databases/ERIC Digests/ed381984.html Gordon, J. (1998). Dimensions of oral assessment. Assessment & Evaluation in Higher Education. 23(4), 367-377. Gronlud, N. (1998). Making performance assessments. En Gronlud, N: Assessment of student achievement. Boston: Allyn & Bacon. 135-163. Guenther, R. K. (1998). Human cognition. New Jersey: Prentice Hall. Biblioteca de posgrado psicología: BF 311 G84 Hardy, T. y Jackson, R. (1997). Learning and cognition. New Jersey: Prentice Hall. Cap. 5 y 6. Biblioteca de posgrado psicología: BF318 L424 1997. Herman, J.; Aschbacher, P. y Winters, L. (1997). Practical. Guide to Alternative Assessment. Association for Supervition and Curriculum Development. Alexandria, Virginia. Imrie, B. (1995). Assessment for learning: Quality and taxonomies. Assessment & Evaluation in Higher Education. 20(2), 175-190. Jones, E. D., Southern, W. Thomas, (1998). Currículo-based assessment: Testing what is taught and teaching what is tested. Intervention in School & Clinic. 33(4), 239-250. Mahn Holbrook (1999). Vygotsky´s methodological contribution to sociocultural theory. Remedial and special education. 20, 341-351. Becerra-González / Portafolio de instrumentos http://tutoredgardo.net/ Página | 47 Martínez, S. N. (2002). El portafolio como mecanismo de validación de aprendizaje. Perfiles Educativos. México: UNAM CESU. 24(95), 54-67. Mertler, C. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation. Recuperado de: http://ericae.net/pare/getvn.asp?v=7&n=25 Messick, S. (1995). Validity of psychological assessment. Validation of inferences form person´s responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741-749. Moskal, B. y Leydens, J. (2000). Scoring rubric development: Validity and reliability. Practical Assessment, Research & Evaluation. Recuperado de: http://ericae.net/pare/getvn.asp?v=7&n=10 Novak, J. y Gowin, D. (1998). Aprendiendo a aprender. Barcelona: Martínez Roca. Ornstein, A. (1992). Essay tests: Use, development and grading. The Clearing house, 65(3), 175. Database: Academic Search Elite. Osmudson, E., Cheng, G.; Herl, H. y Klein, D. (1999). Knowledge mapping in the classroom: A tool for examining the development of student´s conceptual understandings. CRESST, University of California, Los Angeles Ruiz-Primo, M.A. (2000). On the use of concept maps as an assessment tool in science: What we have learned so far. Revista Electrónica de Investigación Educativa, 2(1), 29-52. Pimienta, J. (2005). Metodología constructivista: Guía para la planeación docente. México: Pearson Rodríguez G.; Flores J. G. y García, E. (1996). Metodología de la investigación cualitativa. Granada: Aljibe. Rudner, L. (1992). Reducing errors due to the use of judges. Practical Assessment, Research & Evaluation. Recuperado de: http://ericae.net/pare/getvn.asp?v=3&n=3 Rudner, L. Y Gagne, P. (2001). An overview of three approaches to scoring written essays by computer. Practical assessment, Research & Evaluation. Recuperado de: http://ericae.net/pare/getvn.asp?v=7&n=6 Ruiz-Primo, M. A.; Schultsz, S.; Li, M. y Shavelson, R. (1999). On the cognitive validity of interpretations of scores from alternative concept mapping techniques. CRESST, Stanford University. Sax, G. (1997). Principles of educational and psychological measurement and evaluation. USA: Wadsworth Publishing Company. Sax, G. (1997). Principles of educational and psychological measurement and evaluation. USA: Wadsworth Publishing Company. Cap. 6 Wiggins, G. (1990). The case for authentic assessment. Recuperado de: http://ericae.net/pare/getvn.asp?v=2&n=2
Compartir