El_papel_de_los_examenes_de_diagnostico

Vista previa del material en texto

XXIII Reunión de Intercambio de Experiencias en Estudios sobre Educación 
El papel de los exámenes de diagnóstico en Física para el 
aseguramiento de la calidad académica 
Oliver Probst y Quetzal García 
Departamento de Física, Campus Monterrey, Tecnológico de Monterrey 
Eugenio Garza Sada 2501 Sur, Monterrey, NL, México, http://fisica.mty.itesm.mx/ 
 
Resumen 
Durante seis semestres consecutivos el Departamento de Física ha conducido exámenes 
diagnósticos finales en los cursos de Física Básica con el objetivo de contribuir al aseguramiento 
de la calidad académica, independiente del modelo educativo y el estilo personal de cada 
profesor. Los exámenes fueron diseñados con una orientación hacia los conceptos fundamentales 
de cada materia. Los resultados de tres semestres consecutivos fueron sometidos a un análisis 
estadístico en el cual se estudió la evaluación global de los promedios a través de los semestres, 
el grado de estandarización, la influencia de ciertas características del profesor, las correlaciones 
con las notas finales del curso, así como el papel de la encuesta. De los resultados se desprenden 
recomendaciones importantes para el futuro. 
Palabras clave: Estandarización, control de calidad, evaluación, conceptos 
 
1. Introducción 
Antecedentes 
Una formación sólida en Física básica es clave para la formación de ingenieros competitivos e 
innovadores en su área de estudio. Aunque este hecho ha sido reconocido tradicionalmente, una 
investigación sistemática del proceso de aprendizaje de la Física Universitaria, conocida en el 
medio anglosajón como Physics Education Research (McDermott, 2004), inició en tiempos 
relativamente recientes. 
Justificación del presente trabajo 
El presente trabajo forma parte de los esfuerzos del Departamento de Física en los últimos años 
por estandarizar la calidad de la instrucción en los grupos de Física Básica. Una justificación 
importante está en las evaluaciones y certificaciones externas (CENEVAL, ABET, CACEI etc.) que 
obligan a los Departamentos Académicos a buscar mecanismos para el control de la calidad 
académica. Por otro lado, la introducción y consolidación del modelo educativo del Tecnológico, 
sea en su versión básica o usando técnicas didácticas avanzadas requiere de una evaluación 
sistemática de los beneficios y perjuicios de cada esquema. 
Planteamiento del problema 
En el Departamento de Física, se había observado previamente a la implantación de los exámenes 
de diagnóstico de que – a pesar de una cierta estandarización de los contenidos y métodos de 
enseñanza impulsada por el rediseño y la adopción de los cursos – seguía existiendo una marcada 
preferencia de los estudiantes por ciertos profesores, lo cual podía tener su explicación en una 
variedad de factores como (1) el dominio del tema por parte del profesor, (2) la claridad en la 
exposición, la conducción de actividades y la asesoría, y (3) la personalidad del profesor, entre 
otros. Aunque este tipo de preferencias no es inusual, nos interesaba estudiar a qué grado las 
características de los profesores pudieran influir en el aprendizaje de los conocimientos mínimos 
que se deben exigir al finalizar un curso de Física dado. Cabe aclarar que las calificaciones 
finales de cada curso por lo general no muestran una gran variación entre grupos, lo cual 
contradice a primera vista la hipótesis de una marcada influencia del profesor o quizás del 
modelo educativo empleado. 
Objetivos del presente estudio 
Los objetivos del presente trabajo se pueden resumir de la siguiente manera: (1) Evaluación del 
conocimiento de los conceptos fundamentales de la Física Introductoria en los estudiantes de 
Física I, II y III (correspondientes a cada materia) al finalizar el curso. (2) Evaluación del nivel de 
estandarización del aprendizaje de estos conceptos en los diferentes grupos, después de varios 
años de aplicar el modelo educativo del Tecnológico. (3) Exploración del papel del profesor y del 
modelo educativo específico utilizado. (4) Análisis de las correlaciones del desempeño de los 
alumnos en los exámenes de diagnóstico con la nota final obtenida en el curso. (5) Exploración 
del papel de la encuesta en el aseguramiento de la calidad académica. 
2. Marco teórico 
La evaluación del aprendizaje de los conceptos fundamentales de la Física Introductoria ha sido 
objeto de estudio en varios trabajos recientes. En un intento de evaluar el aprendizaje de los 
conceptos más básicos de la Física Newtoniana Hestenes et al. (1992) desarrollaron el Force 
Concept Inventory (FCI), una prueba que ha fungido de referencia para muchos estudios 
posteriores, incluyendo estudios recientes en el Departamento de Física del Tecnológico de 
Monterrey, Campus Monterrey (Alarcón y Zavala, 2005). En un esfuerzo masivo Hake (1998) 
aplicó la prueba FCI a un total de seis mil alumnos en diferentes universidades de los Estados 
Unidos, evaluando la ganancia en el aprendizaje de los conceptos durante un semestre. Mediante 
la construcción de un diagrama de ganancia versus resultado de la evaluación inicial para cada 
grupo estudiado Hake pudo mostrar que existen zonas características de aprendizaje, donde los 
esquemas de instrucción activa superaron de manera significativa a los de enseñanza tradicional. 
Existen varios enfoques para la creación de un ambiente activo de aprendizaje, donde el método 
de los tutoriales (McDermott y Shaffer, 2003) es una posibilidad aplicable a la instrucción 
masiva. 
3. Metodología 
3.1. Diseño de los exámenes diagnósticos 
Para el proceso de diseño se formaron comités dentro del Departamento de Física para diseñar 
exámenes de Física I, II y III, respectivamente. El enfoque de todos los exámenes estuvo en la 
comprobación del aprendizaje de conceptos. Durante los primeros semestres de la aplicación se 
experimentó con diferentes números de problemas por examen, así como diferentes tiempos para 
su elaboración, quedando exámenes con doce problemas (preguntas) conceptuales para su 
contestacion durante una hora de clase habitual (50mins) como el diseño de estado estable. 
3.2. Logística de la aplicación y contabilización 
Después de haber superado los problemas iniciales de logística, se siguió el siguiente proceso 
para la aplicación de los exámenes de diagnóstico (ED): (1) En las juntas de inicio de semestre se 
dieron a conocer las políticas departamentales relativas de los exámenes, así como la ponderación 
de los mismos en la nota final del alumno. El porcentaje de los ED en la nota final fue fijado en 
un 10%. Las políticas también fueron dadas a conocer al público en general a través de la página 
Web oficial del Departamento de Física. (2) Se diseñaron exámenes tipo (muy similares en 
formato y contenido a los ED), los cuales estuvieron disponibles en la página Web del 
Departamento durante todo el semestre. (3) La aplicación de los exámenes de diagnóstico se 
realizó mediante el apoyo de los instructores de laboratorio y almacenistas en los horarios 
normales de clase. Los exámenes fueron retirados y contabilizados inmediatamente después de su 
aplicación para evitar su extravío. (4) La evaluación se realizó usando el lector óptico del 
Departamento de Matemáticas. La Dirección de Informática del Campus Monterrey apoyó el 
proceso mediante el procesamiento inicial y envío electrónico de los resultados al Departamento 
de Física. (5) El procesamiento y el análisis de los resultados fueron realizados en el 
Departamento de Física usando MS ExcelTM. (6) Las notas obtenidas por cada alumno en cada 
grupo fueron enviadas a cada profesor para su contabilización. (7) Una síntesis del análisis de los 
resultados obtenidos fue presentada al final de cada semestre en una reunión plenaria de 
profesores de planta y de cátedra. 
3.3. Preparación de la muestra 
Aunque los exámenes de diagnóstico fueron aplicados durante un total de seis semestres, se 
considera que los primeros tres semestres fueron de aprendizaje, aún y cuando en su momento 
fue posibleextraer información útil de ellos. Sin embargo, consideramos que solamente los 
exámenes de los semestres Agosto-Diciembre 2003, Enero-Mayo 2004 y Agosto-Diciembre 2004 
reunieron todos las características de calidad que permiten la realización de un estudio 
sistemático. Para fines del análisis toda información relativa al profesor de cada grupo fue 
anonimizada, reteniendo solamente ciertos atributos (planta/cátedra, modelo educativo etc.). 
3.4. Análisis de resultados 
El análisis de los resultados se centró en los siguientes ejes: (1) El análisis estadístico descriptivo 
con la generación de distribuciones para los tres semestres, el estudio de grupos con resultados 
extremos y la evolución en el tiempo de las calificaciones, (2) la búsqueda de patrones 
característicos en aquellos profesores que impartieron la misma materia durante los tres semestres 
abarcados en este estudio, (3) las correlaciones de las calificaciones finales obtenidos por los 
alumnos en el mismo período, diferenciadas por cada grupo, y (4) la búsqueda de una posible 
correlación con los resultados de la encuesta, pudiéndo ser ellos indicativos de la calidad de 
enseñanza de los profesor. 
4. Resultados y discusión 
4.1 Nivel de estandarización 
En todos los semestres se observó una marcada fluctuación de los promedio por grupo en relación 
al promedio global de cada materia (Física I, II o III). Esta variación puede atribuirse tanto al 
diferente nivel de preparación previa como a efectos de concentración de alumnos de buen o mal 
desempeño académico en ciertos grupos. Para evaluar cuantitativamente el nivel de la 
estandarización hemos graficado en la Figura 1 para cada una de las Físicas y para cada uno de 
los semestres analizados el promedio global, así como una barra de error dada por ( )gg gg σσ 2,2 +− , donde g es el promedio de todos los grupos (para un curso de Física y 
un semestre dados) y ng σσ = es la desviación estándar del promedio de todos grupos los 
grupos de un curso de Física y un semestre dados. σ es la desviación estándar típica de los 
resultados de un grupo, mientras es el número típico de alumnos por grupo. Dado que estas 
cantidades varían poco de grupo en grupo hemos optado (con el fin de una mejor visualización de 
los resultados) por usar una barra de error común para todos los grupos de un curso y un 
semestre, en vez de especificar errores individuales. 
n
Después de estos preparativos podemos analizar los resultados mostrados en la Figura 1. 
En el caso de Física I vemos un aumento consistente en el promedio de los grupos a través de los 
semestres, pero poco aumento en el grado de estandarización. Mientras que durante A-D 2003 se 
observaron 4 grupos del lado superior de la banda de error y 5 por debajo, durante E-M 2004 
estos números aumentaron a 5 y 8, respectivamente, aún y cuando en general los promedios se 
concentran más que en el semestre anterior. En A-D 2004, sin embargo, observamos nuevamente 
una mayor dispersión de los extremos. La situación en Física II y III es muy similar, con la 
peculiaridad de un decremento en el promedio de los grupos de Enero-Mayo a Agosto-Diciembre 
2004. 
Promedios por Grupo de Física 1 
para los 3 períodos
0
10
20
30
40
50
60
70
80
90
0 20 40 60 80
promedios A-D 03
promedios E-M 04
promedios A-D 04
 
(a) Evolución de los promedios por grupo obtenidos en Física I 
Promedios por grupos de Física 2 
para los 3 periodos
0
10
20
30
40
50
60
70
80
0 10 20 30 40 50 60 70
Promedios A-D 03
Promedios E-M 04
Promedios A-D 04
 
 (b) Evolución de los promedios por grupo obtenidos en Física II 
Promedios por grupo de F3 
para los tres periodos
0
10
20
30
40
50
60
0 10 20 30 40 50 60
Promedios A-D 03
Promedios E-M 04
Promedios A-D 04
 
(c) Evolución de los promedios por grupo obtenidos en Física III 
Figura 1 Evolución de los promedios por grupo en Física I, II y III 
En general podemos concluir que el nivel de estandarización en el aprendizaje de los conceptos 
fundamentales de la Física como resultado de la implantación del modelo educativo del 
Tecnológico resultó insuficiente en el período estudiado, estando aproximadamente 25% de los 
grupos fuera de la banda de error. 
4.3. El factor profesor 
Después de estas observaciones globales nos interesaba conocer el sello particular que pudiera 
imprimir un profesor en sus grupos. Para ejemplificar este asunto estudiamos los resultados 
obtenidos en los grupos de Física I de ocho profesores que dieron esta materia en las tres 
ocasiones consecuativas del período de estudio. Las características de contrato y modelo 
educativo de los profesores involucrados se resumen en la Tabla 1. 
 Modelo educativo 
# profesor Contrato AD2003 EM2004 AD2004 
1 Cátedra MET MET ACT 
2 Cátedra MET MET ACT 
3 Planta MET MET ACT 
4 Planta POL POL POL 
5 Cátedra MET MET ACT 
6 Planta POL POL POL 
7 Cátedra MET MET ACT 
8 Auxiliar-planta MET MET ACT 
Tabla 1 Matriz de profesores considerados en el estudio de Física I. MET=Modelo Educativo del Tecnológico 
(básico), ACT=Aprendizaje Colaborativo basado en Tutoriales, POL=Aprendizaje orientado hacia Proyectos 
En la 
 
Figura 2 se muestran los resultados de los grupos de los profesores identificados en la Tabla 1 para 
los tres períodos del presente estudio, sobrepuestos sobre la tendencia global de los tres semestres 
y su barra de error. De la gráfica se desprenden varias observaciones que se discutirán a 
continuación: 
(1) Los profesores de cátedra (1, 2, 5, 7) y el profesor auxiliar-planta (8) muestran una 
dispersión muy marcada entre sus grupos en comparación con los profesores de planta (3, 
4, 6) cuyos resultados se encuentran en una estrecha banda alrededor del promedio móvil. 
El caso del profesor 3 es un tanto especial, ya que atendió exclusivamente la población 
del IFI (ingeniero física industrial), lo cual explica el desempeño superior de sus grupos. 
(2) Los resultados de la mayoría de los profesores siguen una tendencia clara consistente con 
la tendencia global del curso, con dos excepciones, los profesores (1) y (8). 
Caracterizaríamos estos profesores como tradicionales en el sentido que parecen no haber 
hecho ninguna modificación a su manera de enseñar durante el período de estudio. 
(3) Los datos presentados no permiten sacar una conclusión definitiva acerca del desempeño 
de grupos con Aprendizaje Colaborativo (AC) y Aprendizaje Basado en Proyectos (POL), 
dado que la técnica AC fue formalizada apenas en A-D 2004. 
4.4. Correlaciones con las calificaciones finales del curso 
Es interesante comparar los resultados de cada alumno en el examen de diagnóstico con su 
calificación final del curso. Aunque la nota final se compone de una variedad de evaluaciones en 
las que influyen una serie de conocimientos y habilidades que no necesariamente se ven 
reflejados en un solo examen, una cierta correlación entre el desempeño global del estudiante en 
el curso y su nivel de aprendizaje en los conceptos fundamentales sería deseable.
 
0
10
20
30
40
50
60
70
80
0 5 10 15 20 25
1 2 3 4 5 6 7 8
A
D
 2
00
3
E
M
 2
00
4
A
D
 2
00
4
 
 
Figura 2 Evolución de 
los promedios por grupo de 
aquellos profesores que impartieron 
Física I en los tres semestres 
Agosto-Diciembre 2003, Enero-
Mayo 2004 y Agosto-Diciembre 
2004. La línea central marca la 
evolución de los promedios de 
todos los grupos, la banda de error 
está dada por dos deviaciones 
estándar (ver texto) 
.
Para explorar estas relaciones se calculó para cada grupo (de cada uno de los cursos de Física en 
cada uno de los semestres comprendidos en el estudio) el coeficiente de correlación 
( ) ( )(∑= −−=
n
i
ii
yx
yyxx
n
yx
1
11
,corr σσ ), 
donde el vector ( )nxxxx ,, ,21 L= representa los resultados del grupo en el examen diagnóstico y ( )nyyyy ,, ,21 L= las notas finales en el curso para una numeración fija de losn alumnos del 
grupo. En la Figura 3 se muestran las distribuciones del coeficiente de correlación obtenidas para 
las tres Físicas y los tres semestres comprendidos en el estudio. Se observa que Física I tiene un 
nivel de correlación general más alto y que además hay evidencia de un incremento en la 
correlación a través de los semestres. También en Física II y III se observa un aumento en el 
grado de correlación, sobre todo al pasar del semestre Agosto-Diciembre 2003 a Enero-Mayo 
2004, pero el nivel de la correlación está marcadamente más bajo que en Física I. Cabe señalar 
que el menor nivel de correlación va de la mano con resultados más bajos en Física II y III en 
comparación con Física I. Un caso especialmente notorio que muestra esta relación entre 
correlación y desempeño en el examen de diagnóstico es la evolución de los resultados de Física 
II al pasar del semestre Enero-Mayo a Agosto-Diciembre 2004, cuando tanto el desempeño 
global de los estudiantes en el examen diagnóstico disminuyó (Figura 1), como el nivel global de 
correlación entre examen diagnóstico y nota final del curso. 
0
1
2
3
4
5
6
7
8
9
0.1 0.3 0.5 0.7 0.9 y
mayor...Coeficiente de correlación
N
úm
er
o 
de
 g
ru
po
s
AD2003-Física I
EM2004-Física I
AD2004-Física I
 
(a) Distribución de las coeficientes de correlación para Física I 
0
1
2
3
4
5
6
7
8
0.1 0.3 0.5 0.7 0.9 y
mayor...Coeficiente de correlación
N
úm
er
o 
de
 g
ru
po
s
AD2003-Física II
EM2004-Física II
AD2004-Física II
 
(b) Distribución de las coeficientes de correlación para Física II 
0
1
2
3
4
5
6
7
0.1 0.3 0.5 0.7 0.9 y
mayor...Coeficiente de correlación
N
úm
er
o 
de
 g
ru
po
s
AD2003-Física III
EM2004-Física III
AD2004-Física III
 
(c) Distribución de las coeficientes de correlación para Física III 
Figura 3 Distribución de los coeficientes de correlación entre la nota del examen diagnóstico y la nota final del curso 
para Física I, II y III y los tres períodos del estudio. 
4.5. El papel de la encuesta 
La encuesta al alumno sobre el desempeño del profesor tiene un papel importante en el 
Tecnológico, por lo cual es interesante estudiar la evaluación que otorgó el alumno al profesor 
versus el desempeño del alumno, tanto en el curso en general como en el examen de diagnóstico. 
Hay varios escenarios plausibles que por cuestiones de espacio no se pueden detallar. Sin 
embargo, el análisis de los datos comprendidos en este estudio no señala ninguna correlación con 
la correlación, ni de los resultados del examen de diagnóstico, ni de las notas finales del curso 
(ver anexos). 
5. Resumen 
En el presente estudio se buscó evaluar el aprendizaje de conceptos básicos de la Física 
Introductoria, así como el nivel de estandarización en los cursos multi-grupo de Física I, II y III. 
La evidencia presentada conduce a la conclusión que el dominio de los conceptos básicos es 
relativamente bajo en los tres cursos de Física Básica, aunque se observó un marcado proceso de 
mejora a través de los semestres comprendidos en el estudio. También cabe señalar que existe 
una notable dispersión en el desempeño de los diferentes grupos pertencientes a un mismo grupo 
de Física, con un porcentaje importante de los grupos (del orden del 25%) fuera de la banda de 
error. Queda claro que este tipo de variaciones no se puede evitar por completo, debido a los 
diferentes niveles de talento y preparación de los estudiantes, pero creemos que existe un área de 
oportunidad para elevar y a la vez homogeneizar los niveles de aprendizaje en los conceptos 
básicos. La observación de los patrones en aquellos profesores que impartieron Física I en los tres 
semestres consecutivos del estudio soporta esta hipótesis, ya que existen profesores que muestran 
una variación muy baja del desempeño de su grupos alrededor del promedio móvil, mientras que 
otros muestran una variabilidad marcada, indicando que las fluctuaciones en la preparación 
inicial de los alumnos se tradujeron en fluctuaciones correspondientes al salir del curso. 
Las correlaciones entre los resultados de los exámenes diagnósticos y las notas finales de 
cada grupo generalmente son bajas, indicando que la enseñanza de los conceptos básicos no está 
en el centro de las actividades de los cursos. Se entiende que el alumno puede obtener una buena 
calificación mediante la solución de problemas numéricos, la realización de actividades en equipo 
y de proyectos y otras actividades que forman parte del curso. Aunque estas actividades pueden 
resultar en una serie de beneficios para el alumno, por lo visto no garantizan el aprendizaje de los 
conceptos fundamentales que consideramos indispensables para aprobar la materia. Cabe señalar 
que se ha notado una mejoría en el nivel de correlaciones durante el período del estudio. 
Se ha estudiado también una posible correlación entre el valor de la encuesta sobre el 
desempeño del profesor y las evaluaciones del alumno para el caso del semestre Agosto-
Diciembre 2004. No se ha encontrado ninguna evidencia contundente para algun tipo de 
correlación. Muy en particular, no hay evidencia de que el alumno premia (a través de la 
encuesta) al profesor complacente. 
6. Conclusiones y capitalización de los resultados 
La información arrojada por el presente estudio deja en claro que una mayor estandarización de 
los grupos de Física Básica hace falta para evitar que la variabilidad en talento y preparación 
previa de los estudiantes se traduzca en una variabilidad correspondiente del desempeño del 
alumno al salir del curso. Por otro lado, se pudo observar que la enseñanza en los conceptos 
fundamentales tiene un papel demasiado débil en la práctica docente actual. 
Los hallazgos de este estudio pueden capitalizarse sobre todo a nivel departamental a través 
de actividades de coordinación que consideren los resultados reportados. El Departamento de 
Física del Campus Monterrey ya ha implantado un esquema de estandarización que abarca los 
cursos Física I, II y III, además del curso de Física Remedial que ya se ha ido manejando en 
forma coordinada desde hace varios años. Como parte de la estandarización se han incorporado 
técnicas didácticas avanzadas, donde la mayoría de los grupos se manejan en la modalidad ACT 
(Aprendizaje Colaborativo basado en Tutoriales) y el complemento en POL (Aprendizaje 
orientado hacia Proyectos). Ya existen primeras experiencias con la implantación de este modelo 
(Alarcón y Zavala, 2005) que parecen prometedoras. 
Cabe señalar que la metodología mostrada podrá aplicarse también en otros Departamentos 
para obtener un mejor control de la calidad del servicio básico docente. 
7. Agradecimientos 
Agradecemos el apoyo del gran número de personas que han dedicado tiempo a las diferentes 
actividades relacionadas con el diseño y la aplicación de los exámenes de diagnóstico, en 
particular la Srta. Patricia Vela, los profesores involucrados en los comités, los asistentes de 
docencia del Departamento, los almacenistas y los instructores de laboratorio. Sin el ayuda de 
todos ellos el presente trabajo no hubiera sido posible. 
8. Bibliografía 
Alarcón, H., Zavala, G. “Efectividad de los Tutoriales en el curso de Física I”. Reporte técnico del Departamento de 
Física, Tecnológico de Monterrey, Campus Monterrey, Mayo 2005 
Bao, L., Redish, E., “Concentration analysis: A quantitative assessment of student states”. Phys. Educ. Res., Am. J. 
Phys. Suppl. 69, S45-S53 (2001) 
Hake, R.R. “Interactive-engagement versus traditional methods: A six-thousand student survey of mechanics test 
data for introductory physics”. Am. J. Phys. 66, 64-74 (1998) 
Hestenes, D., Wells, M., Swackhamer, G. “Force Concept Inventory”. The Physics Teacher 30, 141-158 (1992) 
McDermott, L.C. "Physics education research: The key to student learning and teacher preparation". Physics World, 
January 2004, pp. 40-41 (2004) 
	XXIII Reunión de Intercambio de Experiencias en Estudios sobre Educación 
	Resumen 
	1. IntroducciónJustificación del presente trabajo 
	Planteamiento del problema 
	Objetivos del presente estudio