Descarga la aplicación para disfrutar aún más
Vista previa del material en texto
DEPARTAMENTO DE INGENIERÍA MECÁNICA Y FABRICACIÓN ESCUELA SUPERIOR DE INGENIEROS INDUSTRIALES UNA METODOLOGÍA PARA EL ANÁLISIS Y OPTIMIZACION DE MODELOS PARA EVALUAR LA CALIDAD DE LAS ENSEÑANZAS TESIS DOCTORAL AUTOR: FRANCISCO ALBA JUEZ - INGENIERO INDUSTRIAL DIRECTOR: FRANCISCO APARICIO IZQUIERDO - DR. INGENIERO ANO: 2000 TRIBUNAL CALIFICADOR PRESIDENTE: VOCALES: VOCAL SECRETARIO: CALIFICACIÓN: AGRADECIMIENTOS Quiero expresar mi más sincero agradecimiento a las siguientes personas e instituciones que de alguna manera ayudaron para que este trabajo de tesis se hiciera realidad: A D. Francisco Aparicio Izquierdo por su invalorable ayuda en todo momento, sus aportes fundamentales y estimulo constante, y por su siempre acertadas críticas y observaciones en la dirección de esta tesis. - A D. Emilio Bautista Paz, Director del Departamento de Ingeniería Mecánica y Fabricación de esta Escuela por su constante apoyo. - A D. Santiago Poveda por su invalorable colaboración en la obtención y recolección de datos, sin los cuales hubiera sido imposible esta tesis. - A D. Jesús Misas, Jefe de la Sección gestión Administrativa de esta Escuela por su ayuda y asesoramiento permanente en todos los tramites administrativos pertinentes. - A Da. Maríela Felicito, por su invalorable ayuda en la compaginación y confección de esta tesis por ordenador. A SECAI y todas las Universidades involucradas en este trabajo, que gentilmente accedieron a facilitar la documentación referente a las evaluaciones internas y externas de cada una de ellas. - A todos los Profesores, personal y compañeros de la ETSII por su siempre trato amable y cordial. ÍNDICE 1. Tema de la Tesis 1 2. Estado del Arte 1 2.1. Estados Unidos 2 2.1.1. ABET 2 2.1.2. US News 4 2.2. Japón 6 2.3. Holanda 8 2.3.1. Faculty of Systems Engineering Poiicy Analysis and Management Delfy University of Technology (SEPA) 8 2.3.2. University of Twente - Faculty of Technology and Management 11 2.4. Dinamarca 15 2.4.1. Center for Quality Assurance and Evaluation on Higher Education Copenhagen 15 2.4.2. Engineering College ofOdense 17 2.5. Portugal 19 2.5.1. Universidad Técnica de Lisboa - Instituto Superior Técnico (IST) 19 2.6. Suiza 20 2.6.1. Swiss Federal Institute of Technology (ETH) 20 2.7. Italia 22 2.7.1. Politécnico di Torino 22 2.8. Conclusión 25 3. Introducción 26 3.1. El significado de "Control" y de "Calidad" 26 3.2. Características de calidad 27 4. Objetivos de la tesis 29 4.1. Objetivo general 29 4.2. Objetivo específico 29 4.2.1. El Modelo SECAI 30 4.2.1.1. Calidad del Plan de Estudios 33 4.2.1.2. Calidad de Proceso 33 4.2.1.3. Calidad de Resultados Inmediatos 34 4.2.1.4. Calidad de Integración y Calidad de Servicio 35 4.2.1.5. Indicadores de Calidad 36 4.2.1.6. Diagrama Gaieral con los Elementos Fundamaitals del Proc«o de Evaluaciái de la Calidad de las EnsMíanzas mediante Aplicación del SECAI,. 37 4.2.1.7. Factores e Indicadores de Cali dad 38 4.2.1.7.1. Factores de Calidad 38 4.2.1.7.2. Indicadora de Calidad 38 4.3. Metodología de Aplicación e Instrumentos 44 4.3.1. Evaluación Litema (Autoevaluación) y Evaluación Extema 44 4.3.2. Metodología y Criterios de Evaluación 45 4.3.3. Indica de Calidad 46 5. Metodología para el Análisis y Optimización dd Modelo SECAI 49 5.1. Aplicación al Moddo SECAI 49 5.2. Matriz de Correlaciói 51 5.3. Análisis de Componente Principal^ (ACP) 66 5.3.1. Análisis de Correlación Factorial 74 5.4. Evaluación de la pertinencia y aplicabilidad de los indicadores, resultado de las encuestas a evaluadores extemos 87 5.5. Propuesta de Modelo Final 107 5.5.1. Análisis de congruencia en base a concqjtos técnicos y de experiaicia 107 5.6. Aplicación del Sistema Optimizado de Indicadores al Modelo SECAI 126 5.7. Conparación entre los índices de calidad obtenidos con la utilizaciói de los indicadores del Moddo Original, los obtaiidos con el Moddo Reducido y los obtaiidos con el Modelo Optimizado 126 6. Conclusiones Finales 209 7. Futuras tareas que puedei desarrollarse en el ámbito de estudio abordado en esta tesis 210 8. Bibliografía 211 Anexo I: Matriz de Correlación Global (94 x 94) obtaiida a través del Software STATGRAPH PLUS Anexo ü: Corrdación obtaiida mediante la aplicacim del Método de Análisis de Componentes Principales a través del Software MINITAB Francisco Alba Juez l.TEMA DE LA TESIS El tema de la presente tesis, está encuadrado dentro de los campos del Control de Calidad Total y de la Educación Superior, y dentro de esta, específicamente en lo que hace a la formación de ingenieros, sin que esto impida extenderlo a Escuelas o Facultades de otras especialidades o incluso a procesos o sistemas que no tengan nada que ver con la educación superior. La naturaleza del problema a plantear y su resolución es de una alta complejidad, y a pesar de haberse realizado una exhaustiva búsqueda bibliográfica que ha abarcado varios países, tales como EE.UU., JAPÓN, HOLANDA, DINAMARCA, PORTUGAL, SUIZA, ITALIA, ESPAÑA, FRANCIA, ALEMANIA, NORUEGA, ESCOCIA, INGLATERRA, ESLOVAQUIA, RUSIA, ARGENTINA, COLOMBIA, CHILE, BRASIL y PERÚ, no se han podido encontrar antecedentes ni bibliografía referente a trabajos similares al que se aborda en la presente tesis. Sí, se han encontrado abundantes antecedentes y bibliografía referentes a sistemas o modelos para evaluar Universidades [1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11], [12], [13], [14], [15], [16], [17], [18], [19], [20], [21], [22], [23], [24], [25], [26], [27], [28], [29], [30], [31], [32], [33], [34], [35], [36], [37], pero no referentes a "Metodología o sistemas de análisis y optimización de estos modelos de evaluación", que es el tema central del presente trabajo. Por tanto, se considera que esta tesis puede tener una signifícación considerable en el campo de la enseñanza superior dado que en ella se presenta una metodología que constituye una herramienta importante y novedosa, que permite analizar y optimizar científicamente modelos o sistemas de evaluación de la calidad de las enseñanzas. L ESTADO DEL ARTE Como ya se ha dicho, no se ha podido encontrar antecedentes referentes al tema planteado a pesar de la intensa búsqueda realizada, la cual en todos los casos ha culminado con la obtención de diversos sistemas para evaluar la calidad de distintas instituciones de enseñanza superior. Si bien en algunos casos estos sistemas han sido diseñados e implementados desde y por los organismos gubernamentales competentes en el tema, en la mayoría de los casos se trata de sistemas diseñados y ejecutados por las mismas universidades, que han comprendido la necesidad de embarcarse en un proceso de autoevaluación para posteriormente requerir de otros organismos - incluso extranjeros - una evaluación extema. En el caso de Estados Unidos, por ejemplo, además de los organismos gubernamentales, la Acreditation Board for Engineering and Technology (ABET), y las propias Universidades, está el caso de la revista US. News, que todos los años realiza un ranking de Universidades sobre la base de una calificación que la misma revista realiza utilizando un sistema de factores e indicadores, que normalmente es criticado por las Universidades, pero que al mismo tiempo es utilizado por ellas para realizar su propia evaluación, por cuanto el sistema empleado por US. News es permanentemente estudiado, actualizado y mejorado por expertos en el tema. [2] La evaluación realizada por US. News goza - pese a las criticas de las Universidades - de un acierto y prestigio aceptado por la inmensa mayoría de los estadounidenses y de los Organismos Gubernamentales que entienden en el tema. Francisco Alba Juez A modo de ejemplo se presentará a continuación algunos de estos sistemas implementados en distintas instituciones de enseñanza superior de diversos países. 2.1. ESTADOS UNIDOS2.1.1. ACREDITATION BOARD FOR ENGINEERING AND TECHNOLOGY (ABET) ABET es reconocida en los Estados Unidos como la única agencia responsable para la acreditación de programas de grado en ingeniería. La Primera Declaración del Consejo de Ingenieros para el Desarrollo Profesional (ECPD, ahora ABET) sobre la Acreditación de los Programas de Enseñanza de Ingeniería fue propuesta por la Comisión de Facultades de Ingeniería y aprobada por el Consejo de Ingenieros en 1933. La Declaración original, con enmiendas subsiguientes, fue la base para la Acreditación hasta el año 2000. La nueva Declaración que se presenta a continuación es para los programas del año 2001. Los Programas de Enseñanza de Ingeniería pueden ser acreditados a nivel básico o avanzado, sin embargo, un programa puede acreditarse a un solo nivel en una institución en particular. Para ser considerados para acreditación, los Programas de Ingeniería deben preparar graduados para la práctica de ingeniería a nivel profesional. ABET ha fijado una seríe de críteríos mediante los cuales efectúa la acreditación de las Universidades. La acreditación en función de estos criterios asegura que: • Los graduados de un Programa Acreditado están preparados adecuadamente para comenzar y proseguir con la práctica de la ingeniería. • Se estimula el mejoramiento de la enseñanza de la ingeniería. • Fomenta nuevos e innovadores métodos de educación en ingeniería. • Identifica a estos programas con las necesidades de la sociedad. Para obtener la acreditación la Institución debe demostrar que: • Se realiza evaluación, supervisión y tutorización de los estudiantes para asegurar su éxito en la consecución de los objetivos del Programa. • Tiene publicado los objetivos acordes con la misión de ella misma y sus criterios. • Existe un proceso basado en las necesidades de un programa en el que están fijados los objetivos, los cuales a su vez, son evaluados periódicamente. • Posee un sistema de evaluación permanente que demuestre el logro de estos objetivos y use los resultados para mejorar la eficacia del programa. Los programas de ingeniería deben demostrar que los graduados tienen: • Capacidad para aplicar conocimientos de matemáticas, ciencia y tecnología. Francisco Alba Juez Capacidad para el diseño y realización de experimentos e interpretación de resultados. Capacidad para diseñar sistemas, componentes o procesos para una necesidad expresa. Capacidad para integrarse en equipos de trabajo multidisciplinarios. Capacidad para identificar, formular y resolver problemas de ingeniería. Entendimiento de la ética y responsabilidad profesional. Capacidad para comunicarse correctamente. Amplia educación para entender el impacto de las soluciones de ingeniería en el contexto global de la sociedad. Conocimiento de la necesidad de la continua adquisición de conocimientos. • Conocimiento de la actualidad. • Capacidad para la utilización de técnicas y herramientas de la ingeniería moderna. Cada programa debe tener un proceso de evaluación con resultados documentados. Debe comprobarse que los resultados son aplicados al desarrollo y mejoramiento posterior del programa. El proceso de evaluación debe demostrar que se miden los resultados importantes para la misión de la institución y los objetivos del programa, incluyendo los que ya se han enumerado. La institución debe demostrar, además, que posee los recursos humanos, materiales y financieros necesarios para el desarrollo de los programas. A los fines de ajustarse a estos criterios y consecuentemente obtener la acreditación, las distintas universidades han implementado diversas metodológicas de autoevaluación que, en general, consisten en evaluaciones de las clases de cada asignatura por parte del jefe del departamento o algún profesor que él designe. El evaluador presencia la clase y debe calificar determinados ítems previamente establecidos con algunos de los valores fijados en alguna escala determinada. Posteriormente, deben contestar una encuesta que contiene, en general, cuatro secciones. La primera es acerca del estudiante mismo, donde éste debe contestar una serie de preguntas por si o por no para finalmente, realizar algunos comentarios acerca de su participación en el curso durante el semestre y su preparación previa. La segunda sección trata específicamente sobre el curso, y en ella, el alumno debe descubrir los aspectos específicos del curso, evaluándolos usando una escala de 1 (bajo/pobre) a 5 (alto/sobresaliente), utilizándose el O (cero) cuando el alumno no sabe y no responde. La tercera sección es referente al profesor. En ella el alumno debe evaluar al profesor contestando una serie de preguntas. Finalmente, la cuarta sección esta dedicada a todos los comentarios adicionales que el alumno desee expresar y que pudieran no haber sido cubiertos adecuadamente por las preguntas de las secciones anteriores. Posteriormente, todas estas encuestas realizadas a los alumnos, son analizadas y comparadas con las evaluaciones realizadas por el jefe del departamento. De este análisis surge la evaluación final del curso y del profesor. Francisco Alba Juez A continuación se analizan en forma conjunta todas las evaluaciones finales de los distintos cursos y profesores de una misma carrera, de donde surge la evaluación de la carrera en cuestión. [1] 2.1.2. US NEWS US. NEWS es una revista que se ha convertido en el medio de consulta insoslayable para los norteamericanos a la hora de elegir la universidad donde realizarán sus estudios superiores. Esta revista efectúa todos los años la calificación de todas las universidades norteamericanas. Dicha calificación ha provocado calurosos debates, y si bien los responsables de esta revista tienen en claro que nunca habrá unanimidad sobre la mejor forma de evaluar los colleges y las universidades, el método utilizado para realizar dicha evaluación esta basado en años de experiencia trabajando e informando sobre la educación superior, consultando y contratando expertos de ese campo para diseñar y mejorar el modelo de factores e indicadores utilizado para la misma. El método que US. News usa para calificar colleges y universidades consta de tres pasos básicos: Primero, los colleges son categorizados por su objetivo y región. Segundo, de cada institución se recogen datos de hasta 16 factores de excelencia académica, cada factor esta constituido por items a los cuales se les asigna un indicador. A cada factor se le asigna una ponderación en la formula de calificación, que refleja, a juicio de los expertos de US. News sobre que medidas de calidad tienen más importancia. Tercero, los colleges en cada categoria están calificados entre sus pares según una valoración compuesta, y si bien la mayor parte de los datos, que son la base de las calificaciones, proviene de los propios colleges y universidades, US News se toma un gran trabajo en verificar su precisión, controlándolos con otras fuentes. Las estadísticas sobre los horarios de los profesores, por ejemplo, se comparan con la información reunida por la Asociación Americana de profesores Universitarios (AAUP). En el año 1998, el 92% de los colleges devolvieron los cuestionarios completos solicitados por US. News. La información sobre los colleges que decidieron no contestar la encuesta fije recogida de otras fuentes, tales como: el Departamento Nacional de Educación, el Consejo de Ayuda a la Educación, la National Collegiate Athletic Association, la AAUP, la Editorial Wintergreen/Orchard House Inc.. También se han realizado estimaciones estadísticas cuando ha sido necesario hacerlo. Los indicadores que la US. News utiliza para captar diversas dimensiones de calidad se dividen en siete grandes categorías: reputación académica; retención de los estudiantes; recursos humanos (profesores); selectividad de los alumnos; recursos financieros; aporte de los egresados y tasa de graduación (diferencia de la proporciónde estudiantes con la probabilidad de graduarse y la cantidad que efectivamente lo hace). Los indicadores incluyen "medidas de entrada", que reflejan la calidad de los alumnos, profesores y otros recursos usados en educación, y "medidas de salida" que indican cuan bien educa la institución al alumno. Francisco Alba Juez Con respecto a la reputación académica, se determina investigando a los presidentes, directivos y decanos de admisión en los colleges y universidades de la misma categoría. Los programas académicos de las instituciones son evaluados por pares de otras instituciones y calificados con una escala de 1 a 5, que es el mismo procedimiento que utiliza el Consejo Nacional de Investigaciones para evaluar los programas doctorales. El evaluador que no conoce suficientemente una institución debe calificar con las palabras "no sé". La formula de evaluación y calificación de US News da un considerable peso (25%) al ítem reputación académica, ya que un diploma de un college famoso ayuda al estudiante a obtener buenos trabajos o a ser admitido en programas de postgrado de primera línea. En cuanto a la retención, esta medida tiene dos componentes: una tasa de graduación en un término de 6 años (80% del valor de retención) y la tasa de retención de alumnos de Primer Año (20%). En lo que hace a recursos de profesores, el compromiso de una universidad a una instrucción de primer nivel y a la interacción de los alumnos con los profesores, se analiza examinando 5 factores durante el año académico en cuestión: • El tamaño de las clases (40% de la calificación) • El salario de los profesores (35% de la calificación) Se toma el salario promedio más beneficios, en general, durante dos años académicos, ajustado a las diferencias regionales en el costo de vida. • La cantidad de profesores con el grado más alto en su especialidad (15%) de la calificación) • La relación profesor - alumno (5% de la calificación) • Cantidad de profesores fijll - time (10%) de la calificación) Respecto de los recursos financieros, están medidos por el gasto promedio por estudiante por instrucción, investigación, servicios y gastos relacionados a la educación (incluyendo biblioteca) durante los años fiscales en cuestión. Otro indicador desarrollado por la US News es la tasa de graduación, que ha sido diseñado para captar el efecto de los programas y de las políticas del college para la tasa de graduación, después de controlar el gasto y la aptitud de los estudiantes. Se obtiene una calificación midiendo la diferencia entre la tasa de graduación de 6 años para la clase que ingresó, por ejemplo, en 1991 y la tasa pronosticada para dicha clase. Esta tasa pronosticada se calcula usando una formula que responde por las calificaciones estandarizadas de las pruebas de estos estudiantes como alumnos de primer año y los gastos del college durante los años que dichos alumnos tardan en graduarse. Si la tasa de graduación es mayor que la pronosticada, el college esta aumentado el rendimiento de los alumnos. Francisco Alba Juez Finalmente aparece la tasa de aporte de los alumnos: El porcentaje de los alumnos que aportaron al college en los años académicos en cuestión, es una muestra de satisfacción de los alumnos. Para obtenerla, primero se calcula un valor para cada indicador. Al college con el valor más alto para cada medida, se le asignó un grado del 100% y cada uno de los otros grados se calcula como un porcentaje del valor más alto. Los valores resultantes fueron ponderados y luego totalizados para detenninar los valores para cada categoría de indicadores - reputación, retención, profesores, etc. Estos valores se ponderan y totalizan para obtener un valor final. Los valores finales para cada college calificado fijeron redondeados, reconociendo que las pequeñas diferencias estadísticas entre las instituciones, no pueden influir demasiado en la diferenciación de un college de otro. [2] 2.2. JAPÓN En Japón el Gobierno establece diversos estándares que son los requeridos para la creación y diario manejo de las instituciones de educación superior, al mismo tiempo que son tomados como referencia para la evaluación de las mismas. Estos estándares son establecidos por la "Asociación de Acreditación Universitaria Japonesa", que a su vez, tiene la misión de evaluar las instituciones de enseñanza superior. Muchos de los estándares creados por la "Asociación" han sido adoptados por el Ministerio de Educación como reglamentaciones, y la mitad de los miembros de la Subcomisión Estatutaria Universitaria del Consejo Estatutario Universitario, son designados entre las personas recomendadas por la "Asociación". La Asociación de Acreditación de Universidades de Japón ha establecido un listado de ítems a ser evaluados que están incluidos en VII Capítulos. Estos Capítulos con sus correspondientes ítems son los siguientes: /. El rol de la universidad en la sociedad: lo que debe ser una universidad. II. Organización y estructura de la universidad. a) Organización de la universidad b) Junta ejecutiva y junta de directores c) Presidente d) Claustros de facultades e) Organización administrativa f) Organización de los estudiantes III. Contratación, promoción y despido de personal docente a) Contratación y despido de personal docente exclusivo (tiempo completo) b) Promoción de docentes exclusivos IV. Actividades educativas a) Incorporación y selección de nuevos estudiantes b) Planes de estudio c) Carga docente Francisco Alba Juez d) Clases e) Personal docente de tiempo parcial f) Transferencia de créditos g) Extensión universitaria h) Estudios posteriores V. Actividades de investigación a) Fondos b) Intercambio de investigaciones c) Distribución de la información académica d) Participación de las sociedades académicas e) Publicaciones VI. Instalaciones y equipamiento a) Condición actual de instalaciones y equipamiento b) Efectividad de las instalaciones y equipamiento c) Manejo de las instalaciones y equipamiento d) Mejoramiento de las instalaciones y equipamiento e) Transporte f) Relación con la comunidad VII. Finanzas a) Presupuesto b) Desembolso c) Balance de ingresos y egresos d) Relación entre componentes de ítems de ingresos e ítems de egresos e) Planificación financiera a largo plazo f) Salarios g) Beneficios h) Matricida y aranceles Cada uno de estos ítems es evaluado a través de las respuestas a las preguntas que se han establecido para cada uno de ellos. Así, en el Capítulo I (que no tiene ningún ítem) se deben responder cinco preguntas. En el Capítulo II se deben responder cuatro preguntas para el ítem a), cuatro preguntas para el ítem b), dos preguntas para el ítem c), tres preguntas para el ítem d), dos preguntas para el ítem e) y cuatro preguntas para el ítem f). En el Capítulo III se deben contestar siete preguntas para el ítem a) y dos preguntas para el ítem b). En el Capítulo IV se deben contestar cinco preguntas para el ítem a), ocho para el ítem b), tres para el ítem c), dos para el ítem d), una para el ítem e), una para el ítem f), una para el ítem g) y una para el h). En el Capítulo V se deben contestar dos preguntas para el ítem a), cuatro para el ítem b), dos para el ítem c), una para el d), dos para el e), y una para el f). Francisco Alba Juez En el Capítulo VI se deben contestar una pregunta para el ítem a), una para el ítem b), una para el c), una para el d), una para el e) y una para el f). En el Capítulo VII se deben contestar una pregunta para el ítem a), una para el b), una para el c), una para el d), una para el e), una para el f), una para el g) y dos para el h). En total se deben contestar 84 preguntas, lo cual pone a disposición de la Asociación de Acreditación de Universidades Japonesas 84 indicadores, a cada uno de los cuales se le asigna un valor en una escala de 1 a 5, y mediante los cuales la "Asociación" realiza la evaluación y posterior acreditaciónde las Universidades. [4], [5], [6] 2.3. HOLANDA 2.3.1. FACULTY OF SYSTEMS ENGINEERING POLICY ANALYSIS AND MANAGEMENT DELFT UNIVERSITY OF TECHNOLOGY (SEPA) En esta Facultad se está desarrollando un Sistema de Control Automatizado. Las características principales de este sistema de control de la calidad incluyen un enfoque hacia la estructura modular de los cursos del programa de estudios, basándose en los niveles de logros finales, en una extensiva automatización de la evaluación, en la entrada de datos por parte de los alumnos y retroalimentación a los mismos, como una característica permanente en los diversos niveles (individual, grupo por año y niveles de evaluación de cursos) y en la comunicación con graduados. Este sistema integrado se denomina INTRAVIEW y consta de una cantidad de protocolos que incorporan tres tipos de evaluación: • Evaluación de módulos Se esta desarrollando una evaluación de entrada para la evaluación de los resultados finales, del contenido de los cursos, de los métodos de enseñanza y de la relevancia del procedimiento de examen para cada módulo. La idea subyacente es que un grupo de profesores considere con anticipación si los logros finales, los materiales didácticos, los métodos seleccionados y los procedimientos de examen son compatibles y relevantes a todo el programa de estudio. Como punto inicial de este proceso los profesores involucrados prepararon un documento, en el cual se describieron los niveles de logros finales para el programa SEPA. Este documento sirvió como base para los planes modulares que desde entonces han sido traducidos a módulos listos para su implementación. • Evaluación de Cursos y Asesoraniienío de Estudiantes Se han realizado ensayos de los sistemas de evaluación de los cursos automatizados en los últimos años. El resultado es un sistema completamente nuevo que se ha introducido en el curso del último año académico. Este sistema es adecuado para distintas formas de evaluación y los estudiantes pueden acceder a él por Internet. Este aspecto del control de calidad de la enseñanza en SEPA puede ser dividido en cuatro fases: - Detección Francisco Alba Juez - Diagnostico de problemas Enfrentando problemas - Informe/documentación Estas mismas cuatro fases pueden distinguirse en el área de asesoramiento de alumnos, y ocurren a nivel de cada estudiante y a nivel más general cuando varios alumnos expresan el mismo problema individual. Veamos cada una de ellas con un poco más de detenimiento: • Fase de detección: realizada por alumnos y profesores. Los alumnos se encuentran en una buena posición para proveer información precisa sobre lo que está bien en el curso y lo que no. El sistema de detección, consiste por lo tanto, en encuestas automatizadas, que son completadas por los alumnos. Estas encuestas pueden ser completadas en la red de la facultad o en Internet. Contienen puntos sobre los datos de los alumnos, hábitos de estudio, cualidades didácticas del personal, aspectos del contenido del curso, el examen y la ubicación del curso en el programa de estudios. Estos puntos son también importantes para la visión de la facultad con respecto a la enseñanza y los hábitos de estudio. Todos los años, cada curso tiene su propio grupo de respuesta y hay grupos mentores en la primera mitad del año propedeútico. Una o dos veces en cada período lectivo, estos grupos evalúan todos los cursos en presencia del asesor educacional o consejero del delegado de educación en la asociación de estudiantes. A los participantes de los grupos de respuesta se les da instrucción previa sobre la forma en que deben realizar las observaciones durante las clases. Hay suficiente interés entre los alumnos por participar en estos grupos. Los miembros de los mismos, controlan activamente la enseñanza en el curso. Se presentan a los profesores y a sus compañeros alumnos, y como tales, pueden ser considerados como portavoces. Sus observaciones permiten tratar rápidamente los problemas. Más aún, los resultados de las reuniones son comparados con los de las encuestas de evaluación del curso. Las reuniones también se organizan regularmente entre los grupos de respuesta y el personal académico para tratar cualquier problema en sus comienzos. Si se observan problemas en la fase de detección, se organiza una reunión entre el asesor educacional de SEPA, los profesores y el miembro del personal de SEPA, que es la contrapartida del curso bajo revisión. Tales reuniones se realizan por lo menos una vez al año y más frecuentemente, si es necesario. La información detectada por los alumnos, la provista por el consejero, las descripciones detalladas de los cursos en el prospecto y los informes de los grupos de respuesta a las cátedras, forman el punto de partida de este proceso de revisión. El propósito de esta discusión es ponerse de acuerdo sobre la consolidación de las mejoras. Fase de diagnóstico: Es posible que la información de la fase de detección pueda dar origen a una mayor investigación sobre las causas de los problemas. Francisco Alba Juez En tales casos, el asesor organiza: entrevistas con alumnos, encuestas más extensas o mediciones de tiempo para evaluar la carga de trabajo, charlas de retroalimentación con profesores, observaciones durante las clases teóricas o prácticas. El objetivo de estas actividades es llegar a un diagnóstico correcto del problema. Enfrentando la fase de problemas: Es la responsabilidad del asesor educacional mantener el proceso de control de calidad y apoyar a los profesores cuando deben efectuarse acciones para mejorar la calidad de la enseñanza. El trabajo del consejero consiste, entre otras cosas, en mejorar la situación de los estudiantes individualmente. También es la responsabilidad del asesor y del consejero traducir todos los resultados de los análisis en acciones, recomendaciones y conclusiones y tratar estas medidas con los diversos comités involucrados. Los asuntos pertenecientes a alumnos en particular, son analizados por el consejero y si es necesario, discutidos directamente con el / o los profesores en cuestión, o enviados al asesor educacional. Los asuntos pertenecientes a profesores en particular, son evaluados por el asesor educacional en una entrevista privada con la persona involucrada, o en situaciones que involucran cuestiones más generales, son tratados con todos los profesores en reuniones organizadas por la facultad. Los asuntos referidos a una materia en particular, son tratados directamente con el profesor de la cátedra o el coordinador de la misma, generalmente en presencia de un miembro de SEPA, responsable del claustro en que se enseña la materia. A nivel de programa, los asuntos son sometidos para discusión al comité de estudio, el cuerpo que asesora a la junta de la facultad sobre tales puntos. El comité de enseñanza, en el que el asesor ocupa el cargo de secretario, hace una importante contribución para solucionar los problemas de enseñanza. El proceso de toma de decisión para el sistema de control de calidad en la enseñanza, que pasa por el comité de enseñanza, la junta de la facultad y por último el consejo de la facultad, generalmente fijnciona satisfactoriamente para los estudiantes y profesores. En la práctica, sin embargo, todavía es frecuente el caso en que deben tomarse medidas de emergencia para mantener este proceso en su propósito original. La falta de tiempo y las fechas vencidas son, por lo general, la causa de esto. Toda la debida atención y tiempo se asignan a esta fase como parte de las responsabilidades del asesor educacional. El lema de la etapa de enfrentar problemas es: "Asegurarse que la responsabilidad permanece a donde pertenece. " Informe y documentación: El sistema de evaluación no se escapa a esta obligación. Los acuerdos realizados para mejorar, son obligatorios y son registrados. Los resultados de las evaluaciones y las mejoras necesarias se publican y se reenvíanregularmente a los interesados, tanto personal académico como alumnos, en un informe semestral. Los informes presentan los resultados para cada curso. También se encuentran disponibles los resultados desgranados para cada profesor, pero estos son confidenciales. A fin de darle a los resultados del sistema de control de calidad un carácter más formal, se ha acordado con el jefe del departamento de personal y organización, que éstos serán tratados en las reuniones periódicas de evaluación de personal. 10 Francisco Alba Juez Evaluación de alumnos: Esta evaluación, basada en las sugerencias y opiniones de los alumnos del SEPA, está diseñada para mantener la importancia del programa de estudios de la facultad con respecto a la demanda de los lugares de trabajo. Su propósito es descubrir, de alumnos anteriores y de sus empleadores, si los graduados de la facultad poseen suficientes conocimientos y capacidad para cumplir con sus tareas profesionales satisfactoriamente. La evaluación también puede indicar con respecto a qué aspectos del programa de estudios, si los hay, deberían recibir más o menos atención. [7] 2.3.2. UNIVERSITY OF TWENTE - FACULTY OF TECHNOLOGY AND MANAGEMENT La Universidad de Twente es una universidad con dos núcleos: el de Ingenieria y el de Ciencias Sociales. Las carreras son de cinco años y el titulo que se expide es el de Ingeniero en Administración. En esta Universidad se ha diseñado' un sistema de evaluación académica teniendo en cuenta el sistema de certificación ISO 9000, y se ha elegido a la Facultad como punto de vista central, describiéndose el sistema de calidad de la Universidad como un sistema de apoyo al sistema de administración de calidad de las facultades. El sistema de control de calidad está dirigido a la calidad de todo el plan de estudios y de los cursos por separado. Participan muchas personas y comisiones. La más importante es el Consejo de la Facultad, responsable de la calidad de la educación; la Comisión de Educación (OLC), responsable del proceso de enseñanza y preparación; y la Comisión de Evaluación (OKC). El sistema adoptado en la facultad para la evaluación de la calidad, se describe en fijnción de los factores que son críticos para el éxito. Estos derivan de la misión y estrategia de la facultad, y son la respuesta a la pregunta: ¿en qué dominio debemos tener un alto rendimiento de manera de ser excelentes y seguir siéndolo, o como podemos aventajar a nuestros competidores?. De la misión de la facultad se deducen los siguientes puntos esenciales para la estrategia: Garantizar un alto nivel académico, una flierte imagen, dar énfasis a ingeniería en el programa de estudios y tener una posición sólida dentro de la universidad. Estos puntos principales se pueden describir en términos de factores estratégicos críticos para el éxito. Para ser exitosa, la facultad necesita: • Crear y mantener una imagen que sea atrayente para los mejores estudiantes. • Dar énfasis a ingeniería de manera que los Ingenieros en Administración cubran similar competencia que los Ingenieros Civiles, mecánicos o de Procesos. • Enlazar la Ingeniería con la Administración. • Crear y mantener un nivel académico superior. 11 Francisco Alba Juez • Orientación Internacional para mantener una posición, como facultad, clave en la Universidad, a fin de atraer suficiente presupuesto que permita designar investigadores de alto nivel. Además de estos factores estratégicos para la organización en general, se distinguen factores funcionales críticos de éxito para cada parte funcional de la organización. En una forma un tanto arbitraría, se ha elegido la siguiente división: • Administración educativa • Administración de recursos humanos • Administración financiera También se han distinguido factores operacionales críticos para el éxito, como la eficacia y la eficiencia, o como se dice desde el gobierno: calidad y practicabilidad. La calidad se refiere a si la Universidad forma los ingenieros que la sociedad desea tener. La practicabilidad o eficiencia se refiere a si la universidad contribuye a obtener los resultados deseados. Se puede decir que en cuanto a los conceptos calidad y practicabilidad, la diferencia corresponde a calidad de producto y calidad de proceso. Estos factores críticos para el éxito son descripciones cualitativas, por tanto, a la hora de evaluar si se está cumpliendo con los niveles establecidos, es necesario traducir estos factores cualitativos en datos cuantitativos. Esto se realiza tratando de encontrar indicadores de rendimiento para cada factor crítico. Una vez logrado esto, se establecen cifras para cada indicador de rendimiento. Esta cifra puede estar influenciada por el presupuesto, pero a su vez, ella puede influenciar al presupuesto. La facultad de tecnología y administración tiene un sistema de evaluación sistemática para los cursos, con indicadores de rendimiento funcional bien definido. Aunque en esta facultad se presta mucha atención a todo lo concerniente a la calidad, esta atención es algo dispersa, y no se han desarrollado procedimientos estrictos para medir los indicadores de calidad. Hay, sin embargo, una Junta Asesora Industrial que es asesora de la Facultad y que se reúne dos veces por año con miembros de la facultad para ajustar el Programa de Educación a las necesidades sociales y a los nuevos desarrollos tecnológicos. Además, se han realizado encuestas entre los ingenieros cada cinco años, en preparación para el procedimiento de evaluación externa. En los Países Bajos existe un procedimiento de evaluación externa, en el cual todas las Universidades cooperan. Para el caso de la Facultad de Tecnología y Administración, esta evaluación está siendo implementada por la Fundación Europea para Desarrollo de Administración (EFMD). Un grupo auditor, formado por pares, visita todas las facultades en una rama de estudio cada cinco años. Este grupo evalúa si el sistema de control de las facultades está funcionando en una forma satisfactoria. Examina una cantidad de aspectos diferentes, pero los principales son la calidad y la practicabilidad. La Facultad juega un rol principal en cuidar el seguimiento sistemático de las recomendaciones de la Comisión Evaluadora. La Universidad también inspecciona la calidad y la practicabilidad en 12 Francisco Alba Juez forma centralizada, y a tal efecto ha desarrollado un sistema centralizado para registrar el tiempo de estudio y de producción que tienen todas las facultades. En un intento para mejorar su propio sistema de calidad, la Facultad está observando otros sistemas como TQM o el ISO - 9000 para ver si es posible tomar de ellos algunos elementos. El TQM esta enfocado en el mejoramiento de los procesos de negocios, mientras que el ISO - 9000 se concentra en la aplicación consistente de los procesos. Por tanto, en función de lo que ISO - 9000 requiere, se ha diseñado y adoptado: • Un conjunto de procedimientos adoptados para cada actividad de negocios • Prueba o verificación de que los procedimientos se siguen correctamente y producen los resultados pretendidos. • Auditorias periódicas de la calidad del proceso, realizadas a los procedimientos. • Un proceso de acción correctiva, cuando los procedimientos no se siguen o no producen los resultados deseados. El sistema de certificación ISO, se desarrolla para establecer una calidad estándar de los productos construidos. Esto trae a discusión el tema de cual es realmente el "producto" de la educación. Se han escrito libros enteros sobre este tema y si bien se podrían considerar a los programas o cursos como el producto, en realidad es el Ingeniero diplomado el producto final deseado. Cuando el producto es el Ingeniero diplomado, el estudiante principiante es, en cierto sentido, la "materia prima". En la Universidad de Twente se ha tratado de traducir los requerimientos de la ISO 9000 a la Facultad de Tecnología y Administración.Si bien en el intento de construir una comparación consistente, basada en el Ingeniero Diplomado, como el producto principal de dicha Facultad, se han especificado una considerable cantidad de requerimientos, solo se presentarán aquí algunas observaciones importantes, ante la imposibilidad de discutir cada requerimiento de éstos extensamente. Toda persona nueva que cumple con los requisitos debe ser admitida. La selección previa esta prohibida. La información para las personas nuevas esta dirigida a un proceso de auto - selección. Está demostrado que los estudiantes de ingeniería necesitan un cierto nivel en matemáticas y física (7 o más de 7 como cifra promedio en el examen final antes de ingresar) para aprovechar realmente los estudios de ingeniería. Además, los estudiantes tienen más éxito en algunos cursos de administración cuando han elegido economía como una de sus materias de examen. La disciplina, el esfijerzo y una actitud y motivación adecuadas hacia el estudio son tan indispensables como el factor inteligencia. La selección debe realizarse en el primer año de estudio. Como la Facultad no puede elegir que estudiantes pueden ingresar al programa de estudios, se organizan reuniones informativas para los ingresantes. Hay un procedimiento estándar para la organización de estas reuniones y el consejero de los estudiantes es la única persona que brinda esta información. Con respecto al control del proceso, la Facultad ha desarrollado su sistema de control de calidad a fin de monitorear la calidad de los cursos, la capacidad de los docentes y la 13 Francisco Alba Juez propiedad de los materiales didácticos y de los exámenes. La tarea evaluativa de calidad es realizada por un Comité (OKC) formado por: estudiantes, el coordinador del programa y el asesor de educación. Los docentes y los departamentos de la Facultad son informados sobre los resultados de las evaluaciones efectuándoseles los requerimientos pertinentes. También el coordinador del programa examina partes importantes del mismo en lo que hace a la consistencia y coherencia de la asignatura en cuestión, y el asesor de educación lo hace con respecto a los métodos didácticos y educativos. A un micronivel, la Facultad monitorea el progreso de los estudiantes mediante un sistema de notas computarizado (PEFASIT), el cual le permite a la junta de educación (BOZ) informar a los estudiantes sobre su progreso. Respecto del control de producto, los productos en desarrollo - estudiantes - son evaluados constantemente mediante exámenes y tareas asignadas en prácticas y proyectos. El año propedeútico funciona para seleccionar aquellos estudiantes que no pueden terminar sus estudios a tiempo. La selección de los estudiantes se hace examinándolos en tres áreas diferentes: matemáticas, tecnología y administración. En los tres dominios los estudiantes deben alcanzar un nivel determinado. Sin embargo, los estudiantes no son rechazados cuando no cumplen los requisitos. A fin de año todos reciben un aviso escrito de la Facultad relacionado con su progreso en los estudios. El aviso contiene principalmente tres formatos: a) Continúe con sus estudios en la misma forma y terminará a tiempo b) Acelere su ritmo de estudio, de lo contrario no terminará c) Considere seriamente abandonar sus estudios, porque sus logros se encuentran por debajo del nivel requerido La Facultad tomará acciones correctivas como resultado de las distintas evaluaciones de calidad: a) A nivel de curriculum, como reacción a los datos resultantes del mercado laboral. b) A nivel de curriculum y de curso, haciendo el programa práctico para el estudio. Se eliminan los obstáculos en la organización del programa que impiden un desarrollo limpio del curso. Se realizan los cursos en los que fallan muchos buenos estudiantes, y también se reemplazan profesores si no tienen un buen desempeño y no pueden corregir sus errores. c) A nivel de estudiantes, llamándolos a reunión con su consejero si no alcanzan el nivel establecido. El consejero trata de descubrir por qué el estudiante no ha llegado a dicho nivel y trata de desarrollar con él un nuevo método de estudio. Si es necesario, el consejero aconseja al estudiante cambiar de estudios. La Comisión Evaluadora (OKC) informa cada trimestre a los profesores involucrados y a la Comisión de Educación sobre la calidad, aproximadamente, de cinco cursos del programa. Además el OKC evalúa anualmente la mayor parte del programa de estudios, por ejemplo: el grupo de las materias técnicas o el programa internacional Erasmus. En 14 Francisco Alba Juez unos cuatro años todos los cursos del programa habrán sido evaluados y se habrán implementado las acciones correctivas. Cada cinco años, una Comisión auditora de calidad externa, comisionada por la Junta de Inspección del Ministerio de Educación, visita la Facultad. A tal fin, ésta debe producir un auto-informe, en el cual, los objetivos educacionales logrados son presentados en detalle y sobre los cuales, la Facultad debe reflexionar críticamente. Como consecuencia de la aplicación de este sistema, la Facultad de Tecnología y Administración de la Universidad de Twente ha realizado algunas reflexiones y llegado a las siguientes conclusiones: La conclusión más importante es que la facultad esta fiiertemente dirigida a la calidad del proceso y no simplemente a la calidad del producto. La mayoría de las Universidades están enfocadas a mantener un cierto nivel académico, pero es bastante difícil, en términos académicos, "garantizar" que el "producto" es adecuado al mercado laboral. Sumida entre la ignorancia relativa con respecto a la calidad del producto y a la imposibilidad de seleccionar a los nuevos estudiantes, la facultad dedica mucha atención y esfuerzo al control del proceso de instrucción. La conclusión final es que los requerimientos ISO forman un instrumento útil para reflexionar sobre el sistema de administración de calidad de la Facultad, pero el énfasis en el mantenimiento de los procesos correctos no es totalmente adecuado para el verdadero propósito: el continuo mejoramiento del programa educativo. [8], [9], [10] 2.4. DINAMARCA 2.4.1. CENTER FOR QUALITY ASSURANCE AND EVALUATION ON HIGHER EDUCATION - COPENHAGEN El Centro para la Seguridad de Calidad y Evaluación de la Educación Superior fije establecido en 1992 con el objetivo principal del desarrollo de la calidad en la educación superior en Dinamarca. Desde ese momento 27 programas educacionales han sido sometidos a evaluación, entre ellos, los programas de Ingeniería de Construcción, Ingeniería de Exportación, Ingeniería Mecánica, Ingeniería de Producción y Arquitectura Naval. A continuación se presenta el modelo de evaluación del Centro a la luz de la evaluación especifica de los programas de Ingeniería Mecánica, Ingeniería de Producción y Arquitectura Naval (Programas MPS). El enfoque principal serán los aspectos metodológicos de importancia para la interacción entre el Centro y las Instituciones con respecto a asegurar el desarrollo de calidad de los programas. El proceso de evaluación tiene tres fases: Iniciar y planificar la evaluación, reunir documentación e informar. 15 Francisco Alba Juez FASE I: INICIAR Y PLANIFICAR LA EVALUACIÓN El Centro evalúa programas por disciplinas. Los programas de Ingeniería Mecánica, Ingeniería de Producción y Arquitectura Naval fueron evaluados simultáneamente. El Centro realiza evaluaciones exclusivamente a pedido de un "iniciador". En este caso, la Junta Nacional Asesora de Tecnología, coopera con el Centro para establecer los términos de referencia y designar una Comisión Directiva. Durante el proceso de evaluación, el contacto entre el iniciador y el Centro, se reduce al mínimo a fin de asegurar la imparcialidad necesaria de la evaluación. La Comisión Directiva da el conocimiento intelectual en el área de la disciplina, evalúa las ventajas y desventajas de losprogramas y efectúa las recomendaciones para el mejoramiento de la calidad en el informe final. Cuando se designan los miembros de esta Comisión, se da mucha importancia a la relación profesional de cada uno de ellos con el campo sujeto a evaluación, aunque su empleo principal debe encontrarse fiíera de las instituciones de enseñanza superior bajo evaluación. Del mismo modo, se le da gran importancia a la reputación profesional y a la credibilidad de cada uno de sus miembros. FASEII: REUNIENDO DOCUMENTACIÓN Una documentación sólida asegura antecedentes validos para que la Comisión Directiva saque sus conclusiones y base sus recomendaciones. La documentación incluye una auto evaluación, investigaciones del usuario y visitas a las instituciones involucradas. Cada institución de estudios superiores prepara una autoevaluación sobre la base de la guía para autoevaluación del Centro. Los grupos de autoevaluación se establecen a pedido del Centro. Se realizan encuestas a los usuarios, cuyo propósito es el de obtener de ellos retroalimentación sobre la calidad de los programas. Tales encuestas investigan sobre la calidad del programa, sus puntos fuertes y débiles en general, como también en puntos limitados, dependiendo del grupo de usuarios encuestados. Estas encuestas siempre involucran a algunos de los siguientes grupos: estudiantes, graduados y empleadores. La evaluación de los programas de Ingeniería Mecánica, Ingeniería de producción y Arquitectura Naval incluyen encuestas a graduados de dos años y a diez empresas empleadoras. Estas son elegidas por su alto nivel profesional y tecnológico. Las visitas a las instituciones bajo evaluación constituyen la parte central de todas las evaluaciones realizadas por el Centro. Estas visitas se realizan a la finalización de las autoevaluaciones y de las encuestas a los usuarios. La Comisión Directiva puede invitar expertos con un enfoque especial y con un enfoque especifico, por ejemplo: en el campo de la educación, los problemas pedagógicos, los aspectos organizativos o la economía. Durante estas visitas, se concertan distintas reuniones con estudiantes, docentes y directivos. La experiencia dice que las reuniones con los estudiantes, docentes y directivos proveen una oportunidad excelente para comunicar y tratar una serie de 16 Francisco Alba Juez condiciones altamente relevantes sobre la calidad del programa que no siempre están presentes en los informes de autoevaluación. FASE IIÍ: INFORMES Se prepara un informe preliminar en base a la documentación. El informe presenta varios análisis de ésta, e incluye recomendaciones generales, así como sugerencias de cambios concretos. El informe se trasmite a los grupos de autoevaluación para la corrección de errores técnicos y de cosas mal o no suficientemente bien hechas. Luego se realiza una conferencia, que al ser anterior a la publicación del informe, ofrece a los representantes de las instituciones de altos estudios una excelente oportunidad para la discusión abierta con la Comisión Directiva. La experiencia ha demostrado que la conferencia es una ocasión para que la Comisión especifique, y algunas veces, reconsidere sus observaciones. Luego de la Conferencia se escribe el informe fmal y se trasmite al iniciador de la transmisión. Este tiene la obligación de iniciar un seguimiento sobre las recomendaciones generales, mientras que las instituciones de altos estudios juegan una parte esencial al hacer un seguimiento de las recomendaciones especificas. Basándose en la experiencia y en retroalimentaciones anteriores, el Centro ha definido los siguientes criterios para un buen proceso de evaluación: • Contacto y diálogo fluido entre el Centro y los programas de estudio bajo evaluación • Una relación equilibrada entre el desarrollo de la calidad y el control • Una documentación sólida • Punto de partida orientado hacia el proceso, sin ningún indicador de calidad previamente definido • El proceso de evaluación provee a los programas de estudio de herramientas relevantes para la seguridad de calidad • Los programas, a fin de cumplir con los requerimientos de la autoevaluación, han tenido que establecer procedimientos para reunir información estadística relevante • Las discusiones tradicionales internas y cerradas sobre calidad han sido suplementadas con análisis externos. [12] 2.4.2. ENGINEERING COLLEGE OF ODENSE El Sistema de Evaluación de cursos en la Facultad de Ingeniería de Odense - Dinamarca, está sustentado en que las partes involucradas participen en un diálogo activo durante todo el curso y que cualquier desviación del programa pueda ser vista como consistente con los objetivos globales del mismo. Los conceptos básicos son: diálogo y consecuencia. 17 Franasco Alba Juez La evaluación, en su periodo inicial, tiene los siguientes componentes, los cuales, en conjunto forman una imagen cualitativa del curso en su integridad: 1- La calidad académica del curso, incluyendo a) Nivel académico del contenido del curso b) Calificaciones de los estudiantes necesarias para el curso c) Cobertura del curso d) Contenido del curso en relación a las metas globales del programa de educación e) Contenido del curso en relación a otras materias 2- La calidad de la docencia incluyendo: a) La presentación del material b) Libros de texto y otros materiales didácticos c) Metodología 3- La calidad del medio de estudio incluyendo: a) Participación del estudiante b) Nivel de actividad de los estudiantes En la práctica, la evaluación del curso comprende una discusión sobre el mismo y una evaluación final. Los resultados de la evaluación se pasan al Consejo de Estudios para el seguimiento y acción correctiva en caso de ser necesarios en el momento requerido. La discusión del curso se lleva a cabo después de transcurrido un tercio del mismo. Los estudiantes y los docentes se preparan con anticipación para el debate que se realiza durante el tiempo programado de enseñanza, y dura unos cuarenta y cinco minutos. Se debate sobre el curso hasta la fecha, tomando los componentes de calidad antes mencionados como punto de partida. Al final de la discusión, se realizan las conclusiones, y posteriormente, se labran actas que incluyen a aquellas y además, a las decisiones adoptadas. El debate se limita estrictamente a los estudiantes y docentes. La evaluación formal basada en encuestas, se realiza poco antes de finalizar el curso. Las encuestas se llenan en casa y se entregan durante la clase antes de la sesión de evaluación. A los estudiantes se les otorga un anonimato parcial, asignándoles números. Solamente un estudiante y el consejo de estudios saben cual número les ha sido asignado y a cual estudiante. Este estudiante es quien controla que los nombres y los números sean los correctos y es, además, quien reúne las encuestas. La lista de nombres con sus respectivos códigos se envía al Consejo de Estudios y las encuestas a los docentes. El docente consolida la respuesta de los estudiantes en otro formulario y luego escribe una conclusión a la luz de las respuestas y de los diversos comentarios. El docente presenta esta conclusión a la clase, después de la cual, las encuestas y la conclusión, pasan al Consejo de Estudio, que es el responsable de las acciones futuras. 18 Franásco Alba Juez Los diversos consejos de estudios compilan las encuestas. Las preguntas realizadas en ellas deben cubrir todos los componentes de calidad. Cada pregunta puede responderse con una de tres a cinco posibilidades de respuestas, una de las cuales debe ser "no se". Después de cada pregunta se provee un amplio espacio para comentarios adicionales. También se establece claramente que las respuestas sin comentarios explicativos no se considerarán significativas. Las encuestas pueden incluir preguntas generales y especificas, pueden diferir de departamento a departamento y de curso a curso, pero como reglageneral, no debe haber demasiadas preguntas. El Consejo de Estudios responsable, recibe y procesa los resultados de cada evaluación del curso. Se saca una conclusión de cada proceso de evaluación, y ésta se envía a los cuerpos directivos relevantes. Dicha conclusión debe mencionar cualquier acción correctiva necesaria a tomar. El consejo de estudios debe informar a los docentes y estudiantes sobre los resultados de la evaluación. Si tal evaluación revela problemas serios, el Consejo debe implementar iniciativas concretas y adecuadas, destinadas a mejorar la situación.[13] 2.5. PORTUGAL 2.5.1. UNIVERSIDAD TÉCNICA DE LISBOA - INSTITUTO SUPERIOR TÉCNICO (IST) La Facultad de Ingeniería de la Universidad Técnica de Lisboa (UTL) presenta un modelo parametrizable de evaluación para cinco grupos distintos de usuarios. Para cada universo de usuarios, se define un conjunto de objetivos, que ellos valúan en su interfase con la institución de enseñanza superior en ingeniería (lESI). Se cuantifícan los factores de éxito principales por medio de indicadores de éxito (lE), generalmente correlacionados. Luego son divididos en endógenos (ej. El rendimiento del proceso educativo) y exógenos (ej. Financiamiento público o contexto regional donde opera la lESI). Cada grupo de usuarios, j , atribuye factores de ponderación, Py, a los indicadores de éxito que son valiosos para éste, permitiendo así, elaborar una matriz de valoración y funciones de clasificación CF = f (IE|, Pij). Los criterios de clasificación consideran los aspectos científicos, pedagógicos, administrativos y socioeconómicos. Con el fin de permitir una evaluación y clasificación justa, los indicadores de éxito necesitan ser significativos para los distintos universos a los que se aplican. El objetivo principal de la metodología propuesta es proveer indicadores que permitan a los diferentes actores que tienen un papel en los procesos educativos, evaluar el rendimiento y calidad de los programas e instituciones. 19 Francisco Alba Juez El primer paso de ésta metodología es la caracterización, en términos de sus indicadores de éxito, de los distintos cinco universos involucrados con el proceso educativo: • Estudiantes • Empleados • Propietarios (públicos y/o privados) • Otros fondos financieros • Clientes (que puedan contratar servicios) Cada uno de estos universos de usuarios tiene sus propios objetivos, que pueden ser ubicados en el conjunto de características en el proceso educativo, especialmente valuado por esos usuarios. Una vez establecidos los objetivos, es posible definir los factores de clasificación correspondientes, o Factores de Función de Clasificación (FFC), que se pueden cuantificar mediante los indicadores de clasificación o indicadores de éxito (lE). La evaluación, puede por lo tanto llevarse a cabo en términos de objetivos predefinidos, permitiendo la clasificación y eventual evaluación, en términos del grado del logro de los objetivos predefinidos. La metodología propuesta permite una evaluación paramétrica de programas e instituciones, cada indicador de éxito es evaluado en forma diferente por los distintos universos. Se construye una matriz de evaluación, en la cual, cada entrada Pij describe el peso atribuido por el universo j al indicador de éxito lEj. El uso de factores ponderados provee enlaces entre los factores de clasificación y la evaluación de programas y/o instituciones. Es posible entonces la definición de las funciones de clasificación CF para cada universo j , que registran la importancia relativa atribuida por los usuarios de ese universo a los distintos indicadores de éxito (lE). La calidad es importante para todo el universo de usuarios, por lo tanto, los lE deben ser elegidos cuidadosamente de acuerdo al objetivo que debe ser alcanzado y de manera que pueda ser actualizado. También pueden las ponderaciones afinarse dinámicamente de acuerdo a la experiencia y preferencias cambiantes de los usuarios.[14], [15] 2.6. SUIZA 2.6.1. SWISS FEDERAL INSTITUTE OF TECHNOLOGY (ETH) Mientras que la evaluación de la competencia en investigación se viene practicando en Suiza desde largo tiempo atrás, usando procedimientos bien establecidos e intemacionalmente aceptados, no había nada comparable para evaluar la enseñanza en las instituciones suizas. Dado que la legislación que rige los Institutos Federales de Tecnología Suizos, publicada en 1992, incluyó la cláusula que establece que "el rendimiento de los 20 Francisco Alba Juez profesores debe ser evaluado regularmente", al recién inaugurado Centro de Enseñanzas y Aprendizaje (CTL) del Instituto Federal de Tecnología Suizo (ETH), se le encargo en el año 1994 la tarea de desarrollar e implementar un modelo para realizar la evaluación de la enseñanza en el ETH. La Junta Ejecutiva del ETH incluyó en el mandato del centro las siguientes condiciones para el modelo: • Debía utilizar las evaluaciones de los estudiantes como base • Debía enfocarse en la calidad didáctica de la enseñanza • Debía desarrollarse una encuesta standard para ser utilizada en todas las divisiones de enseñanza • Las encuestas debían ser distribuidas hacia el fm del semestre (es decir, evaluación sumativa) • El control debía ser tan amplio como fuera posible: la mayoría de los cursos en todas las secciones de enseñanza y regularmente El CTL, al desarrollar el modelo, incluyó otros aspectos que ampliaron el objetivo de la Junta Ejecutiva con otros objetivos adicionales tendientes a reforzar el mejoramiento de cada Facultad y el mantenimiento de la calidad de la enseñanza en sus cursos, a saber: • El instrumento provee una retroalimentación rápida, aunque en una evaluación sumativa, los resultados están disponibles antes de finalizado el semestre. A partir de su calificación individual, los profesores pueden adaptar mejor su didáctica a partir de las necesidades de los estudiantes. Pueden discutir los resultados con los estudiantes que proveyeron las evaluaciones, aclarando así las respuestas ambiguas y fomentando la comunicación entre los profesores y los alumnos sobre la eficacia en la enseñanza y en el aprendizaje. • El instrumento también provee información para el jefe de cada división de enseñanza. (En ETH, las unidades se denominan divisiones a diferencia de departamentos que incluyen las unidades de investigación). El jefe de división recibe un panorama general de la calidad de enseñanza en su división, además de un resumen de los resultados de cada curso. Los resultados de dos proyectos piloto - el primero, que evalúa la calidad didáctica de todos los cursos obligatorios en la división de ingeniería eléctrica, y el segundo, que comprende la mayoría de las clase prácticas para resolución de problemas en la División de Matemáticas y Física - dio la base para el Modelo de Evaluación Estándar. Dicho modelo incluye las siguientes características: • La evaluación regular de la calidad didáctica de los cursos en todas las divisiones que ofrecen grado ETH, usando las evaluaciones de estudiantes cada tres semestres. Los estudiantes completan un cuestionario estándar (múltiple cholee), pudiendo agregar comentarios y sugerencias individuales en una hoja aparte. La encuesta de dos hojas empleada en el procedimiento estándar, fije elaborada en colaboración con varias divisiones. La primera hoja contiene preguntas sobre los 21 Francisco Alba Juez datos personales básicos (sexo, lengua materna, división del alumno, semestre del alumno, etc.) y a continuación cuatro preguntas que permiten obtener un "perfil de motivación" de los alumnos en cualquier curso, incluyendo aspectos tales como el motivo por el cual eligieron su curso de grado, la razones por las que asisten a este curso en particular, con qué fi'ecuencia lo hacen, la cantidad de tiempo empleada en este curso, etc.. La segunda hoja esta dedicada a la evaluación del curso y consta de veintiún ítemssobre la cátedra, las clases relacionadas con la resolución de problemas y la capacidad didáctica del profesor. Se intenta de esta manera, tener una imagen lo más completa posible - desde el punto de vista de los estudiantes - de la calidad didáctica del curso. Finalmente, los estudiantes deben juzgar si la encuesta es apropiada para evaluar el curso en cuestión. Los veintiún ítems sobre el curso y el profesor, tienen como objetivo reflejar los diversos elementos de la "buena calidad de la enseñanza". Dan pautas de los atributos de docencia que valen la pena lograr en la enseñanza. Los alumnos evalúan cada ítem utilizando una escala Likert bipolar de cinco puntos (de uno a cinco). Cabe mencionar que no debe esperarse que ésta encuesta provea un instrumento par,a investigaciones sofisticadas. Sin embargo, ha demostrado ser perfectamente adecuada para diagnosticar serias deficiencias didácticas y organizativas en la enseñanza, y para proveer una base de discusión sobre el curso, entre los alumnos y el profesor. • Los resultados se comunican de la siguiente forma: Cada profesor recibe las evaluaciones de los alumnos (en forma de gráficos de barra por ítem de encuesta) de su curso antes de finalizar el semestre, de tal forma que pueda discutirlo con los alumnos. Este es el único momento que los alumnos ven las evaluaciones, ya que no son publicadas después. El jefe de división recibe un resumen de los resultados de la evaluación de todos los cursos que pertenecen a su división. Para decisiones administrativas, la Junta Ejecutiva del ETH pide a los jefes de división que presenten un informe sobre la capacidad docente de un miembro de la división. En este informe deben incluirse las evaluaciones de los estudiantes sobre la persona en cuestión. • Todos los resultados son tratados confidencialmente, no pueden ser publicados ni puestos a disposición dentro de una división sin el permiso escrito de la persona en cuestión. (Bajo la Ley Suiza, todos los datos personales están protegidos). [16] 2.7. ITALIA 2.7.1. POLITÉCNICO DI TORINO El Comité Conjunto de Enseñanza (CPD) ha establecido un Sistema de Observación compuesto por; Presentaciones de cursos extensivos, estadísticas de exámenes y encuestas a estudiantes. Al finalizar cada año académico el CPD publica una serie de volúmenes que contienen estadísticas sobre exámenes, y donde se describe cada curso mediante una curva acumulativa, indicando el número de estudiantes que aprueba el examen con tiempo. Cada curso es seguido durante cuatro años. 22 Francisco Alba Juez El CPD ha desarrollado, también, un sistema de encuestas sobre la calidad de la enseñanza, para ser distribuido entre los estudiantes. En ellas, los estudiantes proveen información sobre sus tasas de asistencia, trabajo requerido por el instructor, carga de trabajo para el semestre, aulas, sala de conferencias y otras instalaciones, capacidad docente del profesor y asistentes, y horarios. De los datos de las encuestas y de las estadísticas de exámenes o de los "descriptores" se obtiene un sistema de "Indicadores" de calidad de la enseñanza, que son publicados anualmente y puestos a disposición de las autoridades académicas de los distintos niveles. El Politécnico de Torino fue la primera Universidad en Italia que estableció un cuerpo permanente de expertos para observar y evaluar los cuerpos docentes, las políticas de enseñanza y los medios y servicios materiales conectados con ésta. Varias Universidades en Italia han establecido comités que se ocupan de diversos aspectos de la enseñanza. Sin embargo, solamente el Politécnico de Torino tiene un CPD que se caracteriza por lo siguiente: • Es un cuerpo permanente • Consta de un número igual de profesores y estudiantes (8 + 8) • Tiene la tarea estatutaria de organizar una observación permanente de la funcionalidad de las actividades docentes • Tiene la tarea estatutaria de evaluar la eficacia de las políticas implementadas por los cuerpos que se ocupan de la enseñanza El programa cristaliza las intenciones establecidas, por medio de un aro de retroalimentación que une los cuerpos directivos universitarios y los "clientes". Los cambios que se propongan al aro de retroalimentación serán relativamente lentos por cuanto deberán tener en cuenta las necesidades políticas y sociales en general, además de las de los "clientes" (incluyendo a los estudiantes mismos). Debajo del nivel del programa, pueden establecerse un cierto número de aros subsidiarios de retroalimentación para determinar si los procedimientos cumplen los objetivos y si lo hacen eficientemente. Desde 1993 el CPD ha estado trabajando con estos aros subsidiarios. El CPD es una organización de control independiente, pero también somete propuestas a la consideración (a nivel asesoramiento) de los cuerpos directivos de la Universidad. Para contribuir al establecimiento de los aros subsidiarios de retroalimentación y con el fin de continuar con la autoevaluación, se definen indicadores para: Rector y Senado Académico, Facultades, Consejos de Cursos de Grado, Instructores individuales. Desde 1993 a 1997 el CPD formuló, empleó y perfeccionó instrumentos de información capaces de producir el "descriptor", cuya definición en si misma fije bastante difícil. A tal fin, el CPD ha lanzado un sistema coordinado de instrumentos de información integrados: 23 Francisco Alba Juez • Presentaciones extensas de los cursos • Encuestas de los estudiantes sobre la calidad de la enseñanza • Estadísticas de los exámenes Desde el comienzo del desarrollo de estos instrumentos, el CPD ha adoptado la siguiente metodología de trabajo: • Tratar los problemas con una visión global, sugiriendo al mismo tiempo, soluciones particulares para cada instrumento, en forma de experimentación y evaluación de su factibilidad • Informar a los cuerpos universitarios sobre las acciones realizadas y recoger sus opiniones Con respecto a las presentaciones extensas de los cursos, estas fueron propuestas por el CPD con un doble propósito: 1°- Dar a los estudiantes un mejor conocimiento del curso para organizar el trabajo del semestre, organizar sus elecciones, planificar su estudio y saber con anticipación lo que se espera de ellos. 2°- Darle a los responsables de los cursos de grado, medios para inspeccionar los contenidos de los cursos, la extensión con que fueron tratados, los requerimientos y cargas de trabajo, técnicas de examen, y capacidades que deben desarrollar los estudiantes. La presentación extensa del curso, no es solamente un documento útil para el alumno y el docente sino que se considera indispensable para adoptar el Sistema Europeo de Transferencia de Créditos dentro del proyecto Sócrates. • En lo referente a las encuestas, éstas están fuertemente orientadas a evaluar la enseñanza individual como parte de un sistema organizado. La encuestas constan de dos partes: La primera es un formulario conteniendo preguntas, cuyas respuestas son procesadas por el CPD y son usadas como base de su evaluación. La segunda es un formulario para "comentarios personales", que son recibidos directamente por cada profesor, son estrictamente confidenciales y actúan como un medio de comunicación entre la clase y el profesor. Estos formularios son anónimos y contienen diferentes preguntas agrupadas de la siguiente manera: Estadísticas de los exámenes. • Parte A: seis preguntas sobre el estudiante y educación previa • Parte B: cinco preguntas sobre su asistencia a las clases y sus sesiones de prácticas. • Parte C: siete preguntas sobre la organización (tipo de curso) y los recursos de materiales para la enseñanza provistos por la institución • Parte D: cuatro preguntas sobre el contexto del curso (peso de los cursos paralelos, carga general de trabajo, horarios) • Parte E: once preguntas sobre el profesor, su desempeño, su capacidad para comunicar, su compromiso 24 Francisco AlbaJuez • Parte F: cinco preguntas sobre los asistentes docentes • Parte G: cuatro preguntas de control (evaluación global, motivación) A los estudiantes se les solicita que clasifiquen por caso o por valor con una escala de 1 a 5. Las estadísticas sobre exámenes y su secuencia temporal han sido los primeros objetivos realizados por el CPD. El "universo" observado es la cohorte de alumnos inscriptos para un determinado curso en cada año académico. Son seguidos durante cuatro años, obteniéndose entonces, una curva acumulativa que debería tender idealmente al 100%, con características que varían de curso a curso. Los parámetros básicos que se extraen de estos datos (% de aprobados al final del semestre, % de aprobados al final del año académico) se corresponde con los de las encuestas, y fiDrman la base para identificar los obstáculos de las carreras de los estudiantes. Los "descriptores" de las encuestas y las estadísticas de exámenes se elaboran para obtener "indicadores" del rendimiento docente. Su desarrollo ha sido, y todavía sigue siendo, objeto de gran debate y controversia. Los grupos homogéneos de descriptores se combinan en un número reducido de indicadores ordenados por columnas. Cada columna describe un curso y su profesor/instructores. Las columnas se agrupan en hojas, cada una relativa a un año dado de un curso de grado dado. Las hojas del mismo curso de grado (3 por Diploma, 5 para Laurea) son enviadas al Presidente del Curso de Laurea. Cada indicador tiene una escala de valor: 1 = muy pobre, 2 = pobre, 3 = aceptable, 4 = bueno y 5 = muy bueno. [17] 2.8. CONCLUSIÓN Si bien en este capítulo se han presentado una serie de casos reducida, referente a los distintos programas para evaluar la calidad de la enseñanza que se han implementado en diversas Universidades de diferentes países, se cuenta con abundante información con respecto a muchas otras universidades de países tales como Perú, Argentina, Venezuela, Colombia, Brasil, Polonia, Noruega, Inglaterra, Francia y Alemania, que no se han tratado en el presente trabajo para no hacerio excesivamente extenso y por cuanto, si bien cada una de las distintas universidades presenta su modalidad propia, tanto en el diseño del programa particular como en la manera de aplicarío, finalmente, de una forma u otra, todos los programas de todas las universidades de los distintos países culminan en la definición de factores o descriptores que agrupan diversos ítems a los cuales se les asigna indicadores que son valorados y/o ponderados con una escala de 1 a 5 con el objeto de tener una valoración numérica de cada uno de ellos, que permitirá obtener una calificación del curso, del programa y en última instancia de la universidad, a través, primero de una autoevaluación y posteriormente de una evaluación externa. 25 Francisco Alba Juez 3. INTRODUCCIÓN El Control de Calidad moderno, esto es, el Control de Calidad Total o Control Total de Calidad, podría definirse como : "El conjunto de esfuerzos efectivos de los diferentes grupos de una organización para la integración del desarrollo, del mantenimiento y la superación de la calidad de un producto, con el fín de hacer posibles fabricación y servicio a satisfacción del consumidor y al nivel más económico".[38] Por otra parte el Control de Calidad moderno posee cinco características que lo distinguen: • Control de Calidad en toda la organización, con la participación de todos los miembros de la misma. • Educación y capacitación en Control de Calidad para todo el personal • Actividad de Círculos de Calidad • Auditoría de Control de Calidad Interna y/o externa. • Utilización de Métodos Estadísticos 3.1. EL SIGNIFICADO DE "CONTROL" Y DE "CALIDAD". En la terminología industrial, el acto de delegar responsabilidad y autoridad en una actividad directiva, liberándola en esta forma de detalles innecesarios, pero conservándole los medios para asegurarse que los resultados sean satisfactorios, se llama control. El procedimiento seguido para alcanzar la meta de calidad industrial es, por lo tanto, denominado "Control de Calidad". En el Control de Calidad se deben seguir cuatro pasos que son los siguientes: • Establecimiento de estándares para el funcionamiento, para la confíabilidad del producto y para los costos de calidad. • Estimación de conformidad : comparación de la concordancia entre el producto manufacturado y los estándares. • Ejercer acción cuando sea necesario : Aplicar la corrección necesaria cuando no se alcancen o rebasen los estándares. • Confeccionar planes para mejoramiento : Desarrollar un esfuerzo continuado para mejorar los estándares de los costos, del comportamiento y de la confíabilidad del producto. 26 Francisco Alba Juez Por Otra parte, en la expresión "Control de Calidad", la palabra "calidad" no tiene significado popular de "lo mejor" en sentido absoluto sino que significa "lo mejor dentro de ciertas condiciones del consumidor". Dentro de estas condiciones las más importantes son: • El uso al que el producto se destina • Su precio de venta De acuerdo a todo esto, el fundamento del concepto del control de Calidad Total y su diferencia básica con relación a otros conceptos, es que para proporcionar una efectividad genuina, el control debe iniciarse con el diseño del producto, y no termina sino cuando el producto llega a las manos del consumidor y le satisface. En resumen, en su interpretación más estrecha o antigua "calidad" significa "calidad de producto". En su interpretación más amplia o moderna "calidad" significa "calidad de trabajo, calidad de servicio, calidad de personas (gerentes, trabajadores, ingenieros, ejecutivos) calidad de sistemas, calidad de objetivos, calidad de la empresa".[38] 3.2. CARACTERÍSTICAS DE CALIDAD Las características de calidad de un producto, proceso o sistema, cualesquiera sean estos, son dos : • Características de calidad reales • Características de calidad sustitutas Normalmente las funciones o capacidades de un producto se cuentan entre sus características de calidad reales, por ejemplo, en un buen automóvil de turismo, las características de calidad reales o atributos que los consumidores exigen son los siguientes : • Buen diseño • Facilidad de conducción • Confort • Buena aceleración • Estabilidad a altas velocidades • Durabilidad • Seguridad • Facilidad de reparación Como se puede ver, las características de calidad reales son generalmente subjetivas y por lo tanto muy difíciles de medir, y aquí surge el problema fundamental a resolver, que es: como lograr estas características, que son las que demanda el consumidor. 27 Francisco Alba Juez Para esto habrá que tratar de medir u objetivar lo mejor o más que se pueda estas características reales. Las empresas que mejor logran esto, son las que ganan el mercado. Las características de calidad sustituías son, en cambio, aquellas que se pueden medir y las que hay que definir para poder lograr las características de calidad reales. En el caso del automóvil, las características de calidad sustitutas serían, por ejemplo : • las materias primas • la resistencia de los materiales • los procesos de fabricación y maquinado • las tolerancias • los tratamientos térmicos • etc. Características éstas que rápidamente se advierte que son medibles y por lo tanto objetivas. Ahora bien, el proceso a seguir para obtener las características reales a partir de las sustitutas, es el siguiente : • Definir las características de calidad reales para un producto dado. • Resolver el problema de como medir tales características y como fijar las normas de calidad para el producto. • Determinar las características de calidad sustitutas • Establecer la relación entre las características de calidad reales y las sustitutas mediante estadísticas y análisis de calidad. Sólo después de cumplir con estos cuatro pasos sabremos hasta qué punto
Compartir