Descarga la aplicación para disfrutar aún más
Vista previa del material en texto
UNIVERSIDAD NACIONAL AUTÓNOMA DE MÉXICO PROGRAMA DE MAESTRÍA Y DOCTORADO EN PSICOLOGÍA RESIDENCIA EN EVALUACIÓN EDUCATIVA INFORME DE EVALUACIÓN DEL PROGRAMA DE FORTALECIMIENTO DE LOS ESTUDIOS DE LICENCIATURA EN UNA ESCUELA DE LA UNAM REPORTE DE EXPERIENCIA PROFESIONAL QUE PARA OBTENER EL GRADO DE MAESTRA EN PSICOLOGÍA P R E S E N T A ROSA MARGARITA LEÓN MANFFER DIRECTORA DEL REPORTE: MTRA. LAURA ELENA ROJO CHÁVEZ COMITÉ TUTORAL: DRA. ROSAMARÍA VALLE GÓMEZ-TAGLE DR. IGNACIO MÉNDEZ RAMÍREZ DR. JOSÉ IGNACIO MARTÍNEZ GUERRERO DRA. BENILDE GARCÍA CABRERO MÉXICO, D.F. MAYO, 2010 UNAM – Dirección General de Bibliotecas Tesis Digitales Restricciones de uso DERECHOS RESERVADOS © PROHIBIDA SU REPRODUCCIÓN TOTAL O PARCIAL Todo el material contenido en esta tesis esta protegido por la Ley Federal del Derecho de Autor (LFDA) de los Estados Unidos Mexicanos (México). El uso de imágenes, fragmentos de videos, y demás material que sea objeto de protección de los derechos de autor, será exclusivamente para fines educativos e informativos y deberá citar la fuente donde la obtuvo mencionando el autor o autores. Cualquier uso distinto como el lucro, reproducción, edición o modificación, será perseguido y sancionado por el respectivo titular de los Derechos de Autor. Este trabajo está dedicado a: Natalia † mi madre, en reconocimiento a todos sus esfuerzos para construirme un mundo mejor. Alberto, por recorrer este camino a mi lado. Sin tu apoyo no lo hubiera logrado. Bernardo, por tu apoyo y por ser el motivo que me exhorta cada día a ser mejor persona. Maru, Ruperto y Marisa, por todo su apoyo, por ser un ejemplo de vida. Mi familia y amigos por apoyarme siempre y por compartir los anhelos y éxitos. Karlena, Paty, Fernando y Reynaldo, mis compañeros de la cuarta generación, por compartir conmigo este periodo y los retos profesionales. Para todos ustedes mi amor, agradecimiento y respeto. Con todo mi agradecimiento a: La Universidad Nacional Autónoma de México mi Alma Máter, por todo lo que significa en mi vida. La Dra. Rosamaría Valle, por el tiempo dedicado y por su importante formación en el campo de la evaluación. La Maestra Laura Rojo, por ser una gran docente, por su apoyo, por brindarme su confianza y compartir conmigo las ilusiones y los éxitos. Ana, Aldo, Elías, Héctor, Isela, Luisa, Mariana, Paco, Rosalba, Vero y Vicky por su valiosa contribución en este informe. A la Dra. Quesada, por compartir conmigo su vocación por la educación. A todos los profesores quienes contribuyeron significativamente en mi formación. Índice Resumen .............................................................................................................. I Abstract ................................................................................................................ II Resumen ejecutivo ............................................................................................... III Introducción .......................................................................................................... VI 1. El Programa de Fortalecimiento de los Estudios de Licenciatura (PFEL) El contexto institucional ........................................................................................ 1 La definición e instrumentación del PFEL .............................................................. 1 El PFEL en el marco de la Escuela ....................................................................... 4 2. Revisión de la literatura El problema de la eficiencia terminal en la educación superior ............................ 6 Las causas de baja eficiencia terminal ................................................................. 7 Esfuerzos para mejorar la eficiencia terminal ....................................................... 9 La evaluación de los esfuerzos para mejorar la eficiencia terminal ...................... 10 3. Diseño de la Evaluación ................................................................................ 13 4. Método de Evaluación Participantes ......................................................................................................... 15 Diseño de instrumentos ........................................................................................ 15 Recolección de la información .............................................................................. 16 Análisis de los datos ............................................................................................. 17 5. Resultados Antecedentes del PFEL en la Escuela ................................................................... 18 La influencia del contexto institucional ................................................................. 19 Conocimiento del PFEL en la Escuela ................................................................... 19 Instrumentación del PFEL en la Escuela ................................................................ 22 Sobre la población atendida ............................................................................. 23 Sobre las estrategias implementadas .............................................................. 23 Sobre la difusión de las estrategias ................................................................. 24 Sobre la normatividad del PFEL en la Escuela .................................................. 25 Sobre la gestión de las estrategias del PFEL en la Escuela .............................. 26 Problemas afrontados con la operación del PFEL ................................................. 37 Valor que atribuyen al PFEL en la Escuela ........................................................... 39 Beneficios identificados .................................................................................... 39 Alcance de cada estrategia para lograr los objetivos del Programa ................. 40 Utilidad experimentada con cada estrategia .................................................... 41 Utilidad que atribuyen a las herramientas del PFEL .......................................... 45 Fortalezas y debilidades identificadas .............................................................. 50 Compromiso con el desarrollo del PFEL en la Escuela.......................................... 53 Satisfacción con el desarrollo del PFEL en la Escuela........................................... 56 Conclusiones ...................................................................................................... 57 Recomendaciones .............................................................................................. 62 Glosario ............................................................................................................... 64 Referencias ......................................................................................................... 67 Anexos ................................................................................................................ 68 A: Guión de entrevistas realizadas con funcionarias responsables de la operación del PFEL en la Escuela B: Cuestionario aplicado a los tutores de la Escuela C: Cuestionario aplicado a los alumnos de la licenciatura en la Escuela I Introducción En respuesta al compromiso de evaluar el Programa de Fortalecimiento de los Estudios de la Licenciatura, la Dirección General de Evaluación Educativa (DGEE) decidió realizar una evaluación de éste en el primer semestre de 2007. Dicho Programa constituye una iniciativa institucional que surgió 2002; “sus propósitos son mejorar la calidad de la atención a los alumnos de las licenciaturas, fundamentar las acciones académicas en el conocimientosistemático del desempeño escolar de los estudiantes y operar tanto orgánica como sistemáticamente las acciones y estrategias para fortalecer dichos estudios” (DGEE, 2004a). La evaluación del Programa se realizó con el propósito de identificar y proporcionar información relevante para orientar la toma de decisiones tendientes a mejorar la operación del Programa en una Escuela de la UNAM. En este informe se presentan los resultados de la evaluación formativa del Programa de Fortalecimiento de los Estudios de Licenciatura en la Escuela seleccionada. El documento comprende seis capítulos. El primero, muestra un panorama general sobre esta iniciativa, sus antecedentes y condiciones institucionales en las que surge, así como los rasgos particulares que adquiere en la entidad académica. El segundo, examina algunas experiencias similares en el ámbito internacional. El tercero, describe el diseño de evaluación, el cuarto, explica la metodología de la evaluación: la población objetivo, el diseño de los instrumentos y el método para recolectar la información. El quinto, muestra los resultados de la evaluación y, en el sexto, se exponen las conclusiones y recomendaciones derivadas de los apartados anteriores. El informe incluye, adicionalmente, un glosario, las referencias consultadas, así como diversos apéndices. La descripción del Programa, las características que adoptó en la Escuela, los resultados obtenidos con su evaluación y la revisión de experiencias similares permiten constatar que la problemática de la eficiencia terminal es frecuente en el nivel de educación superior, que se trata de un problema compartido por diferentes países y que el PFEL así como otras intervenciones instrumentadas en el ámbito internacional constituyen una estrategia pertinente para afrontar dicho problema. Asimismo, los resultados de esta evaluación han permitido identificar componentes del PFEL que requieren corregirse para lograr su operación óptima. II Resumen La baja eficiencia educativa, reflejada en los problemas de rezago académico, bajos índices de egreso y altos índices de abandono es atendida desde diversos escenarios educativos. Existen iniciativas que han resultado pertinentes para afrontar esta problemática. Un ejemplo, es el Programa de Fortalecimiento de los Estudios de la Licenciatura (PFEL), que está dirigido a la población de licenciatura inscrita en el sistema escolarizado de la Universidad Nacional Autónoma de México (UNAM); sus propósitos son mejorar la calidad de la atención a los alumnos y fundamentar las acciones académicas en el conocimiento sistemático del desempeño escolar de los estudiantes mediante la instrumentación de seis estrategias: a) Diagnóstico académico de los alumnos, b) Sistema de tutorías, c) Actividades preventivas y remediadoras, d) Acciones de orientación institucional y académica, e) Mejoramiento de los servicios escolares y bibliotecarios y f) el Seguimiento académico de la trayectoria escolar de los alumnos. Con el fin de valorar la operación de este Programa, la Dirección General de Evaluación Educativa inició su evaluación en el primer semestre de 2007; en este informe se presentan los resultados para el caso de una Escuela seleccionada en esta institución. Se trata de un estudio descriptivo, para el que se emplearon técnicas de análisis documental, cualitativo y cuantitativo; la información se recolectó con entrevistas que fueron contestadas por funcionarios de la entidad, un cuestionario respondido por tutores y otro por los estudiantes beneficiados con el Programa. Los resultados revelan si existían antecedentes de acciones similares al PFEL en esta entidad, los aspectos del contexto institucional que influyeron en la instrumentación del Programa, el conocimiento que se tiene del PFEL entre los miembros de la comunidad, el funcionamiento de las estrategias, los problemas que afrontaron con su operación, el valor que le atribuyen, el nivel de compromiso que perciben de los diferentes participantes, así como el nivel de satisfacción con las acciones realizadas en el marco de este Programa. III Abstract Findings in terms of the academic performance, the low graduation rate students and the dropping out rates only reflect the poor educational efficiency. There are several initiatives that are suitable to face this problem, such as The Programa de Fortalecimiento de los Estudios de Licenciatura (PFEL) directed to the undergraduate population registered in the school system of the Universidad Nacional Autónoma de México (UNAM). The main objective of the Program is to improve the attention given to students and to found the academic actions that are required for the systematic knowledge of students’ school performance; this can be obtained through the application of the following six strategies: a) Students’ academic diagnosis. b) Tutoring system c) Remedial and preventive activities d) Academic and institutional counseling actions e) Improvement of the school and library services and f) Academic follow-up of students’ school performance. To evaluate this program, The Educational Evaluation Head Office [Dirección General de Evaluación Educativa (DGEE)] ran its own evaluation during the first term in 2007. This report presents the case results of a selected school in this institution. It is a descriptive study in which quantity and quality analysis techniques were used; the information was gathered through interviews made to staff manager from the entity. A questionnaire for tutors was used and a different one for the students receiving the Program. The studies reveal if actions similar to the PFEL have taken place in this entity; the aspects of the institutional context that influenced on the Program application, how much the members of the community know about the PFEL, the strategies development, the problems faced when operating the Program, the value given to it, the level of commitment from the different participants, and whether the actions taken within the Program were satisfactory. IV Resumen ejecutivo En respuesta al compromiso de evaluar la operación del Programa de Fortalecimiento de los Estudios de la Licenciatura (PFEL) en 20 entidades académicas de la Universidad Nacional Autónoma de México (UNAM), la Dirección General de Evaluación Educativa (DGEE) realizó una evaluación del mismo en el primer semestre de 2007. En este informe se presentan los resultados de dicha evaluación para el caso de una Escuela seleccionada de la UNAM. El PFEL es una iniciativa orientada a mejorar la eficiencia educativa. Está dirigido a la población de licenciatura inscrita en el sistema escolarizado de la UNAM, sus propósitos son mejorar la calidad de la atención a los alumnos, fundamentar las acciones académicas en el conocimiento sistemático del desempeño escolar de los estudiantes y operar tanto orgánica como sistemáticamente acciones y estrategias para fortalecer dichos estudios. Mediante el desarrollo del Programa se busca incrementar los índices de retención, disminuir las tasas de rezago, aumentar las tasas de egreso por generación e incrementar los índices de titulación (Dirección General de Evaluación Educativa [DGEE], 2004a). El Programa se articula con seis estrategias genéricas: Diagnóstico académico de los alumnos, Sistema de tutorías, Actividades preventivas y remediadoras, Acciones de orientación institucional y académica, Mejoramiento de los servicios escolares y bibliotecarios y el Seguimiento académico de la trayectoria escolar de los alumnos. En su implementación participan los responsables de cada entidad, los encargados de la dirección académica de las carreras, los tutores, los alumnos, a quienes está orientado el Programa y cinco dependencias de la Administración Central, entre éstas la DGEE, como responsable de coordinarlo y evaluarlo. Durante sus primeros años, la DGEE con las distintas dependenciasparticipantes desarrolló diversas herramientas para apoyar la operación del Programa: el Sistema de Diagnóstico Escolar, los Estudios de Trayectoria Escolar, la Página de Alumno, el Portal del Tutor, los Cursos de Habilidades para la Formación Permanente y medios impresos para la difusión del PFEL. Cada entidad definió las características que adoptó el PFEL con base en su contexto y en las necesidades que demanda la situación académica de sus alumnos, así la Escuela de referencia inició la operación del Programa en el segundo semestre de 2002, integrándolo en su proyecto académico. Con el propósito de valorar la operación del PFEL en la escuela seleccionada se diseñó la primera evaluación sistemática del Programa en dicha entidad. La evaluación se sustentó en el Modelo de evaluación CIPP desarrollado en 1971 por Daniel Stufflebeam. Para el estudio se fijaron tres objetivos: identificar las características que asumió la instrumentación del Programa en la Escuela, estimar V su grado de desarrollo e identificar el valor que la comunidad educativa le atribuye. Con el fin de guiar la evaluación se formularon ocho preguntas: ¿qué antecedentes del PFEL existen en la Escuela?, ¿qué aspectos del contexto institucional influyeron en la operación del Programa, cuáles a favor y cuáles han sido un obstáculo?, ¿qué es lo que se conoce del Programa en la Escuela?, ¿cómo funciona el Programa?, ¿qué problemas se afrontaron con su operación?, ¿qué valor atribuyen al PFEL en la Escuela?, ¿cuál es el nivel de compromiso de los actores (autoridades, académicos, tutores y alumnos) con el Programa? y ¿cuál es el nivel de satisfacción de los actores con el desarrollo del PFEL en esta entidad? La evaluación se llevó a cabo en tres etapas, la primera comprendió el análisis de documentos internos de la DGEE y otros publicados por la propia entidad, la segunda abarcó el diseño de instrumentos y la recolección de datos in situ. La tercera, consistió en el análisis y la valoración de la información obtenida. Con la intención de obtener una visión comprehensiva de la operación del Programa se decidió obtener información cualitativa y cuantitativa para lo cual se elaboraron los siguientes instrumentos: tres entrevistas a profundidad para autoridades educativas de la Escuela, un cuestionario para tutores y un cuestionario dirigido a los estudiantes de licenciatura. La información obtenida fue procesada y analizada empleando métodos estadísticos y técnicas de análisis de contenido que permitieron la descripción de resultados de la evaluación del PFEL en esta Escuela. Los resultados revelan que antes de la creación del Programa la entidad había desarrollado iniciativas para disminuir el rezago académico e incrementar índices de titulación, sin embargo, fueron esfuerzos aislados que no llegaron a sistematizarse formalmente. Existe evidencia de que el Programa fue instrumentado en esta Escuela desde 2004, aunque no se logró dar cobertura completa a la comunidad educativa, los resultados reflejan un conocimiento parcial de este Programa por parte de tutores y estudiantes. Los encuestados, consideran que el desarrollo de este Programa en el contexto particular de la entidad fue oportuno porque contribuyó a reforzar la atención de autoridades, docentes y alumnos en cuestiones de índole estrictamente académica; así mismo consideran que de las estrategias del PFEL, las tutorías, las actividades preventivas y remediales, en especial las becas, han sido útiles para los estudiantes beneficiados. Las autoridades y los tutores consideran al PFEL como una propuesta estructurada y formal; valoran la iniciativa como positiva para mejorar el desempeño escolar, favorecer el egreso exitoso y lograr la titulación oportuna; no obstante, la percepción favorable, los datos hacen evidente una operación incipiente del mismo. VI Los actores involucrados en este Programa perciben que los mecanismos para su gestión y el apoyo institucional permanente son factores necesarios para consolidar su desarrollo en la entidad. Destacan que su implementación contribuyó a que las autoridades lograran acuerdos mínimos para brindar mejor atención a los estudiantes de la licenciatura. Si bien, existe la necesidad de mejorar la gestión de las estrategias, hay un alto nivel de entusiasmo para fortalecer los esfuerzos que favorezcan los progresos en su consecución. Derivada de esta primera evaluación del programa en la entidad se hicieron recomendaciones para corregir, regular y fortalecer los mecanismos de gestión, desarrollar un método de recolección y resguardo de datos que permita sistematizar la información, que favorezca la identificación de los avances académicos de los estudiantes beneficiados con este Programa así como valorar el impacto que ha tenido en la entidad a lo largo del tiempo. Por otra parte, la exploración de la literatura da cuenta de que los problemas de rezago académico, bajos índices de egreso y de titulación son materia de preocupación de sectores sociales que atienden esta situación desde diversos escenarios. Existen iniciativas desarrolladas en otros países, que son similares al PFEL y que han sido evaluadas como pertinentes para afrontar la problemática de la eficiencia educativa. 1 1. El Programa de Fortalecimiento de los Estudios de Licenciatura (PFEL) El contexto institucional La Universidad Nacional Autónoma de México (UNAM) puede considerarse por su historia, sus dimensiones y su impacto en el desarrollo del país, como una de las instituciones más importantes de la nación. En 2002, atendió en sus 24 facultades y escuelas, incluido el bachillerato, a 251,149 estudiantes. En ese año impartió 71 carreras de licenciatura a 127,832 estudiantes del sistema escolarizado, que representaban 51% de la población escolar de la Universidad (Dirección General de Planeación [DGPL], 2003c). La UNAM cuenta con dependencias que, en coordinación con la Administración Central, apoyan a las entidades académicas para que eleven la calidad, pertinencia y eficiencia de las tareas educativas que se realizan; entre éstas se encuentra la Dirección General de Evaluación Educativa (DGEE), que tiene como finalidad apoyar a las entidades, dependencias y programas académicos de la Universidad en la utilización de métodos y procedimientos de evaluación que propicien el mejoramiento de la función educativa en la institución. En el año 2000, esta dependencia realizó un estudio de la trayectoria escolar de quince generaciones (1986-2000) de alumnos inscritos en 114 planes de estudio de licenciatura, trabajo que permitió identificar su progreso escolar en el ciclo profesional. Los problemas detectados fueron la pérdida de estudiantes por abandono, el rezago extremo y alto, es decir, alumnos que adeudaban asignaturas de sus respectivos planes de estudio; así como un egreso generacional reducido. La DGEE puso a consideración de la Rectoría de la Universidad estos resultados y con el fin de hacer frente a tales problemas y robustecer la calidad educativa de la licenciatura, se determinó diseñar una estrategia de intervención institucional (DGEE, 2002a). La definición e instrumentación del PFEL Surgió así, el Programa de Fortalecimiento de los Estudios de Licenciatura, como una iniciativa institucional para combatir los índices de abandono, rezago extremo e impulsar el egreso de las licenciaturas impartidas en la UNAM. El diseño del Programa se enmarca en un modelo de intervención integral que adoptó dos principios: el primero estableció que la Universidad atendería el 2 desempeño de todos los alumnos, tanto los que se encuentran en situación de rezago, como los que logran un desempeño sobresaliente; el segundo, consistió en trabajar en un sistema de intervención diferencial proporcionando los apoyos que cada grupo de alumnos requiere para transitar con éxito por la institución. El Programa plantea dos objetivos:mejorar el desempeño escolar de los alumnos de licenciatura e incrementar la eficiencia de los estudios en este nivel. Con el fin de alcanzarlos, se identificaron tres tipos de acciones institucionales: la atención que se brinda a los alumnos en las licenciaturas, el conocimiento del desempeño escolar y las estrategias operadas desde las licenciaturas para apoyar la formación académica de los alumnos. Con base en los principios y acciones señalados, la instrumentación del Programa articuló seis estrategias: 1) Diagnóstico académico de los alumnos; 2) el Sistema de tutorías; 3) las Actividades preventivas y remediadoras, 4) las Acciones de orientación institucional; 5) el Mejoramiento de los servicios escolares y bibliotecarios, y 6) el Seguimiento académico de la trayectoria escolar de los alumnos. El Diagnóstico académico de los alumnos permite identificar de manera precisa y oportuna el avance escolar al término del ciclo semestral o anual, así como detectar los factores sociales, económicos y personales asociados al desempeño y en consecuencia, decidir acciones específicas de apoyo. El Sistema de tutorías brinda apoyo individual o grupal a los estudiantes que requieren atención adicional a la que reciben de sus profesores en los cursos regulares. Las Actividades preventivas y remediadoras tienen como objetivo retener a un mayor número de alumnos en sus estudios, mejorar su desempeño escolar proporcionando ayuda académica oportuna y específica en las áreas o materias que les representan mayor grado de dificultad. Las Acciones de orientación institucional y académica tienen la finalidad de fortalecer los procesos de información y orientación institucionales así como los de cada entidad favoreciendo la integración de los estudiantes en la Universidad y el uso óptimo de los servicios que esta institución les ofrece. El Mejoramiento de los servicios escolares y bibliotecarios comprende mecanismos concretos para mejorar la eficiencia de los trámites institucionales y optimizar el uso de la amplia gama de posibilidades de consulta bibliotecaria que ofrece la Universidad. Por último, el Seguimiento académico de la trayectoria escolar de los alumnos ayuda a conocer de manera sistemática el desempeño de los estudiantes, el beneficio de las distintas actividades realizadas en el marco del Programa Educativo e identificar si han disminuido los índices de rezago escolar, de abandono, así como el incremento de los índices de egreso y de titulación. 3 El PFEL fue aprobado el 14 de marzo de 2002 por el Colegio de Directores de Facultades y Escuelas e inició su operación piloto en el semestre 2002-2. Desde esta fecha hasta 2007, fue adoptado en 20 entidades académicas, 17 facultades: Arquitectura, Ciencias, Ciencias Políticas y Sociales, Economía, Derecho, Filosofía y Letras, Ingeniería, Medicina, Medicina Veterinaria y Zootecnia, Odontología, Psicología, Química; en las cinco Facultades de Estudios Superiores: Acatlán, Aragón, Cuautitlán, Iztacala y Zaragoza; así como en las tres Escuelas Nacionales: Enfermería y Obstetricia, Trabajo Social y la de Artes Plásticas. Concebido como un programa flexible, cada entidad seleccionó al grupo de alumnos a los que daría atención a través del PFEL, así como las acciones, estrategias y proyectos internos que incorporaría. Para su gestión, implementación y organización cada titular designó un enlace institucional. Salvo la inversión que se realizó en los talleres para formar tutores y las becas que se incorporaron como una estrategia más a partir de 2004, no se invirtieron recursos económicos adicionales para apoyar a las entidades. La DGEE desarrolló diversas herramientas que se pusieron a disposición de todas las entidades participantes: el Sistema de Diagnóstico Escolar, los Estudios de Trayectoria Escolar semestrales por generación, la Página de Alumno, el Portal del Tutor, el Sistema de formación de tutores, los Cursos de Habilidades para la Formación Permanente y los medios impresos para difundir el Programa. El Sistema de Diagnóstico Escolar fue desarrollado por la Dirección General de Administración Escolar con base en la metodología de trayectorias escolares creada por la DGEE. Provee información a partir de la generación 2000 para identificar el avance de los estudiantes por generación con relación al número de créditos establecidos en los planes de estudio, a la vez, hace posible consultar el desempeño individual para fines de diagnóstico. Los Estudios de Trayectoria Escolar se han realizado por cada generación y para cada carrera ofreciendo a los titulares de las entidades académicas y a los coordinadores de cada licenciatura la oportunidad de valorar el comportamiento de distintas generaciones en diferentes etapas de la trayectoria escolar, fundamentando así, las decisiones orientadas al establecimiento de estrategias específicas como el Sistema de tutorías, las Actividades preventivas y las remediadoras. La Página de Alumno es un sitio electrónico diseñado específicamente para los alumnos inscritos en las licenciaturas de la UNAM; representa un espacio en el que los estudiantes encuentran información sobre los calendarios escolares, los 4 planes de estudio, la normatividad, los programas de becas de la institución, los trámites de servicio social y titulación, las agendas culturales y deportivas, así como los vínculos a diversos sitios de apoyo académico y social. El Portal del Tutor, liberado en 2005, es un recurso que pone a disposición de los tutores de licenciatura de la Universidad, información académica para apoyar a los alumnos, un sistema de seguimiento de la tutoría, entrenamiento en línea, así como artículos y publicaciones especializadas en el tema. El Sistema de formación de tutores comprende un conjunto de talleres diseñados para proporcionar a los tutores el marco conceptual y las herramientas indispensables para establecer una buena relación con los alumnos y estar en mejor posibilidad de guiarlos durante su trayectoria escolar. Los Cursos de Habilidades para la Formación Permanente se ofrecen a las entidades desde 2005, con el fin de que los alumnos desarrollen estrategias y procesos de aprendizaje autónomo así como habilidades genéricas para que mejoren su desempeño en la licenciatura. El PFEL en el marco de la Escuela La licenciatura que imparte la Escuela seleccionada se originó en 1938 como parte de la oferta educativa de una Facultad; en 1979 se separó de ésta constituyéndose una Escuela. Así, la oferta académica a la fecha de la evaluación incluía la licenciatura en las modalidades presencial y abierta, así como un programa de posgrado. El egresado de la licenciatura que ofrece la Escuela es un profesionista capaz de identificar, jerarquizar y valorar las necesidades sociales aplicando el método de la ciencia social para conocer, interpretar y diseñar mecanismos de intervención integrales tendientes a mejorar la calidad de vida de las personas; en consecuencia, la misión de la Escuela es formar recursos humanos altamente calificados con un profundo sentido de compromiso y solidaridad que contribuyan al estudio, atención y solución de los problemas que aquejan a las personas en este ámbito (Dirección General de Administración Escolar [DGAE], 2007; DGPL, 2003b; Entidad académica, 2007b). Desde su creación hasta la fecha, esta licenciatura ha tenido cinco planes de estudio, el Plan 1107 es el más reciente y entró en vigor con la generación 2003; tiene una duración de 9 semestres. El programa comprende 366 créditos, se organiza en 45 asignaturas obligatorias distribuidas en cuatro áreas de conocimiento: a) histórico-social, b) sujeto y hábitat, c) política social y necesidades sociales y d) metodología y práctica del trabajo social (DGAE, 2007). 5 En el año 2002, la Escuela contaba con 2,053 estudiantes de licenciatura, durante el segundo semestre inició la operación del PFEL con acciones orientadasa los alumnos de primer ingreso, regulares, becarios, de semestres avanzados y de rezago intermedio, enfatizando la intervención en los alumnos con alto rezago académico y en posibilidad de deserción. La gestión del programa en esta Escuela quedó a cargo de su director quien designó un funcionario como enlace institucional, a saber, la Secretaria de Apoyo y Desarrollo Escolar quien coordinó la operación del Programa a través de la participación de dos áreas: el Departamento de Formación Integral y la División de Estudios Profesionales. 6 2. Revisión de la literatura El problema de la eficiencia terminal en la educación superior La educación superior constituye un factor decisivo para el desarrollo de los países debido a que favorece la adquisición de conocimientos y la formación de habilidades que impulsan el crecimiento económico y el bienestar de la sociedad (Banco Mundial, 2003; Martínez, 2000; Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura [OEI], 2008; Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura [UNESCO], 1999; Oficina Regional de Educación de la UNESCO para América Latina y el Caribe [OREALC/UNESCO] y Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación 2008; Woodhouse, 1996). En el contexto mundial, la educación superior atraviesa por una continua y acelerada transformación, debiendo afrontar retos que son materia de preocupación de organismos como la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura, la Organización para la Cooperación y el Desarrollo Económico, el Banco Mundial, los gobiernos de cada país, las instituciones educativas y organismos privados que brindan apoyo al sector educativo. Entre los múltiples retos, destaca lograr una cobertura con calidad ante una creciente demanda del servicio; brindar financiamiento sostenible; consolidar la pertinencia social de la oferta que se imparte; instrumentar formas de enseñanza congruentes con las nuevas tecnologías de la información y la comunicación, así como establecer condiciones que favorezcan la movilidad de los estudiantes. En consecuencia, se han implementado políticas orientadas a mejorar la calidad y la eficiencia del servicio que se ofrece mediante procesos de transformación académica, organizacional y normativa importantes (Asociación Nacional de Universidades e Instituciones de Educación Superior [ANUIES], 2006; Banco Mundial, 2003; UNESCO, 2004, 1999). Sumado a los retos mencionados, se afronta la necesidad de reducir las desigualdades de acceso y de los resultados obtenidos ampliando la participación de grupos que han estado menos representados en educación superior, mejorando a la vez, la eficiencia terminal de las instituciones (Stolk, Tiessen, Clift y Levitt, 2007). Definida como la proporción de estudiantes que terminan una carrera o grado en relación con los que iniciaron, la eficiencia terminal es un indicador de la eficiencia educativa, dimensión de la calidad que permite conocer si la inversión en educación está produciendo los resultados esperados, los cuales 7 son parte esencial para el desarrollo de cada país; por tal razón, las autoridades educativas e instituciones han generado indicadores de eficiencia terminal así como el cálculo de los índices asociados a ésta (ANUIES, 2006; Banco Mundial, 2003; Martínez, 2000). El establecimiento de este tipo de indicadores ha representado una tarea difícil en virtud de la compleja estructura de los sistemas de educación superior (modelos educativos, oferta, modalidades de estudio, financiamiento); en consecuencia, existen importantes diferencias en la forma en que cada país o incluso, cada institución formulan indicadores de eficiencia terminal y calculan los índices de abandono, egreso y titulación (Bailey, y Alfonso, 2005; Martínez, 2001). Uno de los principales esfuerzos en este tema lo ha realizado la OCDE, que define el índice de abandono, como la proporción de estudiantes que dejan un nivel específico de educación superior sin obtener el título correspondiente y, el índice de titulación, como la proporción de estudiantes graduados en un nivel específico dividido por la población que está en edad típica de titulación (OECD, 2003). La exploración de la literatura refleja una amplia gama de estudios que muestran que el rezago educativo, el abandono, los bajos índices de egreso y de titulación constituyen un grave problema que afecta los resultados esperados en la educación superior, impacta la inversión en este nivel educativo y la formación de cuadros profesionales que requiere la sociedad (ANUIES, 2006; Bailey y Alfonso, 2005; Banco Mundial, 2003; Martínez, 2000; OREALC/UNESCO/LLECE, 2008; Stolk, et al, 2007; Stolk, Tiessen, Clift y Levitt, 2007) Las causas de baja eficiencia terminal La baja eficiencia terminal constituye un problema que ha dado lugar a numerosos y diversos estudios que han identificado que el rezago educativo y el abandono son fenómenos multicausales y que cobran mayor importancia durante los primeros semestres. (ANUIES, 2000; ANUIES, 2006; Lotkowski, Robbins y Noeth, 2004; OCDE, 2003; OCDE, 2006; OREALC/UNESCO/LLECE, 2008; Stolk, et al, 2007; Texas Education Agency [TEA], 2007; Zvoch, 2006). En un afán de tipificación, estos factores se pueden clasificar en institucionales y no institucionales. Con respecto a los primeros, algunos estudios afirman que el logro académico de los estudiantes es una cuestión inherente al éxito de la institución; estimando que de ésta depende el desarrollo de expectativas y motivos para que el estudiante logre éxito en sus estudios, 8 independientemente de los agentes externos. Entre otros factores institucionales, se han identificado la inexperiencia en la gestión de trámites escolares, la carencia de orientación institucional, la longitud de los cursos, la retroalimentación escasa, la insuficiente flexibilidad curricular y un clima escolar poco favorable (Derby y Smith, 2004; Levitz, Noel y Richter, 1999; Mckenzie y Schweitzer, 2001; Mclaughlin, Brozovsky y Mclaughlin, 1998; Stolk, et al, 2007). Como factores no institucionales, se han detectado situaciones de índole personal como la falta de motivos para continuar los estudios en educación superior, la baja autoconfianza, la limitada habilidad de interacción social, el ausentismo, los hábitos de estudio ineficientes, la falta de orientación en la elección de carrera y la preparación previa deficiente; también se han estudiado variables demográficas asociadas al rezago y abandono como la edad, debido a que estudiantes que abandonan frecuentemente son mayores que sus pares; el género, porque es recurrente el caso de las mujeres que abandonan por razones asociadas al embarazo; el contexto socio-económico en virtud de que el abandono escolar es persistente en familias de bajos recursos; la etnicidad porque el índice de abandono en promedio, es más alto en jóvenes de raza negra y en hispanos que para jóvenes blancos, y la estructura familiar porque los estudiantes que provienen de familias mononucleares están en mayor riesgo de abandono (Gleason y Dynarski, 2002; Land y Legters, 2002; Rumberger, 2001). Por otro lado, diferentes investigaciones demuestran que el éxito de los estudiantes involucra tanto a la institución como las características personales y contextuales del estudiante. Este enfoque ha dado lugar a modelos que explican el rezago y el abandono escolar como consecuencia de la interrelación de diversos factores institucionales y no institucionales y desde el cual han derivado indicadores que permiten identificar de manera oportuna los factores de riesgo. La mayor parte de esfuerzos para mejorar la eficiencia terminal consideran este enfoque integrador, sin embargo, los estudios realizados revelan que los factores que contribuyen significativamente a la retención y mejor desempeño del estudiante,no pueden ser generalizables porque los patrones varían en relación con las características contextuales (Astin, 1984; Bailey y Alfonso, 2005; Bean, 1987; Caison, 2007; Lotkowski, Robbins, y Noeth, 2004; Mckenzie y Schweitzer, 2001; Martínez, 2001; Stolk, et al, 2007; Tinto, 2000; 2002; 1987; Zvoch, 2006). 9 Esfuerzos para mejorar la eficiencia terminal La preocupación por mejorar la eficiencia educativa es compartida por los gobiernos, las autoridades educativas, las instituciones y los organismos públicos y privados, quienes han orientado sus esfuerzos para dar atención prioritaria a la población más vulnerable y que en cada país adopta características particulares. En general, estos grupos están conformados por jóvenes con capacidades diferentes, grupos en situación económica menos favorable, los que proceden de grupos étnicos que tradicionalmente se han desarrollado al margen del progreso o quienes presentan dificultades de integración académica por el dominio del idioma (Bailey y Alfonso, 2005; Evaluation Center, 2009; Instituto en Ciencias de la Educación [IES], 2008; Universidad del Estado de California [CSU], 2005). En respuesta a las necesidades y posibilidades regionales se han propuesto iniciativas de orden político, jurídico, económico y académico para impulsar el egreso y la titulación desde distintos escenarios y con la participación de múltiples actores. Algunos países han impulsado políticas inclusivas sustentadas en un marco jurídico que regula la atención a estos grupos, un ejemplo es el Acuerdo Federal “Que ningún niño se quede rezagado” (No Child Left Behind) promulgado en enero de 2002, por el Congreso de los Estados Unidos de América en el que se confiere a las escuelas la responsabilidad por el progreso del estudiante empleando indicadores nacionales para evaluar sistemáticamente el desempeño académico y la eficiencia terminal, con la obligación de rendir cuentas a la sociedad sobre el resultado del aprendizaje de los estudiantes (DEPARTAMENTO DE EDUCACIÓN DE LOS ESTADOS UNIDOS [U.S.DOE], 2004; U.S.DOE, 2002; SRI International, 2008). Países como México, Estados Unidos, Australia, Reino Unido, Holanda, entre otros, han hecho un importante esfuerzo para incrementar la participación de los jóvenes en la educación superior e impulsar la conclusión de los estudios con la creación de programas de apoyo económico en sus diferentes modalidades: subsidios, ayuda financiera en efectivo y becas-crédito (Banco Mundial, 2003; Mckenzie y Schweitzer, 2001; OCDE, 2003; OCDE, 2006; SRI International, 2008; Stolk, et al, 2007; TEA, 2007; U.S.DOE, 2002). Cabe destacar que además de los esfuerzos gubernamentales, hay empresas particulares que patrocinan programas orientados a mejorar la educación de poblaciones vulnerables, entre otros se encuentra el proyecto Enlace de la Fundación Kellogg (1997), el proyecto de becas de la Fundación 10 TELMEX (1996), el Programa de Mejoramiento para el Éxito Académico de Latinos, 1995; el Programa de Valor Joven de Coca-Cola, 1991 y otros financiados por la Fundación de Colegios Comunitarios de California y la Fundación del Oeste de Michigan (Evaluation Center, 2009; IES, 2008; Olatokumbo y Slavin, 1998). La revisión de la literatura da cuenta de numerosas iniciativas institucionales enfocadas a mejorar el desempeño de los estudiantes por medio de la creación de programas académicos especiales (Caison, 2007; Policy Studies Associates, Inc. [PSA], 2007; SRI International, 2008; Stolk, et al, 2007; U.S.DOE, 2004). Este tipo de programas tienen entre sus propósitos favorecer la integración del estudiante en la institución, apoyar su trayectoria académica y facilitar la conclusión exitosa de los estudios. Durante los primeros semestres de la carrera, es frecuente el empleo de estrategias que fortalecen la atención que se brinda al estudiante tales como, la orientación institucional, la implementación de cursos propedéuticos y de formación en habilidades específicas. A lo largo de su recorrido escolar se ofrecen estrategias de apoyo en temas de asignaturas que representan mayor grado de complejidad, se imparten cursos de regularización y se promueve la formación de comunidades de aprendizaje. En los últimos semestres de la carrera se llevan a cabo estrategias de apoyo para completar los requisitos de titulación y se desarrollan talleres de orientación para apoyar la transición del estudiante a la vida laboral (Bailey y Alfonso, 2005; Tinto, 2002). De manera paralela, se operan estrategias longitudinales de soporte académico como las asociaciones para y por estudiantes, la tutoría, la actualización docente así como la flexibilidad curricular; acciones que implican un importante cambio en los modelos educativos, en la gestión y en la organización institucional (Angelini, 2008; Colegio Universitario de Londres, 2005; PSA, 2007; SRI International, 2008; Stolk, et al, 2007; TEA, 2008; TEA, 2007; U.S.DOE, 2004, 2002). La evaluación de los esfuerzos para mejorar la eficiencia terminal Si bien existe evidencia de que en la mayoría de los sistemas educativos se realizan esfuerzos orientados a mejorar la eficiencia educativa, la evaluación de éstos no se efectúa por igual. Por lo general, los programas de apoyo educativo que reciben financiamiento se fundamentan en un marco teórico-metodológico que plantea un proceso de evaluación periódica a cargo de especialistas externos, de 11 agencias gubernamentales, privadas o de ambos sectores. Se trata de evaluaciones con enfoque orientado a la toma de decisiones que consideran los componentes del programa, para valorar la implementación, operación, resultados o impacto del mismo con el fin de definir con claridad el éxito de estas iniciativas, identificar errores y corregirlos; o en su caso, decidir respecto a la continuidad del programa (CSU, 2005; PSA, 2007; TEA, 2007; TEA, 2008; U.S. DOE, 2002). Los objetivos de cada evaluación varían con respecto al programa y a la necesidad de información, en algunos casos este tipo de evaluaciones se realizan para valorar la operación del programa, en otros, para comparar resultados de los estudiantes y en otros para valorar la factibilidad y efectividad de las políticas educativas en el ámbito local y estatal, así como para la rendición de cuentas a la sociedad. La metodología en cada caso, difiere con respecto al objetivo y según la complejidad del programa; pero si se examinan los componentes evaluados, éstos se pueden clasificar en tres grandes categorías: las estrategias implementadas, la trayectoria escolar de los estudiantes y los mecanismos de gestión y evaluación del programa (PSA, 2007; TEA, 2007; TEA, 2008; UCL, 2005; U.S. DOE, 2002) En algunos de los casos estudiados se han empleado diseños de evaluación robustos que generalmente están vinculados a los objetivos de cada evaluación; para conocer el logro de resultados en diversas poblaciones se han utilizado diseños cuasi-experimentales con grupos de comparación entre generaciones y entre escuelas, en otros casos, para conocer los resultados de la intervención se han utilizado diseños pretest-postest, con respecto a la encuesta del año anterior. Además, se han usado métodos cualitativos para valorar el grado de desarrollo de las estrategias implementadas, así como la gestión de los programas. (PSA, 2007; UCL, 2005; U.S. DOE, 2002; TEA, 2007; TEA, 2008). En la mayor parte de las evaluaciones revisadas se encontró que se formularon preguntas guía de evaluación que facilitaron la recolección de información, se analizaron documentos y como instrumentos, se emplearon encuestas, entrevistas y observaciones estructuradas de visitas in situ. Estos estudios se distinguen entre sí por la complejidad en el análisis de datos y el grado de generalización de los resultados, en virtud de que los objetivos, diseños y métodos que emplearon fueron distintos; sin embargo, los resultados hacenevidente que todas estas iniciativas tuvieron un efecto positivo en la eficiencia institucional y en el desempeño de los estudiantes. En promedio, 12 aumentó el índice de asistencia de los estudiantes, disminuyeron los índices de abandono e incrementaron los índices de titulación en tiempo (IBHE, 2004; IES, 2008; SRI INTERNATIONAL, 2008; PSA, 2007; UCL, 2005; U.S. DOE, 2002; TEA, 2007; TEA, 2008). Los resultados de estas evaluaciones coinciden respecto a los factores que favorecen el buen desarrollo de los programas, tales como el apoyo de las autoridades y la gestión de las estrategias. A su vez, afrontaron obstáculos semejantes durante el proceso tales como datos incompletos y dificultad para valorar la eficacia de las estrategias debido a que éstas operaron de forma diferente en cada institución. Las recomendaciones más frecuentes en estas evaluaciones, convergen en la necesidad de generar, sistematizar y resguardar datos que permitan valorar con precisión los resultados y tener parámetros de referencia a lo largo del tiempo para estar en posibilidades de establecer comparaciones y lograr mayor cobertura en el impacto de los programas. Al respecto, cabe mencionar que el Centro Nacional de de Evaluación Educativa y Asistencia Regional de Estados Unidos inició en 2008, un estudio que tiene el propósito de elaborar una base de datos a gran escala que permitirá tener información completa sobre los resultados derivados de los programas y estrategias para prevenir el abandono escolar de estudiantes en desventaja étnica, económica o académica en dicho país (IES, 2008). Las causas de abandono y de baja titulación son abordadas en investigaciones con distintos enfoques y en general son atendidas con la implementación de programas normativos, económicos y principalmente académicos orientados a grupos vulnerables. La evaluación de dichos programas revela que estas iniciativas han sido útiles para incrementar el egreso y la titulación y a su vez ofrecen elementos para fundamentar decisiones en torno a la operación y continuidad de estos programas. 13 3. Diseño de la Evaluación Con el propósito de valorar la operación del Programa de Fortalecimiento de los Estudios de Licenciatura (PFEL), en 2007 la Dirección General de Evaluación Educativa (DGEE) inició la evaluación sistemática del Programa en la Universidad Nacional Autónoma de México. La primera evaluación sistemática del PFEL en la Escuela seleccionada se realizó entre los meses de enero y julio de 2007; para este caso se eligió como marco de referencia el modelo desarrollado por Daniel Stufflebeam en 1971, conocido por sus siglas en inglés como CIPP (Context, Input, Process, Product), y que comprende los cuatro componentes susceptibles de evaluar en un programa: contexto, insumos, procesos y productos. En este modelo, la evaluación se define como el proceso para identificar, obtener y proporcionar información descriptiva y útil acerca del mérito, valor, probidad y significancia de un programa determinado con la finalidad de orientar la toma de decisiones, fundamentar la rendición de cuentas, promover prácticas efectivas e incrementar la comprensión del fenómeno implicado (Stufflebeam, McKee y McKee, 2003). La flexibilidad del modelo hace posible que se evalúen los componentes del Programa de manera independiente, en este estudio se determinó como propósito valorar la operación del PFEL en la Escuela, para lo cual se establecieron tres objetivos: identificar las características que asumió la implementación del Programa en la Escuela, estimar su grado de desarrollo e identificar el valor que la comunidad educativa atribuye al Programa. Con la finalidad de orientar con certeza esta evaluación se plantearon ocho preguntas: ¿qué antecedentes del PFEL existen en la Escuela?, ¿qué aspectos del contexto institucional influyeron en la operación del Programa, cuáles a favor y cuáles han sido un obstáculo?, ¿qué es lo que se conoce del Programa en la Escuela?, ¿cómo funciona el Programa?, ¿qué problemas se afrontaron con su operación?, ¿qué valor atribuyen al PFEL en la Escuela?, ¿cuál es el nivel de compromiso de los actores (autoridades, académicos, tutores y alumnos) con el Programa?, ¿cuál es el nivel de satisfacción de los actores con el desarrollo del PFEL en esta entidad? Para contestar las preguntas de evaluación se decidió recabar información cuantitativa y cualitativa, para ello se realizó la revisión de documentos y se diseñaron entrevistas y cuestionarios, a la vez, se acordó desarrollar la evaluación en tres fases: la primera consistió en el análisis de documentos 14 internos de la DGEE y los publicados por la Escuela, la segunda abarcó el diseño de instrumentos y la recolección de datos in situ y la tercera, se centró en el análisis de la información obtenida. 15 4. Método de Evaluación Participantes La evaluación estuvo a cargo de la DGEE y contó con la participación de autoridades de la Escuela con quienes se acordó la viabilidad del proceso, que los instrumentos fueran administrados a las tres autoridades involucradas directamente con la operación del PFEL, a todos los tutores que realizaban dicha función y a los estudiantes inscritos en la licenciatura de esta Escuela. Diseño de instrumentos En el marco de los objetivos y preguntas de evaluación descritos se diseñó una entrevista a profundidad semiestructurada dirigida a las tres autoridades seleccionadas, un cuestionario orientado a los tutores que participaron y otro dirigido a los estudiantes de la licenciatura. Las entrevistas fueron formuladas con un guión específico para cada una de las autoridades: el Enlace Institucional del Programa, la Jefa de la División de Estudios Profesionales y la Jefa del Departamento de Formación Integral. Este guión contiene 30 preguntas, distribuidas en diez secciones y que tienen el objetivo de obtener información sobre el funcionamiento de Programa en la Escuela, sus antecedentes, el contexto en el que inició su operación, lo que conocen del Programa, su implementación, el valor que le atribuyen, así como el nivel de compromiso y satisfacción con esta iniciativa institucional (ver Anexo A). El cuestionario para los tutores contiene 31 preguntas, 10 son abiertas y exploran la experiencia en tutorías, el conocimiento que tienen del PFEL, la función de la tutoría en el marco del Programa, la forma de operarla, y la valoración de esta estrategia en la Escuela; las 21 preguntas cerradas se responden mediante escalas de respuesta de tipo categórico u ordinal. Las preguntas se agruparon en diez secciones y se formularon con la finalidad de identificar lo que conocen sobre esta iniciativa institucional, la gestión de dicha actividad, el valor que le atribuyen, su percepción sobre el compromiso de los diferentes actores de la Escuela con esta iniciativa y el nivel de satisfacción con su desempeño (ver Anexo B). El cuestionario para los estudiantes contiene 21 preguntas cerradas que presentan escalas de respuesta de tipo categórico u ordinal distribuidas en seis secciones con la finalidad de identificar el conocimiento que tienen los alumnos sobre los beneficios del Programa, el valor que atribuyen a las estrategias 16 implementadas, su percepción sobre el compromiso de los diferentes actores de la Escuela con esta iniciativa y el nivel de satisfacción con su desempeño. Del total de preguntas, hay siete vinculadas a la estrategia de tutorías y dirigidas exclusivamente a los estudiantes favorecidos con beca, debido a que se sabía de antemano que dicha estrategia se planeó en la Escuela para atender de manera prioritaria a los alumnos beneficiados con este apoyo (ver Anexo C). Para registrar las respuestas se utilizó una hoja de lectura óptica en la que se recabaron datos generales de los estudiantes como su año de ingreso a la carrera, el semestre que cursan, si son beneficiados con algúntipo de beca, el turno y género. Recolección de la información Antes de iniciar la recolección de la información se celebró una reunión con las autoridades de la Escuela que permitió puntualizar las instrucciones de los cuestionarios, acordar la sensibilización de los participantes sobre la importancia de esta evaluación y elaborar el plan para la aplicación de los instrumentos. Las entrevistas a las tres autoridades de la Escuela se llevaron a cabo los días 9, 10 y 11 de abril de 2007, fueron supervisadas por funcionarios de la DGEE y grabadas previa autorización de los entrevistados. El cuestionario de alumnos se administró los días 16, 17 y 18 del mismo mes, en 36 grupos de la Escuela, el procedimiento estuvo a cargo de cinco personas, dos de la DGEE y tres de la Escuela; la responsabilidad de cada aplicador consistió en explicar a los estudiantes el objetivo del cuestionario, motivarlos a contestar con honestidad y de manera individual, explicar las indicaciones de llenado, resolver dudas correspondientes, recabar, organizar y resguardar los materiales, así como anotar en una bitácora observaciones relevantes de cada aplicación. Los participantes fueron capacitados previamente para realizar dichas tareas; a cada uno se le entregó una orden del día, las recomendaciones por escrito y las bitácoras. Durante el procedimiento, se acordó realizar precisiones al instrumento en forma oral y con ayuda del pizarrón debido a que los estudiantes de segundo semestre desconocían ciertos términos (confundían el año de ingreso con la generación, la Página del alumno con su cuenta de correo electrónico en la UNAM y tutorías con asesorías). De los 2,281 alumnos inscritos en el semestre 2007-1, el cuestionario fue respondido por 1,264 estudiantes, 28% correspondían al segundo semestre, 17 24% al cuarto semestre, 25% al sexto semestre y 23% al octavo semestre; para lograr mayor representatividad el instrumento se administró en ambos turnos, 58% fueron del turno matutino, 40% del vespertino, 2% de ambos turnos. La administración de los cuestionarios para tutores se encomendó a una funcionaria de la Escuela, se determinó que sería contestado por 110 tutores en su oficina durante el transcurso de la misma semana debido a que no era posible aplicarlo a todos en una misma sesión. Al término del periodo establecido se obtuvieron 89 cuestionarios debido a que 21 tutores no pudieron contestar el instrumento, entre otras razones, por falta de tiempo. Análisis de los datos Con la información recabada, se realizó el procesamiento y análisis de ésta. Para los datos cuantitativos se emplearon métodos estadísticos que permitieron ordenar la información, obtener frecuencias y porcentajes. Para los datos cualitativos se empleó la técnica de análisis de contenido, que consistió en la transcripción de las entrevistas, la organización, síntesis, ordenamiento, categorización e interpretación de la información de las entrevistas y de las respuestas correspondientes del cuestionario de tutores. Con el fin de obtener diferentes perspectivas de la operación del PFEL en la Escuela hubo preguntas reflejadas en los tres instrumentos, sus respuestas fueron comparadas empleando la técnica de triangulación, con una matriz de datos que permitió identificar y comparar respuestas por fuente y categoría. 18 5. Resultados En esta sección se presentan los resultados de la evaluación del Programa de Fortalecimiento de los Estudios de Licenciatura en la Escuela seleccionada. La información se organiza siguiendo las preguntas de evaluación que fueron formuladas para este estudio. Antecedentes del PFEL en la Escuela Para valorar los antecedentes del Programa de Fortalecimiento de los Estudios de Licenciatura en esta Escuela de la UNAM se analizaron documentos, datos obtenidos en las entrevistas realizadas a las autoridades, así como los cuestionarios que respondieron los tutores. La información obtenida de estas fuentes permitió detectar que la Escuela había adoptado medidas aisladas con propósitos similares a las estrategias planteadas en el PFEL. En este sentido, sí se contaba con antecedentes de acciones preventivas, remediales, de apoyo, de orientación institucional y de mejoramiento de servicios bibliotecarios que fueron instrumentadas en los años 2000 y 2001, tales como la impartición de los cursos gratuitos de cómputo y la reorganización del servicio de becas que otorgó apoyo económico a ochenta alumnos del Programa de Alta Exigencia Académica (PAEA), el cual fue incorporado al PFEL en el año 2004. Antes de la implementación del PFEL, la Escuela había desarrollado actividades de apoyo a la titulación, como los cinco cursos propedéuticos para opciones de titulación. También instrumentó actividades de orientación institucional en los años 2000 y 2001, como las visitas guiadas a las instalaciones universitarias y la jornada de bienvenida para los alumnos de primer ingreso, el foro de inducción al trabajo social, el servicio de orientación educativa y asesoría especializada a los miembros de la comunidad a cargo del Departamento de Trabajo Social, en donde se canalizó a los estudiantes que lo requirieron a diferentes dependencias especializadas (DGPL, 2002). ¿Qué antecedentes del PFEL existen en la Escuela? ¿Qué aspectos del contexto institucional influyeron en la operación del Programa, cuáles a favor y cuáles han sido un obstáculo? ¿Qué es lo que se conoce del Programa en la Escuela? ¿Cómo funciona el Programa? ¿Qué problemas se afrontaron con su operación? ¿Qué valor atribuyen al PFEL en la Escuela? ¿Cuál es el nivel de compromiso de los actores (autoridades, académicos, tutores y alumnos) con el Programa? ¿Cuál es el nivel de satisfacción de los actores con el desarrollo del PFEL en esta Entidad? 19 En cuanto a la tutoría, la información obtenida indica que 12% de los tutores encuestados ya contaban con práctica previa en esta actividad en el nivel de educación media superior, licenciatura y/o posgrado, en instituciones públicas o privadas. Dicha experiencia estuvo dirigida a estudiantes próximos al egreso y a los que presentaban dificultades para el aprendizaje. Si bien, en la Escuela había precedentes de acciones orientadas a mejorar el rendimiento de los estudiantes, estas iniciativas se operaron de manera aislada, y no formaban parte de un programa formal e integral para mejorar el desempeño del estudiante. La influencia del contexto institucional Para juzgar si en la operación del Programa se experimentó la influencia de factores contextuales de la Escuela, se analizaron documentos institucionales, así como información obtenida en las entrevistas con las autoridades. Las fuentes consultadas indican que la administración en turno inició sus funciones en condiciones desfavorables, las cuales afectaron el inicio de la operación del PFEL, como la presencia de alumnos reubicados1 y las secuelas del paro de actividades que había paralizado a la institución en 1999. Una de las autoridades entrevistadas subrayó que la Escuela recibía una población en situación de rezago académico importante. En la visión de otra, este escenario presentó una condición favorable que se aprovechó para que el Director iniciara su administración con el firme propósito de reconstruir el tejido social que estaba tan alterado, de tal forma que el propio contexto generó la necesidad de atender de forma emergente la vida académica. En este sentido, el PFEL representó tal espacio de oportunidad y se integró al Proyecto Académico de la Escuela. Conocimiento del PFEL en la Escuela Con el fin de valorar qué tanto se conocía el PFEL en la Escuela, se exploraron elementos asociados a éste, como la definición del Programa, sus propósitos y estrategias, su visión académica y sus beneficios. Para ello, se analizaron los documentos publicados y las respuestas a las entrevistas y a los cuestionarios.En uno de los documentos de la Escuela se indica que el programa, su importancia y beneficios se dieron a conocer a toda la comunidad. Sin embargo, el análisis de la información pone de relieve que la percepción del PFEL variaba 1 Se consideraba alumnos reubicados a los que no elegían la licenciatura de referencia como primera opción en su ingreso a la UNAM. 20 entre los diferentes actores — funcionarios, tutores y alumnos. Las autoridades consultadas describieron el Programa, los 89 tutores expusieron lo que sabían de esta iniciativa, información que permitió estimar que la mitad de los tutores tenían un conocimiento escaso del PFEL, sólo un tercio de los tutores lo definieron con precisión y el resto no. Por otra parte, la mayoría de los alumnos consultados no identificaron el Programa en el sentido estricto, únicamente 24% (299) respondieron que sí estaban al tanto del PFEL como se muestra en la Gráfica 1 (Escuela, 2007b). Gráfica 1 Porcentaje de estudiantes que identifican el PFEL La comunidad de esta Escuela atribuyó distintos propósitos al PFEL, el análisis documental señala que uno de sus objetivos es brindar atención al alumno en sus dudas, inquietudes y necesidades. De los tutores encuestados, la tercera parte (30) vincula los propósitos del Programa con el desempeño del alumno, estimaron que esta iniciativa brinda apoyo académico al estudiante, favorece su desempeño integral, lo ayuda a desarrollar habilidades específicas y disminuye el rezago escolar; 17% relacionaron los propósitos de esta iniciativa con conceptos de eficiencia terminal, para 5% el Programa se realiza con el fin de promover la comunicación con los alumnos y a consideración de otro 5%, el propósito es aumentar la retención de estudiantes (Escuela, 2007). Como se muestra en la Gráfica 2, más del 30% de los tutores respondieron que conocen mucho el Sistema de tutorías y el subprograma de becas PFEL (antes PAEA); entre 20 y 35% de los tutores respondieron que conocen mucho dos 24% 75% 1% sí no sin respuesta N= 1,264 21 componentes esenciales del PFEL, los objetivos y las líneas de acción, así como las siguientes estrategias: Mejoramiento de los servicios escolares y bibliotecarios, Acciones de orientación institucional y académica, Actividades preventivas y remediadoras, y la de Seguimiento académico de la trayectoria escolar de los alumnos; y menos del 20% conocían herramientas de apoyo como el Sistema de Diagnóstico Escolar, el Portal del Tutor y la Página del Alumno. Gráfica 2 Componentes del PFEL identificados por los tutores Al valorar la visión académica de los tutores sobre el PFEL, se encontró que 9% definieron el Programa evaluado como tutoría, incluyendo una serie de acciones ligadas a ésta, por ejemplo tutorías especiales, formación de tutores, función de la tutoría y guía para aprovechar mejor el aprendizaje; 8% lo vinculan con becas y en consecuencia con acciones implícitas para ayudar a los estudiantes a conservar dicha beca; 7% consideran que este Programa se integra por acciones vinculadas con apoyo académico, talleres, cursos y capacitación de docentes, incluso con intercambios estudiantiles; 10% lo relacionan con la atención que se le brinda al alumno, ya sea integral o especializada por ejemplo, la canalización a especialistas y 4% lo vinculan con el seguimiento académico de los alumnos. Por otra parte, 4% de los tutores suponen que el PFEL es iniciativa 0 10 20 30 40 50 60 70 80 90 100 Tutoría Becas PAEA Mejoramiento de servicios … Objetivos Orientación institucional Seguimiento académico Líneas de acción Actividades preventivas y … Portal del tutor Sistema de diagnóstico escolar Página del alumno Porcentaje de tutores Mucho Poco Casi nada Nada Sin respuesta N = 89 22 de la UNAM y del Gobierno Federal, que está sufragada por la propia institución y con apoyo federal. Los datos analizados permiten afirmar que las autoridades y tutores tienen un conocimiento parcial del Programa, cada actor conoce aquella parte del PFEL con la que está vinculado. Debido a que los estudiantes se encuentran más familiarizados con las actividades concretas, se les presentó una lista de nueve beneficios vinculados al PFEL y se encontró que no tienen un conocimiento completo de éstos. Como se muestra en la Tabla 1, los beneficios más conocidos por los estudiantes son los servicios bibliotecarios, seguidos de la semana de bienvenida, de los Cursos de formación de habilidades, la Página del Alumno, las Tutorías y las becas PAEA. Los menos conocidos son los cursos de regularización, los cursos de educación emocional y las asesorías personalizadas para concluir la licenciatura. Tabla 1 Beneficios del PFEL identificados por los alumnos RESPUESTAS Mucho Poco Casi nada Nada Sin respuesta Porcentaje de respuesta Servicios bibliotecarios 48 36 7 6 3 Inducción (semana de bienvenida) 34 37 13 13 3 Cursos extracurriculares (formación de habilidades) 28 35 18 15 4 La del alumno 22 40 18 16 3 Tutorías 16 46 18 18 2 Becas PAEA(PFEL) 16 35 25 20 4 Cursos de regularización 13 36 21 24 6 Cursos de educación emocional 9 28 26 32 5 Asesorías personalizadas para concluir la licenciatura 6 24 26 40 4 N= 1,264 alumnos 23 Instrumentación del PFEL en la Escuela Para valorar la operación del Programa en la Escuela se analizaron documentos institucionales—Informe del PFEL, 2000-2007, Proyecto Académico de la Escuela 2004, Memoria UNAM 2002 y 2003, e Informes de Actividades de la de la Escuela: 2002, 2003, 2004, 2005 y 2006 — las entrevistas a las autoridades de la Escuela y las respuestas a los cuestionarios de tutores y alumnos. Así se obtuvo información sobre la población atendida, la normatividad de los procesos, las estrategias implementadas, la difusión, la gestión, los instrumentos elaborados para apoyar la instrumentación del Programa, el seguimiento y evaluación de cada estrategia. Sobre la población atendida De manera consistente, la información revela que el Programa se ha dirigido a toda la población de licenciatura de la Escuela inscrita en sistema escolarizado, aunque hay estrategias que se han orientado en mayor medida a la población vulnerable, por ejemplo los estudiantes que constituyen población irregular2 han sido favorecidos con las actividades remediales diseñadas para ellos, asimismo, la población académicamente regular pero en riesgo de abandono por su condición económica ha sido beneficiada con las becas. Sobre las estrategias implementadas El análisis documental dejó ver que el único documento público que hace referencia explícita al PFEL es el Proyecto Académico 2004-2008. Dicho proyecto contempla cuatro áreas: formación integral, renovación y superación de la planta docente, revisión del plan de estudios y prácticas escolares. El área de formación integral adoptó el Programa Institucional de Fortalecimiento de los Estudios de la Licenciatura, considerando la implementación de cinco de las seis estrategias básicas: Sistema de tutorías, Actividades preventivas y remediadoras, Acciones de orientación institucional y académica, Mejoramiento de los servicios escolares y bibliotecarios, y el Seguimiento académico de la trayectoria escolar de los alumnos (Escuela, 2005b). Si bien, el Proyecto Académico de la Escuela 2004-2008 es un documento rector de las actividades institucionales, las autoridades de la Escuela no describen completamente las estrategias, aunque sí vinculan el PFEL con diversas 2 La Escuela de referencia considera población vulnerable aquella que presenta alto índice de inasistencias y/o alto nivel de rezago académico. 24 acciones aisladas desarrolladas en la Escuela, como las tutorías, las becas, los nueve cursos de habilidades que imparte la DGEE, los cursos de regularización y las accionesde orientación al alumnado. Una de las autoridades afirmó que la estrategia de Diagnóstico académico de los alumnos se utiliza de manera regular. No obstante, como se señalará más adelante, el manejo del sistema está restringido, a ello se atribuye que no es evidente su uso en los documentos públicos ni entre los demás actores de la Escuela. Sobre la difusión de las estrategias Los documentos consultados muestran que el PFEL se dio a conocer a directivos, jefaturas de división, académicos y docentes a través de reuniones, documentos y claustros académicos; posteriormente se difundió al alumnado del sistema escolarizado con tres tipos de medios: impresos como la gaceta de la Escuela, en trípticos y con carteles; electrónicos, como la página Web de la Escuela y por comunicación personal de tutores, docentes y funcionarios en las aulas, reuniones y actividades académicas cotidianas (Escuela, 2005b). Las autoridades entrevistadas señalan que cada estrategia se difunde de forma diferente. En el marco de las Actividades preventivas y remediadoras, las becas se promueven con carteles, avisos colocados en la vitrina, la página Web de la Escuela y personalmente se advierte a los alumnos cuando se aproxima la fecha para solicitar o renovar la beca. Cabe mencionar que no indican los mecanismos de difusión del resto de las estrategias. A los estudiantes también se les preguntó el medio o los medios por los que conocieron el PFEL; la pregunta solo fue respondida por 23% de los estudiantes, la distribución de sus respuestas en cada opción se muestra en la Gráfica 3, las opciones con mayor proporción de respuesta fueron la comunicación personal de los docentes, el curso de inducción y la página de la entidad; seguidas de folletos y trípticos y de la comunicación personal con el tutor. Las opciones con menor proporción de respuesta fueron la página institucional y la Página del Alumno. 25 Gráfica 3 Medio por el que los estudiantes conocieron el PFEL Sobre la normatividad del PFEL en la Escuela Con el fin de valorar si la gestión del PFEL está regulada en la Escuela, se analizaron documentos institucionales así como las respuestas de autoridades y tutores. La información documental señala que cada uno de los actores — autoridades y tutores conocen las tareas para llevar a cabo la instrumentación del Programa. Los funcionarios saben que deben acordar los mecanismos de coordinación, emprender ejercicios de evaluación, mantener comunicación con los docentes y alumnos, instrumentar acciones que contribuyan al óptimo desarrollo de esta iniciativa, así como difundir los resultados (Escuela, 2007b). Más allá de las funciones estipuladas en los documentos institucionales existe poca evidencia sobre los lineamientos aplicados para operar el PFEL, las autoridades coincidieron en que no se acordaron lineamientos generales aunque sí se dispusieron procedimientos particulares para llevar a cabo cada estrategia. Respecto a los recursos humanos que participaban en la operación del Programa, los datos obtenidos en los documentos no son consistentes con la información de las fuentes consultadas; el análisis documental indica que las áreas a cargo de su implementación son la Secretaría de Apoyo y Desarrollo Escolar con ayuda del Departamento de Trabajo Social y de los Tutores especiales 24 24 24 23 17 16 15 0 10 20 30 40 50 60 70 80 90 100 Comunicación personal de docentes Curso de inducción Página de la Escuela Folletos y trípticos Comunicación personal del tutor Página de la UNAM Página del alumno Po rc en ta je de re sp ue st a n = 289 26 de grupos. Asimismo, los datos del informe 2002-2007 y los que fueron brindados por las autoridades expresan que en efecto, la responsabilidad del PFEL recae en dicha área, aunque difieren con respecto a las instancias de apoyo: el Departamento de Formación Integral y la División de Estudios Profesionales; cabe resaltar que en sus cuatro años de operación, se efectuaron tres reemplazos del Enlace institucional y dos del Jefe de Formación Integral (Escuela, 2005b). Sobre la gestión de las estrategias del PFEL en la Escuela Diagnóstico académico de los alumnos El área responsable de operar la estrategia era la Secretaría de Apoyo y Desarrollo Escolar; la consulta del Sistema estaba a cargo de la titular del área, quien también figuraba como enlace del Programa y por razón de confidencialidad era la única persona autorizada para hacerlo; de modo que los datos obtenidos del Sistema no se hacían del conocimiento de otros funcionarios, docentes, ni de los tutores. Como se mencionó en líneas anteriores, esta cuestión, quizá explica la escasa mención que se hace de la estrategia en los documentos y el conocimiento limitado que se tenía de la estrategia por los actores del PFEL. La atención a los alumnos en situación de mayor vulnerabilidad académica se planeó con base en la información que la funcionaria consultaba en el Sistema de Diagnóstico Escolar, a partir de la cual se entrevistaba a dichos alumnos con la finalidad de plantearles su situación y diseñar un plan de acción para continuar sus estudios. Adicionalmente, la información obtenida se usó para sugerir acciones en el marco de la estrategia de Actividades preventivas y remediadoras así como sensibilizar a los tutores sobre su desempeño. Cabe resaltar, que más de la mitad de los tutores valoraron parcialmente adecuada o inadecuada la información que se les proporcionaba sobre los alumnos que les asignaron para tutoría, en este sentido, la información que proporciona el Sistema sería de gran ayuda para los tutores. 27 Sistema de tutorías en la Escuela La coordinación del Sistema de tutorías en la Escuela estaba a cargo de la titular de la División de Estudios Profesionales; para realizar esta tarea se contaba con criterios que regulaban la operación de las tutorías, entre otros, la asignación de académicos cada semestre, la cual se hacía convocando a los profesores preferentemente de tiempo completo —aunque dicha convocatoria estaba abierta también a los de asignatura— y seleccionando a quienes fueron bien evaluados por los alumnos en el proceso de evaluación docente del ciclo inmediato anterior. La Escuela carecía de un perfil de tutor propio, así como de un programa explícito de formación para los académicos que participan como tutores, las autoridades de la Escuela únicamente promovían la participación de tutores en los talleres de formación de la DGEE. Con base en los datos obtenidos en el cuestionario se sabe que la participación de los tutores en dichos talleres ha tenido las siguientes características: 37% asistieron al de Tutoría, 24% al de Relación tutor-alumno y 10% al de La tutoría y el desarrollo de habilidades de estudio independiente. La coordinadora de esta estrategia indicó que la función del tutor consistía en proporcionar asesoría a los alumnos, impulsarlos para que estudien, orientarlos en la solución de conflictos académicos, recomendarles bibliografía y brindarles consejo para elaborar sus trabajos. Por otra parte, a los tutores se les preguntó si habían recibido información de la Escuela sobre aspectos relevantes de la tutoría, más del 80% indicaron estar informados sobre los objetivos de esta estrategia y de sus responsabilidades como tutores, más del 70 % señalaron conocer el perfil institucional del tutor y las responsabilidades del alumno en esta actividad. La estrategia se operaba en dos modalidades, individual y colectiva. Como se muestra en la Gráfica 4, más de la mitad de tutores encuestados impartían exclusivamente tutoría individual. 28 Gráfica 4 Porcentaje de tutores por modalidad de tutoría La tutoría individual Esta modalidad de tutoría se ofreció exclusivamente a los estudiantes que recibían el beneficio de algún tipo de beca (PRONABES, PFEL u otro); de acuerdo con los datos que
Compartir