Descarga la aplicación para disfrutar aún más
Vista previa del material en texto
P o n t i f i c i a U n i v e r s i d a d C a t ó l i c a d e C h i l e I n s t i t u t o d e S o c i o l o g í a T a l l e r d e T i t u l a c i ó n P r o f e s o r g u í a : D a g m a r R a c z y n s k i v o n O p p e n 1 1 / 0 7 / 2 0 1 1 Carlos Carrillo Mora Gabriel Olave Rodríguez El proceso de acreditación de las carreras de pedagogía en Chile: aproximación a la confiabilidad del sistema 2 Índice I. Resumen 4 II. Presentación y demanda de investigación 5 1. Marco teórico y pregunta de investigación 5 2. Objetivo general 9 3. Objetivos específicos 9 III. Diseño Metodológico 10 1. Muestra y criterios de selección 10 2. Análisis de la información 11 IV. Resultados 13 1. Normativa para la acreditación de carreras de pedagogía 13 2. Coherencia entre los procedimientos de la normativa y de las agencias 24 3. Procedimientos no regulados por la normativa vigente 30 V. Conclusiones 37 VI. Sugerencias y observaciones de los entrevistados 39 VII. Bibliografía 42 VIII. Anexos 43 1. Pauta para profesionales técnicos de agencias acreditadoras 43 2. Pauta para pares evaluadores de agencias acreditadoras 44 3. Antecedentes estadísticos 46 4. Descripción de los criterios del análisis documental 47 5. Comparación Ley-Agencia 3 49 6. Comparación Ley-Agencia 4 50 3 7. Comparación Ley-Agencia 5 52 8. Comparación Ley-Agencia 6 54 9. Procedimientos no regulados Agencia 3 56 10. Procedimientos no regulados Agencia 4 58 11. Procedimientos no regulados Agencia 5 60 12. Procedimientos no regulados Agencia 6 63 4 I. Resumen Este trabajo se inserta en el marco de la línea de investigación sobre la Formación Inicial Docente (FID), específicamente en el área de acreditación de carreras de pedagogía, del Centro de Estudios en Políticas y Prácticas en Educación (CEPPE). El problema de investigación que este estudio abordó dice relación con el sistema de acreditación de las carreras de pedagogía en Chile. Concretamente se analiza la normativa que rige a las 4 agencias inscritas en el sistema que se especializan en la acreditación de carreras de pedagogía para posteriormente profundizar en cómo cada agencia pone en práctica esta normativa, a través de sus procedimientos. A partir de la contrastación entre la normativa y la “práctica de las agencias” y el análisis comparativo de las prácticas de las 4 agencias, el estudio concluye sobre la “confiabilidad” del sistema de acreditación de las carreras de pedagogía. “Confiabilidad” en este contexto refiere a: i) precisión y coherencia interna de la normativa; y ii) similitud o estabilidad en comprensión de la normativa por parte de los encargados de las agencias y en la forma en que la ponen en práctica. Junto con ello el estudio plantea “temas emergentes”, los cuales se refieren a elementos relacionados con la “práctica de las agencias”, que no se encuentran considerados en la normativa; y recoge sugerencias y recomendaciones de las agencias, así como de los autores de este trabajo, para mejorar el sistema. En términos metodológicos el estudio se apoya en el análisis interno de la normativa a partir de los documentos que norman la acreditación y entrevistas semi-estructuradas tanto a profesionales técnicos de alto cargo técnico como a pares evaluadores de cada agencia. Se encontró que la normativa presenta, en general, coherencia interna. Sin embargo, es poco precisa en algunos aspectos de la acreditación, y que deja sin regular una gran cantidad de elementos del proceso. Además, las agencias cumplen la normativa de forma similar en todos aquellos aspectos regulados de modo preciso, pero existen divergencias entre las agencias con respecto a su aplicación en aquellos elementos imprecisos. Por último, con respecto a los “temas emergentes”, se observó que hay diferencias entre las agencias en la puesta en práctica de estos. Los resultados anteriores permitieron concluir que existe una alta confiabilidad del sistema de acreditación de pedagogía en los procedimientos que están lo suficientemente normados, pero hay baja confiabilidad dentro de aquellos que no lo están. 5 II. Presentación y demanda de investigación El Centro de Estudios en Políticas y Prácticas en Educación (CEPPE), agrupa 4 instituciones: La Pontifica Universidad Católica de Chile, Fundación Chile, Universidad de la Frontera y la Universidad Alberto Hurtado. Este se preocupa de los problemas estratégicos en la educación del país y su investigación se orienta a la efectividad de la enseñanza. Un área de investigación que el CEPPE está desarrollando refiere al saber profesional docente, a la efectividad de propuestas institucionales y prácticas de la formación inicial de profesores. Desde esta área se solicitó profundizar en el tema de los procesos de acreditación de las carreras de pedagogía y aportar información sobre el funcionamiento en la práctica de las 4 agencias autorizadas para acreditar estas carreras. 1. Marco teórico y pregunta de investigación El sistema de educación chileno ha sufrido grandes y profundos cambios en los últimos 30 años. En 1980 se transita desde un modelo de compromiso, en el que el Estado es el responsable del financiamiento y provisión de educación, en el que el sector privado utiliza solo un lugar marginal; hacia un modelo de subsidiariedad, en que el estado se desliga crecientemente de la provisión de educación y se entrega al mercado buena parte de la responsabilidad de educar (Cariola , Bellei & Nuñez, 2003). Hasta que en la década 1990 el Estado toma un rol que recupera parte de estos dos periodos anteriores, en donde el Estado habilita al sector privado en la provisión de servicios pero que al mismo tiempo promueve la fiscalización y el desarrollo social. Así, en este periodo encontramos un Estado que mantiene el mercado de la educación pero con un mayor control sobre él. En este último periodo, la educación superior es objeto de su primera intervención significativa con la creación de la Comisión Nacional de Acreditación de Pregrado (CNAP) en 1999. La CNAP está orientada a certificar la calidad de las carreras y al establecimiento de estándares de calidad mínimos de los perfiles de egreso de los estudiantes (estructura curricular y resultados de los egresados), las operaciones institucionales (estructura organizacional, administrativa y financiera, así como los recursos humanos de las universidades) y la capacidad de autorregulación de las carreras. Entre la fecha de su fundación y 2006, la acreditación de todas las carreras e instituciones de educación superior fue voluntaria. Hasta que a fines del mismo año, con la promulgación de la Ley N° 20.129 de Aseguramiento de la Calidad de la Educación Superior, la CNAP pasó a llamarse Comisión Nacional de Acreditación (CNA) – pues también se encarga de acreditar carreras y programas de postgrado – y se 6 establecieron 2 normas de suma importancia. En primer lugar, se instauró la acreditación obligatoria de las carreras de Medicina, Educación Parvularia, Educación Diferencial, Pedagogía Básica y Pedagogía Media, que tiene como objetivo el mejoramiento continuo de las mismas. Esto exige a dichas carreras a acreditarse mediante la CNA, de lo contrario éstas, y sus propios estudiantes, no podrán optar a ningún tipo de recurso otorgado por el Estado o que cuente con su garantía (Ley 20.129, art. 27). En segundo lugar, se crean las agencias de acreditación. Esto implica que el servicio de acreditación carreras y programas se externaliza, y la acreditación de estas ya no dependedirectamente de la CNA, sino que de agencias acreditadoras, las que pueden ser nacionales o extranjeras (Ley 20.129, art. 26). Las Instituciones de educación superior, sean Universidades, Institutos Profesionales (IPs) o Centros de Formación Técnica (CFT), deben acreditarse voluntariamente frente a la CNA, es decir, con un mismo juez. Para las carreras y programas de pregrado y posgrado, la acreditación también se realiza voluntariamente, pero frente a las agencias acreditadoras. Para el caso de las carreras de Medicina, Educación Parvularia, Educación Diferencial, Pedagogía Básica y Pedagogía Media, en cambio, la acreditación se vuelve más compleja pues ellas se someten a un proceso de acreditación obligatoria frente a las agencias acreditadoras. Respecto del funcionamiento de las agencias acreditadoras se sostiene que operan en dos niveles distintos. Primero, en un nivel de consistencia interna de las instituciones y carreras, donde la evaluación a las mismas se realiza mediante una autoevaluación. Segundo, en un nivel de consistencia externa, donde un grupo de pares evaluadores, que son profesionales reconocidos en el área de su especialidad, hacen una evaluación de la autoevaluación de la institución o carrera y otra evaluación más conforme a criterios de calidad mínimos (CNA, 2007). La oferta total de carreras de pedagogías, ya sea de Educación Parvularia, Básica, Media, Diferencial, en todas las áreas de conocimiento y con todos los tipos de admisión (vía Prueba de Selección Universitaria, admisión especial, programas especiales para licenciados, etc.), se compone de un total de 427 unidades. Como se puede observar en el Gráfico 1, el 8,7% de las carreras de pedagogía no se encuentran acreditadas o tienen su acreditación expirada, el 6,6% está en su primer proceso de acreditación y un 84,8% se encuentra acreditada. Dentro estas últimas, el promedio de años de acreditación es de 3,6 años. 7 Hoy se ha avanzado en materia de acreditación y se han generado mejoras en los procesos. Por ejemplo, la CNA ha sido aceptada en la Red Internacional De Agencias De Aseguramiento de la calidad (INQAAHE) y las propias autoridades universitarias y estudiantes en general, sostienen que la acreditación genera un efecto positivo en la calidad de la educación superior (IPSOS, 2009). Sin embargo “establecer y ganar aceptación para los principios de aseguramiento de la calidad es sólo un primer paso. El próximo paso es velar porque el marco del aseguramiento de la calidad sea efectivo” (OCDE, 2009, p. 186). Hay distintas señales, tanto nacionales como internacionales, que muestran deficiencias de la Formación Inicial Docente (FID). Meckes y Domínguez afirman que existe una “falta de relación entre los procesos de acreditación y la calidad de los outcomes de los programas, es decir, de la calidad de sus egresados” (2011, p. 1). Con esto, se puede inferir que se presenta un problema en el proceso de acreditación, ya que éste no está garantizando la calidad de los futuros profesores. Asimismo, bajo la lógica de mercado con la que opera la educación superior, esto último es todavía más grave, pues no permite que los beneficiarios del servicio tomen decisiones informadas, en palabras de Brunner y Uribe (2007), es una falla de mercado. Otro problema que se vislumbra es que dado la variedad de agencias, todavía hay incertidumbres sobre los procedimientos con los que las distintas agencias que acreditan universidades, carreras y programas. Por ejemplo, en cómo las agencias elaboran sus cobros, realizan la selección del comité de pares, acreditan por más o menos años, acreditan unas u otras sedes, etc. Lo que podría ser grave considerando que “no hay evidencia de que los procedimientos que deben seguir las agencias para evaluar los programas son comparables entre sí” (Domínguez y Meckes, 2010, p. 8). Y es más Fuente: Elaboración propia con datos de la CNA. N= 427 84,8 4 4,7 6,6 Gráfico 1: Estado de acreditación (%) Acreditadas No acreditadas Con acreditación expirada En primer proceso de acreditación 8 importante aún ver si los procedimientos entre agencias son comparables y si los años de acreditación son equivalentes entre las distintas agencias, teniendo en cuenta que la CNA se creó para asegurar estándares de calidad. En este sentido es relevante analizar y conocer cómo funciona el sistema acreditación de las carreras de pedagogía y analizar si este es confiable. Esto implica estudiar el funcionamiento de las agencias, que en este caso son 4: Agencia AcreditAcción, Agencia Akredita QA, Agencia Qualitas y Agencia Acreditadora de Chile A&C. Asumiendo que la acreditación es un instrumento de evaluación, ya que busca evaluar la calidad de las carreras y los programas de las instituciones autónomas de educación, en base a las metas propuestas por las instituciones que las imparte, a los estándares nacionales e internacionales de cada profesión y al respectivo proyecto de desarrollo académico (Ley 20.129, art. 26), el concepto de confiabilidad será entendido, en un sentido metodológico, como la confiabilidad de un instrumento de evaluación. La confiabilidad de un instrumento de evaluación supone lo siguiente: “En estudios sociales, la confiabilidad depende principalmente de que una pregunta sea formulada de manera que todos los encuestados interpreten de la misma forma" (Ritchey, 2002, p.42). En base a esta cita, un instrumento de evaluación es confiable cuando los criterios y procedimientos que implica (las “preguntas”) son entendidos del mismo modo por aquellos que lo emplean, es decir, la confiabilidad significa estabilidad y objetividad del instrumento, evitando la arbitrariedad de los usuarios. En el caso del proceso de acreditación de las carreras de pedagogía, la confiabilidad implica que las agencias acreditadoras deben efectuar la acreditación en base a criterios y procedimientos que no dependan del arbitrio de cada una sino que se entienden y aplican de similar modo por cada una .Esto significa que exista un vínculo entre lo que proponga la ley 20.129, las normativas y los documentos que norman la acreditación, como instancias de objetividad y estabilidad; y la forma con la que las agencias evalúan las carreras de pedagogía. Dicho esto, la pregunta que guía esta investigación es: ¿es confiable el sistema de acreditación de las carreras y programas de pedagogía? Para poder abordar la pregunta anterior, esta investigación estudió los siguientes elementos relevantes para el trabajo de cada agencia: a) La ley 20.129, las normativas y los documentos que norman la acreditación de las pedagogías. Esto para poder saber cómo las agencias deben realizar el proceso de acreditación desde el punto de vista de la normativa vigente. Particularmente, se busca analizar el nivel de precisión de dichos documentos normativos de la acreditación, considerando la claridad y precisión de las procedimientos que aparecen en ellos, para ver si dejan espacio a la libre interpretación de las agencias acreditadoras. 9 b) Los procedimientos concretos que aplica cada agencia, como aproximación a la “práctica de las agencias”, dado que estos describen la forma exacta en la que las actividades de las agencias deben realizarse, y entregan pautas de acción en el trabajo de las agencias (Riquelme, 2005), y por tanto, son un elemento esencial para conocer y entender la forma en la cual éstas llevan a cabo su trabajo: la tarea de acreditación. Concretamente, este trabajo analizó los procedimientos de evaluación de los programas y carreras, en términos de sus clientes, promedio de años de acreditación, duración de los procesos, entre otros (Meckes y Domínguez, 2010). Además, se observó el comité de pares evaluadores, como componente fundamental dentro de los procedimientos de las agencias, esto por la función que realizaen el proceso de acreditación: la evaluación externa de las carreras de pedagogía y la validación del informe de autoevaluación (elaborado por las carreras), entre otros (Meckes y Domínguez, 2010). Específicamente, se investigó el proceso de selección de pares, el análisis del proceso de autoevaluación y el informe que realizan las pedagogías, y la visita y evaluación en terreno de la carrera (CNA, 2008). 2. Objetivo general Evaluar la confiabilidad del sistema de acreditación de carreras de pedagogías para el año 2011. 3. Objetivos específicos a) Describir y evaluar el nivel de precisión y coherencia de la ley y las normativas que norman la acreditación de las carreras de pedagogía. b) Evaluar si los procedimientos de acreditación de las agencias autorizadas son coherentes con lo que se establece en la ley y las normativas que norman la acreditación de las carreras de pedagogía. 10 III. Diseño Metodológico Este trabajo consistió en una aproximación exploratoria a la confiabilidad del sistema de acreditación de las carreras de pedagogía para el año 2011. Se adoptó una aproximación cualitativa a la problemática, pues permite conocer de mejor forma una realidad que todavía es poco explorada, y de este modo, levantar nueva información útil para futuras investigaciones. El análisis cualitativo se realizó, primero, para conocer el marco normativo del proceso de acreditación, es decir, para reconstruir cómo debe ser la acreditación. Segundo, para encontrar información respecto del funcionamiento práctico del proceso de acreditación, en otras palabras, para reconstruir cómo las agencias realizan la acreditación. Por último, se compararon estos dos planos para conocer la relación entre ellos. -Unidad de análisis: Las agencias acreditadoras de la calidad de la educación superior que realizan la acreditación de las carreras y programas de pedagogía. -Unidad de observación: Profesionales de alto cargo técnico y pares evaluadores de la Región Metropolitana de las agencias acreditadoras de la calidad de la educación superior que realizan la acreditación de las carreras y programas de pedagogía; y la ley, las normativas y los documentos que norman la acreditación de las pedagogías. 1. Muestra y criterios de selección El estudio de un lado revisó toda la normativa 1 de la acreditación de carreras de pedagogía y de otro estudió su puesta en práctica en el universo de agencias acreditadoras de carreras de pedagogía. En el plano de las agencias acreditadoras el estudio realizó entrevistas semiestructuradas a: a) Un profesional de alto cargo técnico de cada una de las agencias acreditadoras de pedagogía, que fueron seleccionados según su disponibilidad, partiendo desde el Director Ejecutivo hacia abajo. Finalmente, 3 fueron directores ejecutivos y 1 coordinador de procesos. b) Pares evaluadores, cuya responsabilidad es doble: están a cargo de la 1 Los documentos revisados están en III.2. Análisis de la información. Agencia / Cargo Profesional Par Evaluador Agencia 3 1 4 Agencia 4 1 4 Agencia 5 1 3 Agencia 6 1 4 Total 4 15 Tabla 1: Distribución final de la muestra 11 evaluación externa de las carreras y deben validar el informe de autoevaluación que previamente ha realizado cada carrera. Considerando que un comité se constituye de un mínimo de 3 pares evaluadores, se seleccionaron de modo aleatorio 4 de cada agencia entre los que viven en Santiago, con excepción de una en la que se entrevistaron 3. El listado de ellos se obtuvo de las bases de datos disponibles en las páginas web de cada una de las agencias. En total, por tanto, se realizaron 15 entrevistas pares y 4 a profesionales de alto cargo técnico. 2. Análisis de la información Para conocer el marco normativo de las agencias acreditadoras se realizó un análisis documental de las leyes y las normativas que norman la acreditación. Los documentos analizados fueron: 1) Ley 20.129 (2006) 2) Normas y procedimientos acreditación de pregrado (2010) 3) Criterios de evaluación de carreras de educación (2009) 4) Resolución exenta 165-3 (2007) 5) Operacionalización criterios de evaluación en procesos de acreditación (2010) 6) Sistema de supervisión y seguimiento agencias (2010) 7) Términos de referencia concurso público pares evaluadores (s.f.) 8) Manual de pares evaluadores (2008) 9) Manual para el desarrollo de procesos de autoevaluación. Carreras y programas de pregrado (2008) 10) Criterios generales de evaluación para carreras profesionales (s.f.). Análisis documental, siguiendo a Sandoval (2002) consiste de cinco etapas. Las tres primeras están relacionadas a la búsqueda y selección de documentos. Luego, se efectúa una lectura en profundidad de dichos documentos, y se seleccionan los componentes a analizar (memos) que “registren los patrones, tendencias, convergencias y contradicciones que se vayan descubriendo” (Sandoval, 2002, p. 138). Por último, “se realiza una lectura cruzada y comparativa de los documentos en cuestión, ya no sobre la totalidad del contenido de cada uno, sino sobre los hallazgos previamente realizados, de modo que sea posible construir una síntesis comprensiva total.” (Sandoval, 2002, p.138). Para esta investigación, este análisis consistió en reconstruir un proceso de acreditación de una carrera de pedagogía desde el contacto formal de la carrera o unidad con la agencia hasta la decisión de acreditación final, tal cual lo establece la normativa, poniendo especial énfasis en detectar conflictos (coherencia) o vacíos (imprecisiones) entre los documentos. La información sobre cómo las agencias realizan la acreditación, en términos de los procedimientos de acreditación, se recolectó a partir de las entrevistas semi-estructuradas 2 . Estas fueron analizadas empleando el método de la matriz de vaciado, que consiste en ir situando las respuestas de las entrevistas en distintas categorías previamente definidas, sin dejar de lado la opción de obtener nuevas categoría a partir de la información de las entrevistas. Estas categorías se extrajeron de las etapas que se deben realizar en un proceso de acreditación, las que están definidas en la normativa. Por último, se 2 Véase VIII. Anexo, puntos 1 y 2. 12 compararon todas las categorías entre las agencias, aquellas definidas por la normativa, así como las emergentes. El trabajo de campo se realizó en Santiago a partir del lunes 2 de mayo hasta el martes 7 de junio. Este consistió en entrevistas semi-estructuradas a profesionales de altos cargos técnicos y pares evaluadores de las agencias en cuestión, los que fueron contactados vía telefónica o mediante correo electrónico, y en caso de no obtener respuesta mediante estos medios, se intentó contactarlos personalmente en sus lugares de trabajo. Estas tuvieron una duración aproximada de 50 minutos y se tomó registro del audio cada una. Al mismo tiempo, se dejó en claro que se respetará la confidencialidad de los participantes, y que el fin de esta investigación es estrictamente académico. 13 IV. Resultados A continuación se presentan los resultados de la investigación. Primero el análisis documental los documentos que norman la acreditación, luego la comparación entre la normativa vigente y los procedimientos de las agencias, y por último la comparación entre agencias de los procedimientos no regulados. 1. Normativa para la acreditación de carreras de pedagogía El análisis documental se realizó para reconstruir cómo se efectúa el proceso de acreditación de las carreras de pedagogía según las leyes y normativas vigentes actualmente. El análisis se centró en la observación de los procedimientos que las agencias deben seguir, antes queen los criterios de evaluación que deben utilizar; sin embargo, se describen estos últimos pues son parte fundamental del proceso de acreditación. En esta descripción, se buscó analizar la coherencia 3 entre los contenidos de los documentos y la precisión 4 de estos con respecto a cómo se desarrolla el proceso de acreditación y se toman decisiones en él. Una primera conclusión es que casi todos los documentos revisados se basan exclusivamente en los criterios y procedimientos con los que trabaja la CNA, habiendo pocos documentos que normen explícitamente el funcionamiento de las agencias. Para estas últimas, los criterios y procedimientos de evaluación y funcionamiento deben ser “equivalentes” a los de la CNA. A continuación se describe el marco general para la acreditación de carreras de pedagogía, para luego referirse a las tres etapas fundamentales de los procesos de acreditación de las carreras y programas de pedagogía: Autoevaluación interna de las carreras de pedagogía, Evaluación externa de las carreras de pedagogía y Decisión de acreditación. 1.1. Marco general para la acreditación de carreras de pedagogía El propósito general de la acreditación de pedagogías es garantizar la calidad de éstas. Asimismo, busca dar garantía pública de que quienes están acreditados ofrecen un servicio de calidad. 3 Por coherencia se entiende la no contradicción entre los contenidos establecidos en los documentos. 4 Por precisión se entiende la definición de los procedimientos a realizar y el cómo realizarlos, evitando la libre interpretación de los miembros responsables de realizar este proceso. Por tanto, la imprecisión es la ausencia de cualquiera de estos dos elementos. 14 Los procesos de acreditación de carreras y programas de pregrado, incluidas las carreras de educación parvularia, diferencial, básica y media, son realizados por agencias de acreditación. Para el caso de estas últimas, la acreditación es obligatoria, de lo contrario se les niega el acceso a recursos entregados por el estado, o con su garantía, para el financiamiento de los estudios de sus alumnos. Por esto, deben presentarse a este proceso desde su primer año de funcionamiento. Las agencias que acreditan carreras y programas de pedagogía, deben estar acreditadas por la CNA en el área de pedagogía 5 . Para lograr dicha autorización las agencias deben a) definir sus objetivos de funcionamiento b) en donde el aseguramiento de la calidad debe ser una actividad central, c) estar compuestas por un consejo de acreditación por cada área a la que postulen y d) con mecanismos que aseguren su independencia de juicios de acreditación. Asimismo, e) deben presentar una lista de, al menos, 15 pares evaluadores por área a acreditar; f) idoneidad de recursos tanto humanos como financieros; g) indicar el monto de sus aranceles, los que deben ser públicamente conocidos, h) al igual que las decisiones de acreditación de las carreras y los criterios con los que se realiza la acreditación, los que deben ser, en lo substancial, equivalentes a los de la CNA. Además, i) la acreditación debe constar de, al menos, una instancia de autoevaluación y otra de evaluación externa, las que deben ser replicables y verificables. Por último, las agencias j) deben indicar sus mecanismos de publicidad y transparencia en páginas web actualizadas periódicamente, k) sus métodos de revisión periódica de funcionamiento, e l) indicar los mecanismos de colaboración con las otras agencias. La acreditación de las carreras se realiza a través de una evaluación interna y externa. La primera corresponde a una autoevaluación de la carrera respecto de los criterios públicos de evaluación. La segunda, consiste en una evaluación externa por parte de la agencia que dirige el proceso de acreditación, en la que se pone especial atención en las fortalezas y debilidades detectadas por la misma carrera, y en los procesos de acreditación anterior para quienes se presenten a una reacreditación. La evaluación externa se realiza por pares evaluadores, que son académicos o profesionales reconocidos en el área de pedagogía. Cada agencia tiene la facultad de escoger sus propios pares, siempre y cuando estos cumplan al menos los mismos criterios que establece la CNA para sus pares: a) Tener título profesional y grado académico. b) Tener 10 años de experiencia profesional o académica en el área a acreditar. c) Ser reconocidos en el área, para lo que se considerarán los premios/reconocimiento, cargos desempeñados y sus responsabilidades, publicaciones y proyectos. d) Tener un post-grado en el área de especialidad. e) Estar adscrito a una institución de educación superior o bien a centros u organismos vinculados a la educación superior. Una vez aceptado en una agencia acreditadora, todo par es inscrito en un registro público de pares evaluadores de cada agencia y debe estar dispuesto a participar de todas las instancias de capacitación que fueran necesarias, antes de 5 Las otras áreas en las que se pueden acreditar las agencias son: agropecuaria, artes, arquitectura, ciencias, ciencias sociales, derecho, humanidades, tecnología, salud, administración y comercio. 15 ejercer como tal. La agencia, por su parte, debe ofrecer dichas instancias para los pares que las necesiten. Si bien no se especifican explícitamente los contenidos de dicha capacitación, se puede inferir que los pares deben conocer los procedimientos y criterios con los que funciona la agencia. Así, todo par debe conocer las dimensiones con las que son evaluadas las carreras y programas, estos son el perfil de egreso, las condiciones de operación y la capacidad de autorregulación. Cada una de estas se componen de los siguientes criterios respectivamente: estructura curricular, efectividad del proceso enseñanza-aprendizaje, resultados del proceso de formación y vinculación con el medio; estructura organizacional, administrativa y financiera, recursos humanos, e Infraestructura, apoyo técnico y recursos para la enseñanza; y propósitos e integridad. Tabla 2: Dimensiones y criterios de evaluación para la acreditación de instituciones y carreras En el orden en que se presentan en los documentos, los criterios se definen de la siguiente manera: Por propósitos se entiende la declaración explícita de los mismos, así como su concordancia con la misión de la institución a la cual pertenece. La integridad consiste en demostrar condiciones para avanzar responsablemente al cumplimiento de sus propósitos. En la estructura organizacional, administrativa y financiera, la unidad debe demostrar que dispone de un adecuado sistema de gobierno que le permita evaluar el grado de cumplimiento de sus metas y objetivos. La estructura curricular corresponde a presentar un currículo que esté estructurado en función de su perfil de egreso previamente definido. Los Perfil de egreso Estructura curricular Efectividad del proceso E-A Resultados del proceso de formación Vinculación con el medio Condiciones de operación Estructura organizacional, administrativa y financiera Recursos humanos Infraestructura, apoyo técnico y recursos para la enseñanza Capacidad de autorregulación Propósitos Integridad Fuente: Elaboración propia con datos de la CNA. Dimensión Criterio 16 recursos humanos consisten a la idoneidad académica de los docentes en busca de lograr sus propósitos. La efectividad del proceso de E-A es considerar la situación de ingreso de los alumnos, así como demostrar que sus métodos de evaluación son pertinentes para comprobar el logro de sus propósitos. La unidad también debe dar cuenta de los resultados del proceso de formación a través del seguimiento de sus egresados. Además, a través dela Infraestructura, apoyo técnico y recursos para la enseñanza, la unidad debe proporcionar instalaciones apropiadas, acordes al número de alumnos y demostrar su uso efectivo. Por último, en vinculación con el medio, la carrera debe demostrar vínculos con el ámbito disciplinario y profesional, mediante los cuales sus profesores y alumnos se relacionen con especialistas externos. Dicho todo lo anterior, el primer paso para iniciar el proceso de acreditación, es la solicitud de incorporación al proceso de acreditación de una agencia por parte de la carrera interesada. 1.2. Autoevaluación de las carreras de pedagogía6 Una vez ingresada la solicitud al proceso de acreditación por parte de la agencia, las carreras que desean acreditarse comienzan su proceso de autoevaluación. No obstante, se permite que se presenten al proceso con el informe ya avanzado o finalizado. Este proceso significa que las unidades de pedagogía reúnen y analizan información en base a sus propósitos declarados y en referencia a estándares definidos y aceptados previamente. Estos estándares y criterios de evaluación, mencionados más arriba, son los mismos con los que las agencias acreditadoras realizarán la evaluación externa. Las carreras recolectan tres tipos de información: a) Cualitativa, asociada a insumos, procesos y resultados que los actores que constituyen la unidad estimen relevantes. b) Cuantitativa, que corresponde a magnitudes relacionadas con el funcionamiento de la unidad (p.e. matrícula, notas de los estudiantes, número de profesores y número de libros) c) de opinión, que son los juicios emitidos por los distintos actores de la unidad respecto al desempeño y calidad de la carrera. Con esta se elabora un informe de autoevaluación, el cual recoge los aspectos más relevantes, identifica fortalezas y debilidades de la unidad en cuanto a los criterios de evaluación, y en suma, emite un juicio global con respecto a la calidad de la carrera o programa impartido. Asimismo, se entrega información adicional correspondiente a las Guías de Formularios A, B y C, las que contienen información cualitativa (p.e. áreas de investigación y/o desarrollo académico, política de desarrollo de recurso educacionales, y sistema de selección y admisión de alumnos), de opinión (de estudiantes, egresados, empleadores, académicos y directivos) y cuantitativa (p.e. número de libros en biblioteca, número de salas de clases y puntajes de ingresos de los estudiantes) de la carrera, respectivamente, y que complementan el informe de autoevaluación. 6 Se analizó esta parte del proceso de acreditación más someramente que las otras, ya que depende de las instituciones que buscan acreditarse, y no de las agencias acreditadoras, y por tanto, escapa a los objetivos de nuestra investigación. Sin embargo, se considera como antecedente para la realización de la evaluación externa, la cual sí depende de las agencias acreditadoras. 17 Además, la CNA ha elaborado un formato sugerido del informe de autoevaluación para facilitar la lectura y comprensión de éste, que consta de las siguientes partes: Marco de referencia, Evaluación de la calidad de la formación entregada, conclusiones y plan de mejoramiento, y Anexos. Una vez que la carrera culmina con el Informe de Autoevaluación, ésta se lo entrega a la agencia acreditadora para que lo valide. 1.3. Evaluación externa de las carreras de pedagogía Cuando la agencia recibe el informe de autoevaluación, ésta conforma un comité de pares evaluadores, que debe constar de, al menos, 3 pares especialistas en el área a acreditar. Además, la agencia debe enviar un secretario técnico, que cumple la función de ser el ministro de fe de la visita, y resolver problemas en la aplicación de procesos e interpretación de criterios. El comité de pares debe ser aceptado por la carrera que desea acreditarse, de lo contrario la agencia debe ofrecer otro comité. La carrera en cuestión tiene la facultad de vetar los comités propuestos hasta en tres oportunidades sin expresión de causa. Una vez que el comité de pares evaluadores está conformado y aceptado por la carrera a acreditar, la agencia elige un presidente el cual, se recomienda, sea aquel con más experiencia en el área a acreditar y en procesos de acreditación. Este tiene la tarea de organizar el trabajo del comité, ser su representante, cautelar el cumplimiento de los objetivos de éste, y redactar y hacer entrega a la agencia del “informe de comité de pares”. La primera tarea que los pares deben realizar es revisar y analizar individualmente el informe de autoevaluación y todos los antecedentes que la unidad a acreditar entregó a la agencia. Los pares evaluadores deben analizar si la información presente en el informe de autoevaluación es coherente y suficiente. De este análisis, determinan qué dimensiones presentan debilidades, según el informe de autoevaluación, y/o falta de información, para poner más atención en ella durante la visita a la unidad correspondiente. Además, en el caso de pedagogías en proceso de reacreditación, los pares evaluadores deberían leer el informe de autoevaluación del proceso anterior, para entender la evolución que la carrera ha tenido en el tiempo desde la última acreditación. Luego que los pares han realizado esta revisión de antecedentes, se reúnen previamente a la visita, para aunar criterios sobre los resultados que han encontrado en el análisis, conocer a los otros pares y elaborar los cuestionarios a aplicar en la visita. Estas reuniones preparatorias deben ser tantas como fuesen necesarias para llegar a los acuerdos requeridos, y si fuese necesario pueden ser virtuales. Para efectuar el trabajo anterior, la revisión de antecedentes y las reuniones previas, los pares evaluadores tienen el plazo de 30 días. 18 La visita a la unidad debe durar por lo menos tres días. Ésta consiste en validar el informe de autoevaluación, viendo si hay coherencia entre lo dicho por la unidad y lo que observan los pares evaluadores durante ella, y recolectar información para elaborar un informe de evaluación. La CNA ha dispuesto un programa de visita tipo, en donde se señala lo siguiente: a) En el primer día, los pares evaluadores deben entrevistar al director de carrera, a los académicos, los estudiantes, los empleadores, y a otros actores relevantes de la carrera. Los pares pueden dividirse las entrevistas y reuniones, y también pueden realizar reuniones paralelas para aprovechar mejor el tiempo de visita. b) En el segundo día, los pares evaluadores recorren en conjunto las distintas instalaciones de la carrera, en especial bibliotecas, talleres, terrenos de prácticas, etc. c) En el último día, los pares evaluadores sostienen una reunión con los egresados y con los representantes del medio externo. Se recomienda que cada día los miembros del comité se reúnan para comentar lo que han visto, compartir las conclusiones, etc. Al momento de concluir la visita, los pares evaluadores elaboran un informe de salida, que es oral y que contiene los principales puntos que el comité desea informar a la carrera, con respecto a las fortalezas y debilidades de la carrera que ellos han identificado en su observación. Se recomienda que los pares enfoquen este informe de manera positiva y constructiva. Este informe es importante para la carrera, ya que es una retroalimentación que se le hace. El comité debe dejar en claro que este informe es preliminar y que, por tanto, las conclusiones de éste pueden modificarse levemente al elaborar el informe escrito. Posteriormente, los pares evaluadores realizan el informe escrito de evaluación, para lo cual tienen un plazo de 30 días. Para la elaboración de este informe, los pares evaluadores se reúnen, discuten y llegan a un consenso, para tener una visión única de la realidad de la carrera.Cuando se llega a este consenso, el presidente del comité de pares evaluadores redacta el informe escrito, con los aportes de los demás pares. Este informe debe tener los siguientes puntos principales: a) Evaluación formal acerca de cumplimiento de los criterios, organizando la redacción según las tres dimensiones fundamentales en las que los criterios están agrupados (Perfil de egreso, condiciones de operación y autoevaluación). En este punto, se debe evaluar tanto los criterios como cada una de las dimensiones. b) Análisis del proceso de autoevaluación realizado, considerando su capacidad para identificar fortalezas y debilidades y definir acciones concretas de mejoramiento. c) Recomendaciones acerca de las acciones de mejoramiento esenciales que deben ser realizadas por la carrera, ya sea para obtener la acreditación o para mejorar su labor. Además, la CNA ha elaborado un formato sugerido del informe del comité de pares para facilitar la lectura y comprensión de éste (sin desmedro del estilo propio de cada comité de pares), que consta de las siguientes partes: Breve contexto de la institución, Descripción de la visita, Evaluación por criterios y Síntesis de fortalezas y debilidades de la carrera. 19 1.4. Decisión de acreditación Una vez elaborado el informe de evaluación, el comité de pares lo hace llegar a la agencia para que esta tome la decisión de acreditación. Esto último significa decidir si la pedagogía se acredita o no, y por cuántos años. Específicamente, aquel organismo de la agencia que se encarga de esta tarea es el Consejo de educación, el cual debe tener a lo menos cinco miembros. Éste consejo “deberá contar con idoneidad académica, representatividad e independencia de juicio, tanto respecto de la institución acreditada como de las instancias directivas de las agencias” (Resolución exenta Nº: 165-3, 2007, art.4). Para tomar la decisión de acreditación, el consejo de educación debe basarse en los siguientes antecedentes, que han sido recolectados por la agencia en las dos etapas precedentes: Las conclusiones del informe de autoevaluación, las conclusiones del comité de pares evaluadores con relación al cumplimiento de los criterios de evaluación, la opinión de estos acerca del proceso de autoevaluación llevado a cabo por la carrera a acreditar y el resultado de otros procesos de acreditación a los que la carrera de pedagogía se haya sometido 7 . A su vez, el consejo de educación debe apoyarse en los documentos en donde se explicitan los criterios y normas de evaluación tanto generales como específicos para las carreras de pedagogía, elaborados por la CNA o por la agencia en función de los estándares definidos por la CNA 8 . Para tomar la determinación del tiempo de acreditación, la CNA ha fabricado el documento Operacionalización criterios de evaluación en procesos de acreditación, en el que se definen los tramos de asignación de años de acreditación. Estos son: a) Primer tramo, donde el máximo son tres años de acreditación, b) Segundo tramo, donde el máximo son cinco años de acreditación y c) Tercer tramo, donde el máximo son siete años de acreditación. Esto último podría constituir un elemento que podría dar generar confusión en la definición de los años de acreditación, pues en el Manual de pares evaluadores (2008) se establece que el tiempo de acreditación mínimo que una carrera puede tener es de 2 años, mientras que en los documentos Operacionalización criterios de evaluación en procesos de educación (2010) y Normas y procedimientos acreditación de pregrado (2010) se determina que el primer tramo de acreditación es hasta 3 años, período de tiempo que incluye la posibilidad de acreditar por 1 año una carrera. Si bien los últimos 2 documentos son más reciente, el Manual de pares evaluadores está plenamente vigentes. El consejo de educación decide el tramo de años de acreditación en función de la siguiente escala con la que se evalúa cada uno de los 9 criterios: a) Insuficiente, cuando un criterio o conjunto de criterios no 7 Cabe destacar que estos elementos se han concluido a partir de la lectura del “Manual de pares evaluadores”, elaborado por la CNA el año 2008, pero que están referidos al trabajo que realiza la CNA, no el de las agencias, y por tanto, se tuvo que asumir que también se aplican al trabajo de éstas. No se ha encontrado ningún documento que precise esta información para las agencias. 8 Estos criterios y normas de evaluación, así como los documentos en los cuales se encuentran, se describen en el apartado de los aspectos generales del análisis documental. 20 cubren la amplitud requerida para asegurar la viabilidad y sustentabilidad de la carrera programa o no se orienta al cumplimiento de sus propósitos, lo que significa que no acredita. b) Aceptable, cuando un criterio o conjunto de criterios cubren parcialmente la amplitud requerida para asegurar la viabilidad y sustentabilidad de la carrera programa. Los aspectos cubiertos están orientados al cumplimiento de los propósitos de la carrera o programa, por lo que se ubica en el primer tramo de años de acreditación. c) Adecuado, cuando un criterio o conjunto de criterios cubren los aspectos fundamentales para asegurar la viabilidad y sustentabilidad de la carrera o programa, los cuales están orientados al cumplimiento de sus propósitos, por lo que se ubica en el segundo tramo de años de acreditación. d) Óptimo, cuando un criterio o conjunto de criterios cubren la totalidad de los aspectos requeridos para asegurar la viabilidad y sustentabilidad de la carrera o programa, los cuales están orientados al cumplimiento de sus propósitos, por lo que se ubica en el tercer tramo de años de acreditación 9 . Luego de analizar los antecedentes, el consejo de educación emite el acuerdo de acreditación del programa o carrera, el que contiene la decisión final de acreditación y finaliza el proceso. 9 Para efectuar este análisis, la agencia se apoya en el esquema de operacionalización que la CNA sugiere. Este trabajo no estudió profundamente este esquema, ya que se relaciona con los criterios de evaluación, y este tema va más allá de los objetivos de este trabajo, a pesar que se habló de ellos, pero como parte de los procedimientos de las agencias. “Si la institución evaluada no cumple íntegramente con dichos criterios, pero presenta un nivel de cumplimiento aceptable, la comisión podrá acreditarla por un periodo inferior, de a cuerdo al grado de adecuación a los criterios de evaluación que, a su juicio, está presente” (Ley 20.129, art. 20). 21 Figura 1: Resumen del proceso de acreditación como lo indica la normativa vigente 1.5 Observaciones a la coherencia y precisión de los documentos Sobre la coherencia de los documentos, se pudo observar que prácticamente no existen incoherencias entre los documentos con respecto a las etapas del proceso. Todos los documentos mencionan las mismas dimensiones y criterios de evaluación de carreras; la cantidad mínima de integrantes del comité de pares, así como los días de visita a la carrera, coinciden en todos los documentos; la forma de preparación de las visitas a las instalaciones de la carrera es la misma; los documentos tampoco tienen contradicciones respecto del contenido de los informes de salida y del comité de pares, así como de la conformación del consejo de educación y la revisión de antecedentes para la decisión de acreditación. Sin embargo, como se mencionó más arriba, se observó una contradicción respecto de la cantidad mínima de años de acreditación, pues existen 2 documentos vigentes que dan lugar a una acreditación La carrera presenta una solicitud a alguna agencia para participar de un proceso de acreditaciónLa carrera es aceptada* La carrera incia su proceso de autoevaluación, redacta un informe y se lo envía a la agencia La agencia conforma el comité de pares, el que debe ser aprobado por la carrera Los pares revisan individualmente el informe de autoevaluación Se reune el comité en una reunion preparatoria El comité se reune en una reunión de coordinación pocas horas antes de la visita Se visita la carrera durante 3 días Se lee el informe de salida al finalizar la visita Los pares redactan el informe del comité y lo envían a la agencia Se reúne el consejo de educación para realizar la decisión de acreditación Se redacta el acuerdo de acreditación y se notifica a la carrera y a la CNA Fuente: Elaboración propia con datos de la CNA 22 mínima de 1 año, mientras que otro documento, también vigente, menciona que la acreditación se entrega por un mínimo de 2 años. Si bien es sólo una contradicción, se podría decir que es grave, pues todo el sistema de acreditación chilena está orientado a decidir la acreditación mediante una cantidad de años concreta. Por otro lado, la observación del análisis anterior, permite observar que existen acreditaciones vigentes por 1 año, lo que permite afirmar que es una resolución válida. Sobre la precisión de los documentos, se encontró lo siguiente: Si bien existe un manual de funcionamiento exclusivo para las agencias (Resolución exenta 165-3), este deja aspectos del proceso de acreditación de carreras de pedagogía no regulados. A continuación se mencionan algunas de las imprecisiones observadas en la documentación revisada: a) Se establecen capacitaciones obligatorias, pero no se menciona explícitamente su contenido ni su frecuencia. Las Agencias deben capacitar a todos sus pares evaluadores antes de inscribirlos dentro de un proceso de acreditación, sin embargo la normativa vigente no indica la frecuencia con que deben realizarse, si antes de cada visita, una vez al año, al semestre, etc., así como tampoco se hace referencia a cuál debe ser el contenido de dichas capacitaciones, si orientarse a que los pares conozcan los procedimientos, los criterios, los aspectos de buen trato con los entrevistados, u otros. b) Faltan orientaciones sobre cómo conformar el comité de pares evaluadores en el caso de las agencias. Se exige representatividad en el listado de pares evaluadores de las agencias, pero no para la conformación del comité de pares. Por otro lado, tampoco se establece una definición operativa del criterio de representatividad. Además, en la normativa vigente existe una orientación para la conformación de este, pero que se refiere a la CNA 10 , y por tanto, no hay documentos que establezcan un procedimiento para el caso de las agencias o una orientación sobre el procedimiento de conformación del comité para una acreditación determinada, en especial en los casos de veto. c) No existe claridad acerca de lo que pasa cuando una carrera ya ha vetado tres veces el comité de pares evaluadores que ha propuesto la agencia: ¿se debe apelar a la CNA, al Consejo Nacional de Educación, a la División de Educación Superior del Ministerio de Educación o a alguna otra institución, para la definición del comité de pares definitivo? El proceso que se conoce es válido para el caso de la CNA, en cuyo caso se debe consultar a CNED, pero para el caso de las agencias no hay ningún proceso explícito sobre esto. d) No aparece información acerca de cómo realizar la visita a la unidad en el caso que haya distintas sedes, si los pares evaluadores deben ir juntos o si se separan para ir a cada una de las sedes 10 Este procedimiento consiste en proponer un comité de pares evaluadores y un ministro de fe de la CNA, a la institución en proceso de acreditación. Ésta última tiene la capacidad de vetar el comité propuesto, sin expresión de causa, hasta por tres veces. Después de esto, la CNED impone un comité final. 23 en las que se imparte la carrera. Asimismo tampoco hay indicaciones respecto de cuales o cuantas sedes visitar. e) Falta una explicación más detallada acerca de lo que significa idoneidad académica y representatividad en la conformación del consejo de educación. Esto daría problemas para establecer un criterio general, ya que cada agencia puede entender la idoneidad académica y la representatividad de distinta forma. f) No existe una explicación acerca de cómo el consejo de educación debe considerar los antecedentes. Si estos últimos deben ser utilizados por el consejo para entender la situación de las unidades a acreditar, o si deben ser empleados explícitamente como fundamentos en los que basan su decisión de acreditación. Tampoco se indica cuál de ellos son más importantes o si todos tienen la misma relevancia. g) El documento Operacionalización criterios de evaluación en procesos de acreditación solo orienta la definición de los tramos de años de acreditación que una carrera de pedagogía tendrá, si bien constituye una guía para la asignación de los tramos años de acreditación que debe hacer el consejo de educación. Por ejemplo, gracias a este documento se puede establecer que la pedagogía estará en el segundo tramo de años de acreditación (es decir tendrá más de 3 años de acreditación, pero menos de 5 años), pero no permite definir si dicha pedagogía estará acreditada por 4 o 5 años, y esto es lo fundamental en el contexto de la acreditación en Chile, donde el tiempo de acreditación de una carrera es lo que importa, no el posible tramo donde estaría ese tiempo. h) No existe ningún documento que permita valorar o ponderar cuál de las dimensiones o criterios de evaluación tiene un mayor peso en la decisión de acreditación. Así, no queda claro si, al momento de tomar la decisión de acreditación, hay alguna dimensión o criterio que sea más o menos importante que el resto, o si todos son igualmente importantes. i) La normativa no precisa sobre los mecanismos de colaboración entre las agencias. No hay un pronunciamiento, ni sugerencias, sobre la forma en que las agencias deben colaborar entre sí, por ejemplo, con seminarios sobre acreditación o información sobre el trabajo de sus pares. Tampoco se menciona una frecuencia mínima sobre estas. 24 2. Coherencia entre los procedimientos de la normativa y de las agencias11 12 13 2.1Marco general de la acreditación Para la evaluación de las carreras de pedagogía, todas las agencias consideran las 3 dimensiones y los 9 criterios de evaluación dispuestos en la normativa. No obstante, cada agencia pone atención en diferentes criterios. La Agencia 3, en general, centra su evaluación en el Perfil de Egreso. El profesional señala: “Si tú me preguntas ¿de las tres dimensiones, cuál es la que tiene mayor peso? la uno, lejos” (E.1). En la agencia 4 encontramos diversas opiniones entre los entrevistados. Por un lado se señala que el énfasis está en el Perfil de Egreso y la Estructura Curricular, por otro, se observa con mayor detención los Recursos Humanos, en especial la calidad de los docentes. Incluso un par señala que todos los criterios son igualmente importantes y están interrelacionados. En la agencia 5, tanto el profesional como los pares indican mayoritariamente que todas las dimensiones y criterios son igualmente importantes y están mutuamente relacionadas. En la Agencia 6, el profesional señala que la atención se dirige al plan de mejoramiento señalado en el informe de autoevaluación, sin embargo, los pares indican que lo más relevante a observar es el perfil de egreso, puesto que todas las demás dimensiones y criterios apuntan a él. Respecto de los requisitos en la selección de pares evaluadores, todas las agencias cumplen lo establecido en la normativa vigente, superando largamente el mínimo establecido. Incluso, se menciona que la experienciaen gestión y en otros procesos de acreditación, así como el compromiso con la búsqueda de calidad de las pedagogías, es valorado al momento de la seleccionar de pares. Por otro lado, todas las agencias realizan capacitaciones a sus pares antes de incorporarlos a un proceso formal de acreditación. Sin embargo, hay divergencias entre ellas en la forma que éstas se realizan. La Agencia 3 realiza jornadas de capacitación previa a cada visita del comité, en la que se les remarca a los pares que deben ir sin una actitud de superioridad, deben evitar los juicios de valor y que deben “aplicar el estándar con criterio” (E.1), es decir, contextualizar la evaluación a la realidad propia de la carrera. La Agencia 4, en cambio, ofrece a sus pares 2 o 3 jornadas de capacitación separadas entre sí por 3 meses. En éstas se les indica qué es la acreditación, qué hacen los pares evaluadores y qué se espera de ellos como pares. Además, se les señala que deben evaluar en función de los propósitos de la carrera, y no considerar su visión de cómo debería ser esta. Por su parte, la Agencia 5 realizó una capacitación masiva cuando comenzó a funcionar, en la que se les instruyó a los pares sobre qué es la acreditación, qué 11 Las agencias han tenido estos números porque corresponden a la numeración utilizada por otra investigación más amplia, de la cual esta forma parte. 12 Para más detalles de los criterios comparados revise VIII. Anexo, punto 4. 13 Para más detalles de los procedimientos de cada agencia revise VIII. Anexo, desde el punto 5 hasta el punto 8 25 significa ser par evaluador y qué se espera de su trabajo. Asimismo, se han realizado talleres previos a las visitas en los que se les recuerda a los pares evaluadores los elementos ya mencionados. No obstante lo anterior, uno de los pares entrevistados en esta agencia mencionó que participó de un proceso de acreditación sin haber sido capacitado. Por último, el profesional de la Agencia 6 declara haber realizado 10 capacitaciones a pares, en las que se revisa la normativa, las dimensiones y criterios de evaluación, y se les repite “hasta el cansancio que tienen que ser tipos simpáticos” (E.15). 2.2Evaluación externa de la carrera de pedagogía Los comités de pares en todas las agencias son conformados por 3 pares evaluadores, uno de los cuales las oficia de presidente del comité. Usualmente es designado por la agencia y es aquel par con más experiencia. Sin embargo, en la Agencia 6 se menciona que el presidente también ha sido seleccionado por el propio comité de pares. El presidente está encargado de la redacción y de entregar a la agencia el informe del comité de pares. Asimismo, todas las agencias envían un secretario técnico de visita que acompaña al comité en su visita, coordina la misma y vela porque se cumplan los procedimientos dispuestos por la agencia, tal como lo señala la normativa vigente. En este punto se presentan algunas diferencias: mientras que en la Agencia 5 se menciona que los secretarios no necesariamente son personas estables de la agencia, sino que pueden ser profesionales jóvenes, a los que la agencia entrena en los criterios, y acompañan a los pares según su disponibilidad, en la Agencia 6 se señala que son personas con experiencia que trabajan de manera estable en la agencia. Además, las 4 agencias señalan que los secretarios evalúan, de uno u otro modo, el trabajo de los pares. Mientras las agencias 3 y 4 indican que tienen un listado de pares con el rendimiento de éstos pero no indican cómo obtienen dicha información, las agencias 5 y 6 declaran abiertamente que los secretarios evalúan el trabajo de los pares durante la visita, que son sus “espías” (E.15). Por último, un par de la Agencia 4 menciona que sus visitas, especialmente a regiones, son acompañadas por un coordinador general; el que se encarga de organizar la visita, juntar a los pares, presentarlos frente a las autoridades de la carrera, entregarles la documentación y hacerles las sugerencias del proceso. Respecto del veto del comité de pares, todas las agencias señalan que los comités propuestos pueden ser vetados hasta en 3 ocasiones sin expresión de causa por parte de la carrera, tal como lo indica la normativa. Sin embargo cada agencia tiene sus métodos de selección del comité que reducen los vetos, los que serán descritos más adelante. Por otro lado, tampoco hay diferencias significativas entre lo dispuesto en la normativa y lo realizado por la agencias durante la preparación de la visita. En general, se disponen entre 15 y 30 días para que los pares lean los antecedentes y realicen las reuniones preparatorias. Sin embargo, la Agencia 3 presenta dos diferencias: primero, que los pares deben revisar un formulario de preparación de visita de la 26 agencia, el que contiene posibles preguntas a realizar durante la visita, mientras que en el resto de agencias estas preguntas se elaboran entre los pares durante las reuniones de coordinación o se preparan mediante correo electrónico. Segundo, que las reuniones de preparación no son obligatorias, dado que “en educación los pares están bien preparados” (E.1). Mientras, en la Agencia 4 sostienen que en estas reuniones se pueden repartir los énfasis en la revisión de criterios, por ejemplo, que cada par tome nota solo de una dimensión o criterio, o que todos tomen nota de todas las dimensiones. A pesar de lo anterior, todas las agencias realizan reuniones de coordinación. Con respecto a la realización de la visita, en todas las agencias se cumple este paso tal como está dispuesto en la normativa vigente, en términos del tiempo de la visita, el horario de cada día, las reuniones con los actores principales de la carrera, los recorridos por las instalaciones y las reuniones del comité de pares al final de cada día de visita. Además, los pares evaluadores de las 4 agencias establecieron que los documentos dispuestos por la CNA para este paso son útiles y suficientes. Sin embargo, un par evaluador de la Agencia 6 señala que estos documentos no son útiles para la reacreditación de las carreras. En relación a las percepciones de los entrevistados en torno a esta fase, los pares de la Agencia 3 afirman que el tiempo de visita a las carreras no es suficiente. En la misma lógica, los pares evaluadores de la Agencia 5 dicen que las reuniones no dejan mucho tiempo para interactuar con las personas de la unidad ni con los otros pares. Por otro lado, el profesional de la Agencia 6 sostiene que las reuniones con los distintos actores no son muy confiables, ya que las carreras pueden seleccionar a las personas que más les convenga, y por eso en esta agencia les dicen a los pares que no consideren con mucha seriedad estas reuniones. Este entrevistado resume lo anterior diciendo que “estas son las mentiras que tiene este proceso” (E. 15). Por otro lado, la elaboración del informe de salida se efectúa en las 4 agencias tal como se encuentra establecido en los documentos: es un informe oral, que se realiza al final de la visita, lo lee el presidente del comité, y consiste en decirle a la carrera las fortalezas y las debilidades que el comité de pares encontró en la visita, respecto a los criterios de evaluación. La profesional de alto cargo técnico de la Agencia 6 caracteriza este paso con las siguientes palabras: “En el fondo es como un feedback que se le da a la carrera" (E. 11.). Los pares evaluadores de esta agencia consideran que este paso es incómodo, ya que no existe ningún tipo de interacción con los actores de la unidad, simplemente se lee el informe y no hay preguntas de estos actores Además, un par de la agencia 4 señala que la carrera debería poder tomar registro del informe de salida. En relación a la elaboración del informe del comité de pares, existe concordancia entre la normativa y lo hecho porlas agencias acreditadoras, en términos del contenido y del formato. Sin embargo, en dos agencias hay divergencias con la normativa en aspectos específicos: En la Agencia 3, el presidente del comité de pares redacta el informe, recibiendo los aportes de todos los pares, pero no siempre se exige que los demás integrantes aprueben este informe. Como indica una par: “en estricto rigor, el presidente o 27 presidenta del comité debe enviarle a los pares evaluadores ese informe con el objeto de que uno diga si estoy de acuerdo. Eso no siempre ocurre. Hay informes en donde yo nunca supe lo que termino siendo el informe” (E. 4). Esto contrasta con la normativa vigente, ya que ésta establece que es necesaria una discusión entre los pares evaluadores y que estos lleguen a un consenso para la redacción de este informe. En la Agencia 5, algunos pares establecen que se pueden hacer recomendaciones tanto en la cantidad de años a acreditar como en el plan de mejoramiento de la carrera, y esto se aleja de la normativa, la que establece que los pares sólo pueden hacer recomendaciones con respecto al plan de mejoramiento. 2.3Decisión de acreditación Respecto a la conformación del consejo de educación, en todas las agencias se sigue lo dispuesto por la normativa: son 5 miembros, los cuales se caracterizan por tener idoneidad académica y representatividad. Ahora bien, los profesionales técnicos de alto cargo de las agencias hacen precisiones que permiten entender los criterios anteriores, los cuales no son definidos por la normativa vigente: Primero, la idoneidad académica se relaciona con que los consejeros deben ser profesionales de reconocida trayectoria. Este aspecto es muy relevante, ya que, como afirma el profesional de la Agencia 3 “son profesionales de reconocida trayectoria, y por eso no tenemos más que descansar en su buen juicio (para tomar la decisión de acreditación)” (E. 1). Además, en la Agencia 5, se considera que los consejeros tengan experiencia en el sistema antiguo de acreditación (CNAP), o que sean recomendados por consejeros anteriores. Segundo, la representatividad se entiende de distintas formas en las agencias. Por ejemplo, en la Agencia 4, es importante que haya personas con experiencia en administración, en investigación, y además los miembros deben representar las distintas especialidades de las pedagogías (Educación diferencial, Parvularia, Básica, entre otras). Pero en la Agencia 5 también es importante que los consejeros representen al tipo de instituciones que hay en la educación superior (privadas, públicas, laicas, católicas, regionales). Se puede ver que no existe regularidad en la interpretación de los criterios para seleccionar consejeros. Por otra parte, en relación a los antecedentes relevantes para la decisión de acreditación, tres de las agencias investigadas cumplen con lo definido por la normativa para este paso. Pero en la Agencia 6 se menciona sólo uno de los documentos que la normativa establece: el informe escrito del comité de pares. Además, en la Agencia 5 se entrega información adicional a los consejeros, la cual se refiere al contexto de la carrera, y que elabora el organismo técnico de la agencia a partir de bases públicas: índices, SIES, la página web de la CNA. En esta información de contexto, se sitúa la carrera que se está evaluando en función de las carreras similares en el país, en base al puntaje PSU, a la matrícula que tiene, y a cómo está esta carrera con respecto a su estado de acreditación, en relación a las otras carreras similares. 28 Por último, sobre la decisión de años de acreditación, en 3 de las agencias se utiliza el documento Operacionalización criterios de evaluación en procesos de acreditación para definir los tramos de años, y luego de seleccionado este, los consejeros establecen los años de acreditación en función de su juicio. Sin embargo, el profesional de la Agencia 4 afirma que el documento anterior no es suficiente, ya que hay elementos que no son considerados y se limita el juicio experimentado de los consejeros. Y el profesional de la Agencia 6 también indica que este documento no es óptimo, porque no permite diferenciar, por ejemplo entre 5 y 6 años de acreditación. En la Agencia 5, no se ocupa la rúbrica definida por la CNA, ya que, como afirma la profesional de esta agencia, "Existe una rúbrica que la CNA realizó hace un tiempo atrás y que de hecho está en su página web, pero si se fijan la rúbrica no es un muy buen ejemplo, al menos la que construyeron ellos, porque si se fijan el máximo de años es lo mínimo que se le puede exigir a una institución" (E. 11.). Por su parte, los pares evaluadores de esta agencia afirman que la cantidad de años de acreditación depende de la rigurosidad de cada agencia en la aplicación de los procedimientos y de los estándares, y un par evaluador dice que dos años de acreditación es como no acreditarse, ya que el proceso de preparación para la acreditación demora un año a lo menos. Vale agregar que sobre el mínimo de años de acreditación , en la Agencias 3, 5 y 6 no se permite acreditar por menos de dos años. En cambio, la Agencia 4 si ha acreditado pedagogías por un año. Tabla 3: Tabla resumen de comparación entre la normativa y el funcionamiento de las agencias Criterios Agencia 3 Agencia 4 Agencia 5 Agencia 6 1.1 Aplicación de los criterios de evaluación*** Cumple Cumple Cumple Cumple 1.2 Requisitos para la selección de los pares evaluadores Cumple Cumple Cumple Cumple 1.3. Capacitación de los pares evaluadores*** Cumple Cumple Cumple Cumple 2.1. Integrantes del comité de pares Cumple Cumple Cumple Cumple 2.2. Veto del comité Cumple Cumple Cumple Cumple 2.3. Preparación de la visita Cumple parcialmente Cumple Cumple Cumple 2.4. Realización de la visita Cumple Cumple Cumple Cumple 2.5. Elaboración del informe de salida Cumple Cumple Cumple Cumple 2.6. Elaboración del informe del comité de pares Cumple parcialmente Cumple Cumple parcialmente Cumple 3.1. Conformación del Consejo de educación*** Cumple Cumple Cumple Cumple 3.2. Antecedentes relevantes para la decisión de acreditación Cumple Cumple Cumple Cumple parcialmente 3.3. Años de acreditación*** Cumple Cumple Cumple Cumple Fuente: Elaboración propia con datos de entrevistas y de la CNA 29 Dicho esto, se puede sostener que, en general, las agencias cumplen la normativa vigente. Sin embargo, en la aplicación de los criterios de evaluación, la capacitación a los pares evaluadores, la conformación del consejo de educación y en la decisión de años de acreditación, la normativa es flexible como para que cada agencia la cumpla de la forma que considere más pertinente. 30 3. Procedimientos no regulados por la normativa vigente14 Marco general para la acreditación de carreras de pedagogía Respecto del método de selección de los pares evaluadores, las agencias 3 y 5 utilizan el registro público de los pares evaluadores de instituciones que tiene la CNA, ya que con esto se aseguran que cumplan con los requisitos mínimos solicitados por la CNA. Además, en las agencias 4, 5 y 6 los pares llegan a las agencias por recomendación de otro par que trabajaba en estas. Como establece una par de la Agencia 6, “un profesor de música me invitó a participar, o sea, dio mi nombre digamos (…) él ya estaba en la agencia” (E. 16). Por otro lado, en las agencias 5 y 6, se han reclutado pares por haber participado en procesos de autoevaluación de sus carreras, que han sido evaluadas por estas agencias. A su vez, la Agencia 5 tiene otros modos de contacto y selección que ninguna otra agencia señala: Primero, preguntar al consejo de acreditación, cuando es un área a acreditar donde no se tiene una cantidad adecuada de pares, para que este recomiende académicos o profesionales que puedan serpares evaluadores y que cumplan con los requisitos dispuestos por la normativa. Segundo, consultar las páginas web de instituciones reconocidas, para invitar a los directivos de esas unidades. Tercero, mediante la interacción de la agencias con los pares por otras actividades académicas: “Sucede que yo he trabajado con una de las directoras de la agencia en otros proyectos dentro de la universidad, entonces conocíamos nuestro trabajo, entonces me dijo yo creo que tú me podrías servir por tus antecedentes para que participes como par evaluador” (E.14). Agencia 5. Por su parte, el profesional de la Agencia 6 señala que un criterio de selección es que los pares evaluadores tengan un modo pensar afín a la agencia, que en este caso se refiere a darle prioridad a los contenidos de las especialidades en pedagogía, y restarle importancia a los métodos pedagógicos 15 . En relación a los mecanismos de colaboración entre las agencias, en las agencias 3, 4 y 6, se afirma que no existe una relación formal entre las agencias, sino que más bien hay relaciones informales e irregulares. Con respecto a esto, el profesional de la Agencia 4 indica que tienen buenas relaciones a nivel profesional y personal con otra agencia, y que sus contactos son para intercambiar información, en especial de pares evaluadores. Por otra parte, el profesional de la Agencia 6 señala que se han juntado con otra agencia a discutir sobre la ética de su trabajo. Es notable que el profesional de la Agencia 3 señale que “no existe una agrupación de agencias, una confederación de agencias, ni tampoco instancias regulares de comunicación de agencias (…) no hay una vinculación muy 14 Para más detalle de los procedimientos no regulados de cada agencia, véase VIII. Anexo, desde el punto 9 hasta el punto 12 15 Esta definición de no pedagogicista la da el propio profesional “La mayoría de nuestros pares no es pedagogicista, si uno elige a la gente que quiere (…) uno tiene una agencia que tiene una manera de pensar y una línea” (E. 15). Agencia 6. 31 constante (E.1). Agencia 3. Como el mismo profesional afirma, esto puede tener relación con que la acreditación es un mercado. La Agencia 5 no entregó información al respecto. Por otra parte, en las agencias 3 y 4, se revisan los antecedentes (informe de autoevaluación y anexos) que ha enviado la carrera. Al respecto, se afirma que el organismo técnico observa que en estos antecedentes este la autoevaluación de todos los criterios de evaluación. En caso contrario, se le devuelven estos a la carrera para que complete lo que falta. El profesional de la Agencia 3 indica que este paso es una revisión acerca de la forma del informe, no sobre el contenido. El profesional técnico de la Agencia 4 agrega que hacen un seguimiento del proceso de autoevaluación de la carrera, para ver si el informe de autoevaluación responde a la totalidad de las opiniones de la carrera y si constituye realmente un plan de mejoramiento. No le gusta la visión de que la universidad hace un informe y la agencia responde con otro. En las agencias 5 y 6 no menciona este paso. Evaluación externa de las carreras de pedagogía Con respecto a la conformación del comité de pares evaluadores, las agencias 3 y 5 indican que le solicitan a la carrera un perfil de par evaluador que ésta considere como el más adecuado considerando su realidad, y según este, las agencias le proponen un comité. Además, la Agencia 5 evalúa el desempeño de los pares evaluadores en los procesos de acreditación, viendo si el par revisó todo el material, se ajustó a los criterios de evaluación y respetó la cultura de la institución. Los pares que tuvieron un desempeño óptimo son llamados de nuevo para ser parte de un comité, pero los que tuvieron un mal rendimiento, no se les invita otra vez, aunque permanezcan en el registro de pares de esta agencia. En el mismo sentido, la Agencia 4 conforma los comités de pares en base a un listado de pares evaluadores, en donde se los cataloga según su rendimiento en el análisis del informe de autoevaluación, en entender los criterios de evaluación, y en ser capaces de redactar informes de pares que concuerden con los criterios de evaluación. Lo anterior significa tener un grupo estable de pares para cada área de acreditación. En la Agencia 6, se propone una lista de pares a la carrera, y cuando es rechazada por tres veces, la agencia le pide a ésta 5 personas, para luego investigarlas y elegir 3. En las agencias 4, 5 y 6, es importante que haya heterogeneidad en los comités de pares. Como afirma el profesional de la Agencia 4, “Nosotros siempre tratamos de tener un poquito de diversidad (…) que los curriculum sean diversos” (E.6), es decir, pares con experiencia transversal (administración, recursos humanos), curricular y en investigación. En la Agencia 5, buscan lograr esta diversidad, determinando que siempre irá un par que sea de la carrera a acreditar, pero también habrá pares externos a la unidad. “Yo siempre hago la siguiente comparación (…) ustedes están haciendo su tesis (… ) ustedes saben cómo les va a ir, o muy bien, o muy mal. No están con incertidumbre, porque efectivamente ustedes han hecho un trabajo de la tesis con su profesor guía” (E. 6). Agencia 4. 32 Además, se intenta que vayan pares evaluadores que trabajan en colegios. Por otro lado, en las agencias 4 y 6 es relevante considerar la diversidad de instituciones de educación superior. Al respecto, los pares de la Agencia 6 señalan que en el comité hay personas de instituciones privadas, públicas y de regiones. No hay información sobre este punto en la Agencia 3. En todas las agencias, es fundamental que se considere la realidad de los institutos profesionales al acreditar pedagogías. En las Agencias 3, 5 y 6, se menciona que el comité debe estar integrado por, al menos, un par de un instituto profesional. Mientras que en la Agencia 4, se señala que al menos un par debe tener experiencia con estudiantes con déficits de entrada. En el caso de la visita a sedes distintas, en las agencias 3 y 4 se asiste, a lo menos, a la mitad de las sedes. En la Agencia 3 se selecciona siempre una de las sedes más grandes en términos de alumnos, y se busca abarcar todas las zonas geográficas donde haya sedes. Además se incorpora a la selección alguna sede con características distintas al resto, si es que las hay. En las agencias 4 y 5, se elijen las sedes aleatoriamente. Particularmente, en la Agencia 5, dentro de las sedes seleccionadas, se visita una que éste en óptimas condiciones, en condiciones regulares y en malas condiciones según el informe de autoevaluación. Esta agencia observa con mayor detención la sede en peores condiciones, lo que justifican indicando que las carreras entregan el mismo título para todas las sedes. Además, según lo que se observa en esta sede, se decide si la carrera se acredita o no, y por cuantos años. En la Agencia 6, se va a 3 sedes que estén separadas unas de otras en términos de distancia. Se fijan en que las sedes sean similares en calidad y que haya una interacción entre estas. Sobre los aspectos prácticos de la visita a distintas sedes, en la Agencia 3 se afirma que la duración de ésta depende de cómo se pongan de acuerdo con la carrera y de la cantidad de sedes (en un caso fueron un total de 9 días a lo largo de 3 semanas). A su vez, se da la opción de que los pares realicen la visita por separado, aunque siempre acompañados del secretario técnico de la agencia, y deben reunirse al final de la visita para evaluar en conjunto. En la Agencia 4 se establece que la visita dura entre 3 y 4 días. Asimismo, los pares están juntos al visitar la sede más grande, pero en el último día se dividen para ir a las otras sedes. Precisan, también, que en todas las sedes que se visitan,
Compartir