Vista previa del material en texto
Automatización de procesos académicos y evaluativos en el área de tecnoloǵıa usando modelos de diseño instruccional Luis Fernando Vargas Neira Universidad Nacional de Colombia Facultad de Ingenieŕıa, Ingenieŕıa Eléctrica y Electrónica Bogotá, Colombia 2016 Automatización de procesos académicos y evaluativos en el área de tecnoloǵıa usando modelos de diseño instruccional Luis Fernando Vargas Neira Tesis o trabajo de grado presentada(o) como requisito parcial para optar al t́ıtulo de: Magister en Automatización Industrial Director(a): Ph.D Fredy Andres Olarte Dussan Universidad Nacional de Colombia Facultad de Ingenieŕıa, Ingenieŕıa Eléctrica y Electrónica Bogotá, Colombia 2016 Dedicatoria A mis eternos compañeros de viaje Fanny, Marcos, Dani, Samuel y Daniel Agradecimientos El autor desea expresar su reconocimiento a: 1. Mi familia, por su apoyo constante y acompañamiento a lo largo de mi proceso de formación. 2. Al profesor Andrés Olarte, por su acompañamiento constante, valiosas enseñanzas, compromiso y dedicación en el desarrollo de este trabajo. 3. A la Universidad Nacional de Colombia por brindar los espacios necesarios, para poder desarrollar mi formación profesional. 4. A los docentes del área de ‘Tecnoloǵıa e Informática’ y estudiantes del I.E.D Clemencia Holgúın de Urdaneta aśı como el I.E.D Julio Garavito Armero. ix Resumen Esta tesis presenta el diseño e implementación de una herramienta de evaluación automática basada en software, la cual está enfocada al seguimiento de actividades educativas en el área de ‘Tecnoloǵıa e Informática’ para el ciclo V de educación básica secundaria. Algunas de las problemáticas acerca del proceso evaluativo, presentes en el área tecnológica, son presenta- dos en dos caṕıtulos: en el primero se evidencian las dificultades que los docentes del área tecnológica tienen al momento de desarrollar el proceso evaluativo basado en competencias, y otro encaminado a describir las herramientas evaluativas que permiten hacer un seguimiento del proceso educativo en el estudiante. Para el desarrollo del proceso de automatización implementado fue necesario seleccionar he- rramientas evaluativas que brinden, tanto al docente como al estudiante, información que permita establecer el nivel de competencia que tiene el educando. Se trabajó en el diseño e implementación de pruebas tipo test y rúbricas o matrices de evaluación automáticas. Para ello previamente fue necesario obtener las habilidades que se requeŕıan evaluar en el estu- diante. Dichas habilidades fueron obtenidas al analizar los desempeños de dos de los cuatro componentes propuestos por el Ministerio de Educación Nacional (MEN), los cuales fueron: ‘Apropiación y Uso de la Tecnoloǵıa’ y ‘Solución de Problemas’. De los desempeños pro- puestos en cada una de las componentes elegidas se realizó su respectiva corrección, de tal manera que fuese posible, a partir de ellos, obtener indicadores para medir el nivel. Con los desempeños corregidos y los indicadores creados se diseñaron las matrices de evaluación y los test, los cuales fueron validados y mejorados de tal manera que garantizarán una medición adecuada de los desempeños y a su vez de la competencia. Posterior al proceso de validación aśı como la mejora de los instrumentos, se desarrolló el diseño que permitiese la automatización de las herramientas evaluativas. Para ello se selec- cionó inicialmente el lenguaje de programación a utilizar, para lo cual se tuvo en cuenta experiencias que validan que el software de desarrollo usado fuese multi-plataforma, de libre distribución, que permita la integración con bases de datos y ser interpretado por diversos servidores web. Luego de este proceso se generaron los diversos algoritmos que permiten automatizar los diferentes tipos de preguntas usadas en los test diseñados. Aśı mismo, los procedimientos que permiten, a partir de sus resultados, la generación de informes que per- mitan establecer el nivel que tiene el estudiante en cada habilidad, desempeño y competencia. También se diseñaron los algoritmos que permitan automatizar las rúbricas y la posibilidad de generar diversos tipos de informes a partir de sus resultados. Adicionalmente, y teniendo en cuenta el decreto 1290 del MEN, fue necesario crear un sistema de configuración previa que se ajuste a las necesidades de cada institución. Se tuvieron en cuenta para la configura- ción, aspectos tales como: número de periodos académicos, auto, co y hetero-evaluación, aśı x como la posibilidad de configurar una habilidad, un desempeño o una competencia cuantas veces lo considere el docente. Por último se crearon perfiles de usuario que permitan, tanto al educador como al estudiante, ingresar al sistema y observar la actividades actuales, pen- dientes, aśı como el tipo de evaluación que se aplica. Se aplicaron las pruebas automatizadas a dos grupos piloto, fueron evaluados con la herra- mienta y recibieron información que les permitió, tanto a los estudiantes como educadores, establecer el nivel de competencia que tienen los educandos en cada componente. También se desarrolló un juicio de expertos para validar la herramienta de evaluación automática basada en rúbricas. El instrumento permitió establecer la opinión de educadores alrededor de diver- sos aspectos, entre ellos: caracteŕısticas del usuario y configuración inicial de la plataforma, usabilidad de la herramienta creada y utilidad del software desarrollado. Palabras clave: Automatización, competencias educativas, diseño instruccional, edu- cación tecnológica, instrumentos de evaluación, proceso evaluativo, proceso de en- señanza-aprendizaje, pruebas escritas, rúbricas de evaluación, validación . xi Abstract In this thesis the design and implementation of an automatic evaluation tool based on software is presented, which focus on the tracking of educational activities in the area of “Technology and informatics” in the fifth cycle of the basic high school education. Some of the problems in the evaluation process, within the technological area, are presented in two chapters: at the first chapter the difficulties that professors in the technological area have when they try to perform an evaluation process based on competences, and other aiming to describe the evaluation tools that allow to perform a tracking of the student evaluative process. In order to develop the implemented automatization process, the selection of evaluative tools that provide information, to the teacher as well as the student, that establish the competence level of the student was mandatory. The design and implementation of automatic test type exams, rubrics and matrices was done. In order to do so, previously was necessary to obtain the skills to evaluate. Such skills were obtain through the analysis of the competency from two of the four components proposed by the Ministry of Education (MEN), which were: ‘Appropriation and Use of Technology’ and ‘Solving Problems with Technology’. From the proposed competency in each one of the chosen components, a correction process was held in order to obtain level indicators. With the indicators and the corrected competency the test and evaluation matrices were designed, which were validated and improved to guarantee an adequate measure of the competency and the competence. After the validation process and the improvement of the developed instruments, the design that allows the automatization of the evaluative tools was developed. To do so, the program- ming language was selected based on experiences that validated language characteristics such as free distribution, multiplatform, capable of integration with data bases and web server interpretation. After this process, the algorithms that permit the automatization of the gene- ration of different test questions weredesigned. Likewise, the procedures that extract, from the obtained results, reports that establish the student level in each skill, competency, and competence. Also, the algorithms that automatize the rubric and the generation of different report types were also designed and implemented. Furthermore, and taking into account the decree 1290 from the MEN, a configuration system adjustable to the needs of each institu- tion was created. Some configuration aspects taken into account were: number of academic periods, autoevaluation, coevaluation, and heteroevaluation, and the possibility to configure an individual skill, competency and competence. Ultimately, the user profiles that allow to each educator and student log in into the system and observe the current and pendent acti- vities and the evaluation type were created. The automated test were applied to two pilot groups, which were evaluated with the de- xii veloped tools and receive information that allow, to educators and students, determine the competence level of the students on each component. Also, an expert judgement was per- formed in order to validate the automatic evaluation tool based on rubrics. The instrument allowed to establish the opinion of various educators around different aspects, such as: user characteristics, initial configuration of the platform, usability and utility of the developed software. Contenido Agradecimientos VII Resumen IX Lista de figuras XV Lista de tablas XVI 1. Introducción 1 1.1. Contexto general . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2. Planteamiento del Problema . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.3. Solución Propuesta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.4. Contenido de la Tesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2. Marco de Referencia 7 2.1. Automatización de procesos . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.1.1. Automatización de procesos en la educación . . . . . . . . . . . . . . 8 2.1.2. Automatización del diseño instruccional (D.I) . . . . . . . . . . . . . 9 2.1.3. Automatización del proceso evaluativo . . . . . . . . . . . . . . . . . 12 2.2. Educación tecnológica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.2.1. Educación tecnológica en Colombia . . . . . . . . . . . . . . . . . . . 18 2.3. Resumen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3. Diseño y creación de instrumentos de evaluación 21 3.1. Importancia de la evaluación educativa en el área tecnológica . . . . . . . . . 21 3.1.1. Fases del proceso evaluativo en el área tecnológica . . . . . . . . . . . 21 3.1.2. Evaluación en educación tecnológica en Colombia . . . . . . . . . . . 24 3.2. Requerimientos para automatizar el proceso evaluativo . . . . . . . . . . . . 28 3.3. Definición de desempeños . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 3.4. Diseño de indicadores de evaluación . . . . . . . . . . . . . . . . . . . . . . . 32 3.5. Diseño y validación de instrumentos evaluativos . . . . . . . . . . . . . . . . 33 3.5.1. Rúbricas de evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . 35 3.5.2. Pruebas escritas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.6. Resumen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 xiv Contenido 4. Automatización del proceso evaluativo 49 4.1. Contexto general de la automatización realizada . . . . . . . . . . . . . . . . 49 4.2. Perfiles de usuario necesarios para la herramienta evaluativa . . . . . . . . . 51 4.3. Lenguaje de programación usado . . . . . . . . . . . . . . . . . . . . . . . . 54 4.4. Automatización de evaluación diagnóstico . . . . . . . . . . . . . . . . . . . 55 4.4.1. Requerimientos para automatizar la prueba diagnóstico . . . . . . . . 55 4.4.2. Automatización preguntas abiertas . . . . . . . . . . . . . . . . . . . 58 4.4.3. Automatización preguntas cerradas . . . . . . . . . . . . . . . . . . . 58 4.4.4. Calificación de las pruebas diagnósticas . . . . . . . . . . . . . . . . . 60 4.4.5. Informes de la evaluación diagnóstico . . . . . . . . . . . . . . . . . . 61 4.5. Automatización proceso evaluativo: rúbricas . . . . . . . . . . . . . . . . . . 62 4.5.1. Creación de informes de resultados . . . . . . . . . . . . . . . . . . . 63 4.6. Experiencia de usuario . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 4.7. Resumen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 5. Resultados 68 5.1. Resultados pruebas diagnóstico y sumativa . . . . . . . . . . . . . . . . . . . 68 5.1.1. Metodoloǵıa de aplicación de las pruebas tanto manuales como au- tomáticas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 5.1.2. Comparación entre el uso de pruebas manuales y automáticas . . . . 71 5.1.3. Resultados de los estudiantes en las pruebas . . . . . . . . . . . . . . 73 5.2. Resultados juicio de expertos sobre el diseño de la plataforma para rúbricas . 79 5.2.1. Caracteŕısticas del usuario y configuración inicial de evaluación con rúbricas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 5.2.2. Usabilidad de la plataforma de evaluación con rúbricas . . . . . . . . 81 5.2.3. Utilidad de la plataforma de evaluación con rúbricas . . . . . . . . . 82 5.3. Resumen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 6. Conclusiones y trabajos futuros 85 6.1. Resumen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 6.2. Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 6.3. Aportes originales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 6.4. Trabajos futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 A. Anexo: Desempeños modificados de la serie gúıa #30 90 B. Anexo: Diseño de indicadores 91 C. Anexo: Rúbricas propuestas 92 D. Anexo: Rúbricas de auto y co-evaluación 93 Contenido xv E. Anexo: Pruebas escritas diseñadas 94 F. Anexo: Manual de aplicación pruebas 95 G. Anexo: Experiencia de uso 96 H. Anexo: Juicio de expertos sobre la plataforma de evaluación mediante rúbricas 97 Bibliograf́ıa 98 Lista de Figuras 2-1. Fases del proceso RPU [101] . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2-2. Gráfica de los tiempos por fase para el RPU [101] . . . . . . . . . . . . . . . 11 2-3. Aspectos fundamentales en el diseño curricular [106] . . . . . . . . . . . . . . 17 2-4. Organización de la serie gúıa #30 . . . . . . . . . . . . . . . . . . . . . . . . 19 3-1. Evaluación por competencias . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3-2. Aspectos que se tendrán en cuenta para la automatización . . . . . . . . . . 30 3-3. Pasos utilizados para la construcción de las rúbricas . . . . . . . . . . . . . . 36 3-4. Pasos utilizados para la construcción de las pruebas . . . . . . . . . . . . . . 41 4-1. Herramientas del proceso educativo automatizadas . . . . . . . . . . . . . . . 50 4-2. Configuración del curso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 4-3. Configuración de actividades . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4-4. Algoritmo usado para automatizar preguntas abiertas . . . . . . . . . . . . . 58 4-5. Algoritmo usado para automatizar preguntas cerradas de única respuestas . 59 4-6. Algoritmo usado para automatizar preguntas cerradas de múltiple respuestas 60 4-7. Ejemplo de uso de los diagramas de red . . . . . . . . . . . . . . . . . . . . . 61 4-8. Ejemplo de informe de indicadores . . . . . . . . . . . . . . . . . . . . . . . 65 5-1. Resultado I.E.D Clemencia Holgúın de Urdaneta . . . . . . . . . . . . . . . . 74 5-2. Resultado I.E.D Julio Garavito Armero .. . . . . . . . . . . . . . . . . . . . 75 5-3. Resultados I.E.D Clemencia Holgúın de Urdaneta, prueba ‘Solución de Pro- blemas con Tecnoloǵıa’ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 5-4. Resultados I.E.D Julio Garavito Armero, prueba ‘Solución de Problemas con Tecnoloǵıa’ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 5-5. Resultados juicio de expertos sobre caracteŕısticas de usuario y configuración de la plataforma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 5-6. Resultados juicio de expertos sobre usabilidad de la plataforma de evaluación con rúbricas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 5-7. Resultados juicio de expertos sobre utilidad de la plataforma de evaluación con rúbricas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 Lista de Tablas 3-1. Dificultades encontradas en Colombia para el proceso evaluativo . . . . . . . 27 3-2. Ejemplo de diseño de indicadores . . . . . . . . . . . . . . . . . . . . . . . . 33 3-3. Ejemplo de rúbrica para el desempeño SP01 . . . . . . . . . . . . . . . . . . 38 3-4. Ejemplo de rúbrica de auto-evaluación . . . . . . . . . . . . . . . . . . . . . 40 3-5. Ejemplo de rúbrica de Co-evaluación . . . . . . . . . . . . . . . . . . . . . . 40 3-6. Índice de dificultad (Dif.) y discriminación (Disc.) de la prueba . . . . . . . . 46 3-7. Resultados de confiabilidad (Alfa de Cronbach A.C) por pregunta de la prueba apropiación y uso de la tecnoloǵıa . . . . . . . . . . . . . . . . . . . . . . . . 46 3-8. Resultados del ı́ndice de dificultad (Dif.) y discriminación (Disc.) de la prueba de solución de problemas con tecnoloǵıa . . . . . . . . . . . . . . . . . . . . 47 3-9. Resultados de confiabilidad (Alfa de Cronbach A.C) por pregunta de la prueba de solución de problemas con tecnoloǵıa . . . . . . . . . . . . . . . . . . . . 47 4-1. Ejemplo de re-alimentación por desempeño . . . . . . . . . . . . . . . . . . . 62 5-1. Tiempos promedios de evaluación de cada grupo por cada educador, tiempo en segundos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 5-2. Resultado de evaluación de preguntas con única respuesta, tiempo en segundos 70 5-3. Resultado de evaluación de preguntas con múltiple respuesta, en segundos . 71 5-4. Tabla de Resultados I.E.D Clemencia Holgúın de Urdaneta . . . . . . . . . . 73 5-5. Tabla de Resultados I.E.D Julio Garavito Armero . . . . . . . . . . . . . . . 75 5-6. Tabla de Resultados I.E.D Clemencia Holgúın de Urdaneta, prueba de la componente ‘Solución de Problemas con Tecnoloǵıa’ . . . . . . . . . . . . . . 76 5-7. Tabla de Resultados I.E.D Julio Garavito Armero, prueba de la componente ‘Solución de Problemas con Tecnoloǵıa’ . . . . . . . . . . . . . . . . . . . . . 77 1. Introducción 1.1. Contexto general La ingenieŕıa ha aportado en el fortalecimiento de la formación de estudiantes de básica y media. Desde un enfoque basado en esta área del conocimiento, el proceso educativo ha sido representado como un sistema dinámico, que involucra múltiples entradas y salidas que se pueden resumir en la presentación de conocimientos por parte del docente y la generación de aprendizajes por parte del estudiante. Los resultados en el aprendizaje están influenciados por diversos elementos como: ambientes de aprendizaje, actividades, interacción con dispo- sitivos y una evaluación constante del proceso [40]. Bajo la perspectiva de sistema dinámico se han construido modelos educativos que representan la interacción entre los diferentes ele- mentos descritos, que además pueden utilizarse con fines de mejoramiento en términos del desempeño observado en los estudiantes. Un modelo comúnmente utilizado con este propósi- to es el diseño instruccional. El diseño instruccional es un conjunto de modelos de proceso que segmenta el aprendizaje y la enseñanza de forma sistemática y reflexiva [131]. Los modelos que componen el conjunto siguen diversas fases, aunque tienen en común la planeación, desarrollo, ejecución y evalua- ción. Estos pasos permiten la creación y construcción de las herramientas requeridas para poder fomentar conocimientos en los estudiantes [69]. Aśı mismo, el diseño instruccional, permite el seguimiento en la creación de cursos, materiales educativos y procesos evaluativos [16]. Este seguimiento da como resultado un proceso en el cual existe re-alimentación al pro- ceso educativo, brindando al docente y al estudiante el estado real de los saberes adquiridos. Como resultado se observa una mejoŕıa del curso, en cuánto al material usado, la meto- doloǵıa utilizada y al proceso evaluativo establecido [49]. El proceso evaluativo incorpora herramientas que le dan al estudiante la posibilidad de desarrollar habilidades que puede aplicar en diversos contextos. El proceso evaluativo es una herramienta del diseño instruccional que permite determinar el impacto de las actividades, ambientes y herramientas desarrolladas alrededor de una serie de habilidades a medir [30]. La evaluación no solamente se encarga de otorgar una nota al estudiante, también permite orientar las estrategias seguidas, dar a conocer al estudiante sus aciertos y aspectos a mejorar. Por ello es la base fundamental del proceso educativo y debe ser tenido en cuenta como un eje que permite establecer qué conocimientos y qué habilidades 2 1 Introducción ha alcanzado el estudiante [70]. La evaluación en conjunto con el diseño instruccional, han sido aplicados en diversas áreas de conocimiento en estudiantes de los últimos grados del nivel de secundaria, tales como: geograf́ıa [2] [29] robótica [74], mecatrónica [66], tecnoloǵıa [103], entre otras. En estas ex- periencias se han obtenido mejoras en aspectos formativos y motivacionales, gracias a la incorporación de materiales de software como hardware. Estos trabajos se han caracterizado por brindar al estudiante los recursos necesarios para permitirle comprender un tema de- terminado. Acompañados de refuerzos, ejercicios y prácticas de los conceptos aprendidos de una forma diferente a la clase tradicional. En particular la enseñanza del área de tecnoloǵıa e informática también ha sido intervenida por los procesos de diseño instruccional, acom- pañados de un proceso evaluativo. Ejemplos de este caso se tienen en [7] [15] [32] [74] [41] y [66], en cada uno de ellos, a partir del diseño instruccional, se diseñaron materiales didácticos los cuales potencian algunas habilidades, aśı mismo, son evaluadas haciendo un seguimiento claro y sistemático del nivel de desempeño alcanzado por el estudiante. Estos resultados demuestran que la aplicación del diseño instruccional permite identificar los elementos necesarios para el desarrollo del proceso educativo y evaluativo a nivel de se- cundaria, orientado a mejorar el desempeño en competencias en tecnoloǵıa. La educación en esta área se enfoca en la obtención de competencias como: uso adecuado de la tecnoloǵıa, tecnoloǵıa y sociedad, naturaleza y evolución de la tecnoloǵıa y solución de problemas con tecnoloǵıa. El trabajo colaborativo y el aprendizaje por proyectos han sido utilizados como un mecanismo en la obtención de las competencias mencionadas anteriormente [31]. Por otra parte en Colombia no se tiene una estructuración curricular en el área de tecnoloǵıa e informática, simplemente se tienen una sugerencia de competencias y desempeños para su creación [34]. Esto conlleva a que cada institución tenga un enfoque diferente frente a esta área, generando diversos conceptos alrededor de ella y una amplia variedad de formas de tra- bajo que dependen de factores de la institución tales como: la zona, el énfasis, la formación del docente y los recursos didácticos disponibles. Esta diversidad trae como consecuenciael uso y aplicación de muchos tipos de materiales, metodoloǵıas y formas evaluativas, que usualmente interpretan el área de tecnoloǵıa como el simple uso de diversos programas de computador [24]. El área tecnológica está siendo valorada por pruebas internacionales como la prueba PISA donde se evalúa la componente de ‘solución de problemas’. Dicha prueba se caracteriza por dar un contexto y dentro de este, plantear una situación que el estudiante a partir de sus habilidades debe solucionar [113]. En Colombia aún no está siendo valorada por la prueba SABER, ya que es un área con bastante diversidad, la cual tampoco tiene indicadores que permitan fácilmente diseñar instrumentos para su medición. Por tanto es un área que si 1.2 Planteamiento del Problema 3 bien tiene componentes, competencias y desempeños por grupos de niveles propuestos por el Ministerio de Educación Nacional 1 [34], no es trabajada por los docentes con procesos evaluativos basadas en competencias. Se espera que el área tecnológica desarrolle habilidades y competencias en el estudiante. Esto debido a la necesidad de construir en el educando capacidades que le permitan hacer uso adecuado de las herramientas de las tecnoloǵıas de la información y comunicación (TIC) , aśı como solucionar problemas en diversos contextos a partir de la tecnoloǵıa, haciendo uso de su creatividad y pensamiento cŕıtico [24]. Por ello es fundamental el proceso evaluativo, ya que este informa a los diversos actores del proceso educativo acerca de los alcances obtenidos, las dificultades presentadas y las mejoras a aplicar [31]. El proceso evaluativo dentro del aula brinda al estudiante información acerca del nivel de logro alcanzado, también identifica las dificultades y fortalezas presentes en su proceso de aprendizaje [129]. De igual manera la evaluación es indispensable para el docente, establece el nivel de desempeño de los estudiantes y permite identificar las dificultades que pueden estar presentando. Con estos insumos el educador puede desarrollar una planeación que per- mita mejora al estudiante y con ello obtener un nivel de logro en la competencia establecida [110]. De igual manera presentar una serie de informes donde evidencie el avance de cada estudiante, aśı como las metas educativas obtenidas por el grupo de educandos en general. Todos los elementos mencionados para el desarrollo del proceso evaluativo en el área de tecnoloǵıa, son insumos necesarios para el diseño de cualquier herramienta instruccional au- tomatizada. La planeación, el desarrollo, la ejecución y la evaluación del proceso educativo, son fundamentales si se quieren desarrollar competencias, pero también implican carga de trabajo al docente [23]. Adicionalmente se requiere una formación para la creación de las herramientas basadas en este modelo, la dificultad aumenta debido a que el perfil profesional de los docentes no responde a estas necesidades [31]. Para implementar el enfoque de diseño instruccional, es necesario que los docentes del área de tecnoloǵıa cuenten con un apoyo que reduzca la carga de trabajo que implica su uso. Esta solución puede surgir de la automati- zación de algunas actividades del proceso educativo, como lo son: la evaluación formativa, el seguimiento al desarrollo de proyectos, actividades de clase basadas en gúıas evaluadas por rúbricas, el diseño de mapas conceptuales, entre otros. 1.2. Planteamiento del Problema Se ha identificado el diseño instruccional como un modelo de proceso que brinda los meca- nismos de generación de aprendizajes en el estudiante, a partir de la planeación, desarrollo, 1MEN 4 1 Introducción ejecución y evaluación del proceso educativo [66]. Este modelo permite mayor participación en el aprendizaje por parte del estudiante y un proceso estructurado haćıa una evaluación cuantitativa y cualitativa constante por parte del docente. Permite también la estructuración y creación de ambientes de aprendizaje, a partir de una adecuada planeación de actividades, materiales y procesos evaluativos, brindando condiciones adecuadas para aprender [62]. Es- to genera una organización curricular apropiada y un mejor aprovechamiento del material existente motivando e incentivando al estudiante. En Colombia no existe una estructuración adecuada frente a la creación de herramientas para la generación de competencias en el área de tecnoloǵıa. De igual manera también faltan instrumentos para el seguimiento del proceso educativo y evaluativo basados en el desarrollo de competencias. Aśı mismo no se tienen herramientas que se ajusten a los lineamientos de evaluación dados por el Ministerio de Educación Nacional [79]. En dicho documento se presenta la reglamentación para el proceso de evaluación de aprendizajes en el estudiante. Se mencionan aspectos tales como: crear los propósitos de evaluación, diseño e implementación del sistema institucional de evaluación, aśı mismo sugiere trabajar el proceso educativo te- niendo en cuenta la auto-evaluación, co-evaluación y hetero-evaluación. Este último aspecto no es tenido en cuenta por los docentes del área tecnológica, quienes no poseen herramientas que permitan el seguimiento sobre las habilidades, desempeños y competencias desarrolladas por el estudiantes [24]. Por tanto el proceso educativo no brinda al educando claridad acerca de los logros obtenidos, tampoco de las debilidades que tiene, ni ofrece mecanismo para la mejora de su proceso formativo [28]. Por tanto se hace necesario el diseño de instrumentos evaluativos donde se tenga la posibili- dad de brindar información al estudiante acerca del avance de sus procesos, de los aspectos a mejorar y de las fortalezas que presenta. En esta misma ĺınea se espera que pueda tener una evaluación integral, donde el estudiante se auto-evalúe y pueda evaluar a otros [58]. Asimis- mo la herramienta a diseñar y crear debe tener la posibilidad de establecer los conocimientos previos que tiene el estudiante, lo mismo que permita identificar al final del proceso el ni- vel de cada competencia. Con esta información el docente podrá tener claridad del proceso educativo, donde prime el desarrollo de habilidades, la aplicación de estas en contexto y la solución de problemas dando uso a los conceptos aprendidos. No obstante el aplicar una evaluación basada en competencias, implica mayor carga de tra- bajo al docente que en muchos casos no cuenta con herramientas que le permitan hacer un seguimiento adecuado al proceso educativo. Por tanto es necesario que los docentes del área de tecnoloǵıa, cuenten con un apoyo que pueda llegar a reducir la carga laboral y que a su vez les permita hacer un seguimiento adecuado del proceso evaluativo bajo el enfoque de aprendizaje basado en competencias. De igual forma se tiene la dificultad del número de estudiantes que debe atender, lo que hace que el proceso evaluativo sea dispendioso y 1.3 Solución Propuesta 5 complejo. Esto también hace que en muchas oportunidades por cansancio o desgaste, la eva- luación dada no sea objetiva, generando inconformidad y causando poca motivación en el estudiante [24]. Un posible solución surge desde la automatización del proceso evaluativo mediante la cons- trucción de un sistema software que permita hacer un seguimiento a cada una de las acti- vidades evaluativas y con ello obtener seguimiento del proceso educativo. Las actividades evaluativas deben ser planeadas, estructuradas, ejecutadas y evaluadas de tal manera, que brinden información al docente sobre el avance del proceso en el estudiante y a este último le den información sobre los avances en su proceso de aprendizaje. De tal manera que se evalúe constantemente la labor educativa a través del desempeño del estudiante y su impacto al trabajar con la herramienta. El sistema debe re-alimentar las actividades desarrolladas por el estudiante,informándole acerca de sus posibles falencias y la manera en que puede corre- girlas. De igual manera debe informar al docente de los progresos obtenidos por el estudiante y sus dificultades, con el fin de mantener el proceso en constante mejora. En particular como objeto de estudio de este proyecto se hará su implementación en la institución educativa distrital I.E.D Julio Garavito Armero. Esto debido a que el autor del presente proyecto labora en esta institución y tiene acceso a la información requerida para su implementación y desarrollo. 1.3. Solución Propuesta La evaluación como proceso presenta tres clases fundamentales, las cuales permiten hacer seguimiento al proceso educativo de forma constante y sistemática [129]. Estas etapas son diagnóstico, formativo o de proceso y sumativa, con el objetivo de poder automatizarlas, se desarrolló una herramienta alrededor de cada una de ellas. Para la implementación del sistema se llevaron a cabo los siguientes pasos: 1. Revisión bibliográfica de temáticas relacionadas con educación en tecnoloǵıa basada en competencias, modelos de diseño instruccional usados para esta área del conoci- miento, también acerca de las fases que rigen el proceso educativo y evaluativo, los instrumentos comunes de evaluación, aśı como sus fases de validación. De igual mane- ra se hizo revisión sobre modelos de automatización usados en educación, ambientes de aprendizaje y validación de estas herramientas. 2. Análisis y construcción de los indicadores y habilidades de desempeño para el área de tecnoloǵıa en los niveles de décimo y undécimo. Asimismo diseñar, construir y validar rúbricas de evaluación y pruebas escritas de tipo diagnóstico y sumativo. 6 1 Introducción 3. Diseño y construcción del sistema software basado en modelos instruccionales para evaluar competencias, el cual permita planear, medir habilidades, desempeños y com- petencias en el estudiante. 4. Identificar los parámetros más relevantes en la aplicación del sistema como su facilidad de uso y el impacto sobre la formación de competencias en el estudiante. 1.4. Contenido de la Tesis Este documento describe las diversas fases y etapas para el desarrollo de un sistema au- tomático que permitá basado en un modelo de diseño instruccional, hacer el seguimiento del proceso educativo. A lo largo de los caṕıtulos de este documento, se presentan los elementos considerados para el desarrollo del sistema, se describe la implementación del mismo y se muestran los resultados obtenidos en su aplicación. En el segundo caṕıtulo se realiza una breve descripción acerca del modelo de automatización usado, las principales funciones que lo componen, aśı como el tipo de informe que emite. También en este caṕıtulo se hará una breve descripción sobre la normatividad en el área de tecnoloǵıa en Colombia, los mode- los comúnmente usados en diseño instruccional para esta área, las implicaciones de evaluar basados en competencias, los momentos evaluativos y el diseño de algunos instrumentos de evaluación. En el tercer caṕıtulo, se profundiza en los aspectos más relevantes del problema de la evaluación en tecnoloǵıa, asimismo se hace una descripción del diseño de la solución planteada, los instrumentos de medición y su proceso de validación. En el cuarto caṕıtulo se describe la automatización de cada una de las fases del proceso evaluativo, los algorit- mos usados en cada una de ellas y las partes que lo componen. En el quinto caṕıtulo, se describe la forma como fue validada la plataforma, aśı como los resultados obtenidos en las pruebas desarrolladas en otras instituciones. Finalmente, en el último caṕıtulo se resaltan los resultados más importantes obtenidos tras el desarrollo de este trabajo de investigación y se señalan los elementos que podŕıan considerarse como trabajo futuro. 2. Marco de Referencia En este caṕıtulo se presentará un resumen de los principales conceptos alrededor del modelo de automatización usado para el proceso evaluativo. En primer lugar se hará una breve des- cripción de lo que significa la automatización de procesos y su incidencia en diversos campos. Se hará énfasis en la aplicación de la automatización de procesos en educación como son los ambientes de aprendizaje, el diseño instruccional y la evaluación educativa. Resaltando sus principales caracteŕısticas y las variables que son comúnmente usadas para su automatiza- ción. También en este caṕıtulo se hará una descripción acerca de la educación tecnológica sus principales enfoques y como ellos permiten generar curŕıculos para la enseñanza. También se presentará la normatividad usada para la enseñanza de la tecnoloǵıa en Colombia. 2.1. Automatización de procesos La automatización de procesos permite la ejecución de varios tipos de tareas de forma autóno- ma y controlada [10]. Para poder automatizar un proceso es necesario tener en cuenta una serie de actividades ingenieriles que involucran aspectos tales como: el modelamiento del sis- tema, identificación, estimación, simulación, planeación, toma de decisiones y optimización. Dependiendo del proceso que se quiere automatizar y la información obtenida de este, serán las herramientas de control a utilizar, el procesamiento de las señales, las etapas de filtrado, los tipos de circuitos electrónicos, el protocolo de comunicación, el software, el algoritmo, sus sensores y sus actuadores [97]. Estos elementos en conjunto permiten que el sistema auto- matizado desarrolle la actividad para la cual fue creado. El crecimiento de la automatización en śı misma, ha permitido que este campo del conocimiento tenga aplicación en diversas áreas, entre ellas la manufactura, las comunicaciones, la industria aeroespacial, los procesos industriales, las finanzas y la educación [90]. La automatización en la educación ha sido aplicada en diversos campos, dentro de ellos se destaca la generación de aprendizajes, a partir del diseño de diversos tipos de materiales didácticos, los que permiten al estudiante interactuar con diversos conceptos, aplicar sus saberes en la solución de problemas sencillos, hacer cálculos simples, simular fenómenos, aśı mismo estos sistemas permiten evaluar y analizar el avance que ha tenido el estudiante y dar información acerca del proceso educativo [11] [20] [22] [38] [26] y [135]. También se ha aplica- do la automatización como eje central de la sesión de clase donde se enseñan sus principales conceptos y modelos, en este campo se tienen presentes experiencias como [66] [7] [32] y [41]. 8 2 Marco de Referencia Asimismo la automatización está presente en las aulas como apoyo al desarrollo del proceso educativo a partir del seguimiento de una serie de modelos que permiten su estructuración y aplicación [59]. Estos modelos tienen como base una serie de entradas, las cuales son procesa- das hasta convertirse en un conjunto de salidas deseadas. Con la información obtenida tanto docentes como estudiantes pueden obtener información que permita identificar y establecer los resultados del proceso educativo. 2.1.1. Automatización de procesos en la educación La educación encuentra en la automatización de procesos respuestas a diversas dificultades y problemas que se presentan en el desarrollo de la sesiones de clase. Entre ellos la perdida de motivación del estudiante por aprender, la poca eficacia de los métodos de enseñanza aplicados, el tener materiales y evaluaciones que no estaban acorde con los procesos llevados en el aula. Todo esto redunda en que el proceso de aprendizaje en el estudiante no obteńıa los resultados esperados. Una de las conclusiones iniciales que daban explicación a estos resultados fue que el proceso educativo era no lineal, por tanto no seŕıa fácil rastrear las variables y los procesos que lo afectan. De alĺı nace la necesidadde aplicar la dinámica de sistemas a la educación con modelos que permitan identificar los procesos presentes en el aula, los agentes que intervienen en él y los recursos que se tienen para aplicarlos [40] y [95]. La aplicación de la dinámica de sistemas en el aula dio una perspectiva de la forma como debe crearse el curŕıculo, el diseño de cursos, de materiales y de procesos evaluativos. El ingreso del computador al aula de clases contribuyó a cambiar también la forma como se constrúıan los ambientes de enseñanza y de aprendizaje [51]. Estos ambientes que ini- cialmente eran considerados como espacios f́ısicos, evolucionaron a convertirse en espacios virtuales donde se tiene la posibilidad de interactuar con un objeto de aprendizaje. Estas herramientas buscan presentar conocimientos reales y llevarlos al contexto educativo, aśı el estudiante mediante la interactividad tiene la posibilidad de comprender muchos de los he- chos que se presentan fuera del aula. Para ello se hace necesario que el sistema creado tenga una serie de condiciones para permitir que la experiencia sea lo más cercana a la realidad [104]. La construcción de estos objetos para el aprendizaje implican el desarrollo de software bien para uso off-line o on-line, siendo esta última la más usada hoy. Los sistemas de software implementados on-line no solo permiten generar conocimiento en los estudiantes, permiten hacer un seguimiento de su proceso educativo e interactuar entre los agentes del proceso enseñanza-aprendizaje [55]. La forma de interacción en un sistema basado en software, permitirá a los usuarios tener mayor cercańıa a las diversas opciones disponibles en el sistema. Por tanto el desarrollo de un ambiente de aprendizaje virtual re- quiere tener en cuenta una serie de requerimientos, lo mismo que tener una serie de etapas para su diseño. Los requerimientos dependerán de la plataforma donde se implementará, las 2.1 Automatización de procesos 9 actividades que tendrá, el tipo de aprendizaje que desea lograr, la forma de navegación, la organización del material y la evaluación del aprendizaje [48]. Chiapetts, Desautels y Telier afirman que el uso de sistemas automáticos basados en softwa- re, permiten el desarrollo de las estructuras cognitivas relacionadas con la motivación [74]. Para ello se deben diseñar materiales significativos, de manera que estos logren el desarrollo intelectual del estudiante. Esta caracteŕıstica se logra gracias a la manipulación y explora- ción de diversos objetos, lo que produce impacto en el estudiante. Por esto la creación de un software educativo involucra una serie de procesos para su análisis, desarrollo y ejecución. Lo que hace necesario un modelo que permita configurar el software de tal forma que pue- da cumplir con los objetivos de aprendizaje esperados. De igual forma es necesario que la herramienta software tenga una fase donde se pueda garantizar la medición, supervisión, y evaluación de forma constante del proceso educativo [38]. Esto no solo permite evaluar los alcances del estudiante en las metas educativas, sino que apreciar los alcances del ambiente creado [37]. Es por ello que se diseñan bajo modelos de diseño instruccional, donde se modela el ambiente a partir de una serie de fases fundamentales. En la siguiente sección se hará una descripción acerca del diseño instruccional y sobre la forma como ha sido su automatización. 2.1.2. Automatización del diseño instruccional (D.I) El D.I es un modelo de proceso, en el cual a partir de una necesidad educativa y unas metas de aprendizaje, se crean herramientas educativas y evaluativas suficientes para suplir dicha necesidad. Los modelos de D.I permiten obtener información de un sistema intervenido, me- diante la aplicación de una serie de fases [66] y [12]. Este modelo consiste en cuatro fases fundamentales: planeación, desarrollo, ejecución y evaluación. Cada una de estas fases brinda información acerca del proceso educativo, de esta manera es posible corregir falencias antes de finalizar la intervención. Aplicar estos modelos en el proceso educativo asegura seguimien- to del ambiente de aprendizaje, la creación de cursos o de materiales [16], brinda mejoras en los resultados obtenidos en el proceso [59]. Esto gracias a que es un proceso sistemático y reflexivo donde se traduce el aprendizaje y la instrucción, en un plan para la creación de materiales, actividades, uso de recursos y un proceso evaluativo, para cuantificar el proceso de aprendizaje [128]. Procesos evaluativos basados en competencias son diseñados y desarrollados mediante mo- delos de diseño instruccional, debido a la posibilidad de obtener resultados cualitativos y cuantitativos, hacer seguimiento constante al estudiante y poder re-alimentar el proceso educativo [104] [136] [50] y [131]. Suzuki explica la manera de diseñar herramientas educati- vas, las cuales inician con el análisis de los objetivos de aprendizaje, listar los indicadores a evaluar, seleccionar las herramientas evaluativas adecuadas a utilizar y diseñar los instrumen- tos [131]. La fase de análisis de objetivos de aprendizaje permite determinar las habilidades 10 2 Marco de Referencia que el educando deberá conocer y aplicar al final del proceso educativo. A partir de es- tas habilidades se establecen los indicadores que permitirán la medición de cada habilidad. Esos indicadores deben ser cuantificables, permitiendo al docente establecer con precisión el resultado que espera por parte del estudiante. Con los indicadores establecidos es posible de- terminar las actividades a desarrollar y la herramienta evaluativa adecuada para medirlo [16]. Existen diversos modelos de diseño instruccional clasificados a partir de la estrategia pe- dagógica que se va a utilizar. Algunos de estos modelos están basados en teoŕıa de sistemas, otros en la teoŕıa cognitiva y otros en teoŕıas constructivistas [12]. Pero todos ellos contienen unas fases transversales entre ellas se tienen: análisis, diseño, desarrollo, implementación y evaluación. En la primera fase se busca identificar en el estudiante sus conocimientos previos, aśı como la forma como aprenden más fácil. Es común en esta etapa la aplicación de test de estilos de aprendizaje como los dados por Felder y Silverman [72], aśı mismo es común utilizar herramientas diagnósticas para determinar conceptos previos [120]. En la etapa de diseño se hace la planeación acerca de las competencias y desempeños a trabajar, determi- nando las habilidades a desarrollar, aśı como los indicadores que permitirán medirlos. En la fase de desarrollo se diseñan los instrumentos de evaluación en conjunto con las actividades que estos quieren medir, de tal manera que se ajusten a los indicadores de medición a deter- minar [5]. La fase de ejecución se lleva a cabo al aplicar en el aula cada una de las acciones formativas planteadas, en ella se cuenta con la participación del estudiante. En la fase de evaluación se aplican cada una de las herramientas diseñadas tanto de tipo formativo como evaluativo, se analiza el impacto que cada una de ellas en el estudiante, aśı como su posible mejora para próximas aplicaciones [12]. Una de las ventajas que tienen los modelos de diseño instruccional es permitir avance en el estudiante a pesar de la diferencia en los ritmos de aprendizaje. Esto gracias a que este tipo de modelos generan impacto en el estudiante en cuánto a potenciar sus habilidades, dando uso a diversas tecnoloǵıas TIC como apoyo educativo [59]. A pesar que los estudiantes no aprenden al mismo ritmo, las herramientas creadas a través del modelo permiten generar competencias y habilidades, debido a que se aplican en un contexto [50]. Su creación tiene como base fundamental el seguimiento de los pasos del modelo de diseño utilizado. Estos apoyos educativos, en muchos casos, son de tipo softwarey brindan respuesta rápida a los procesos educativos, con ello el estudiante tiene la posibilidad de corregir errores concep- tuales en el instante [87]. Un caso de este tipo de material es el presentado por [125], esta herramienta presenta los conceptos fundamentales, simulación de algunos modelos y una evaluación. Métodos software usados para automatizar el diseño instruccional El diseño instruccional ha sido automatizado mediante software, gracias al uso de la meto- 2.1 Automatización de procesos 11 doloǵıa Rational Unified Process (RPU), la cual asegura la producción desde sus primeras fases de desarrollo un producto de calidad [80]. Esta metodoloǵıa es un estándar para el di- seño, análisis, implementación y documentación de sistemas orientados a objetos. Este tipo de estándar presenta un enfoque de desarrollo iterativo e incremental, proporciona iteracio- nes tempranas que se enfocan en validar y producir la arquitectura de software y un ciclo de desarrollo inicial que toma la forma de un prototipo ejecutable. Este prototipo va evolu- cionando hasta convertirse en una versión final del proceso instruccional a automatizar [101]. La figura 2-1 presenta los pasos utilizados para aplicar el modelo, en ella se observa la secuencia de las fases usadas. También se aprecia que en medio de cada fase se tiene un punto de revisión, en donde se analiza a la luz de los requerimientos establecidos para cada fase, la calidad del avance obtenido. De esta manera si el avance no logra los mı́nimos esperados es posible re-diseñarlo o desecharlo. Estos puntos de revisión en el caso del software educativo, están basados en unos cuestionarios elaborados, los cuales son revisados luego de la aplicación o revisión de esta fase [80]. Comienzo Elaboración Construcción Transición Arquitectura del ciclo de vida Objetivos del ciclo de vida Capacidades de operacional inicial Producto final Figura 2-1.: Fases del proceso RPU [101] La figura 2-2 evidencia los tiempos que se usan en cada una de las fases. Es posible observar que las etapas iniciales tienen tiempos menores al ser comparados con la fase de construcción. Esto es propio del estándar y su objetivo es garantizar que la fase de construcción solo inicie cuando los controles de las fases previas se cumplan. 1 ra. Fase 2 da. Fase 3 ra. Fase 4 ta. Fase Figura 2-2.: Gráfica de los tiempos por fase para el RPU [101] Existen otras metodoloǵıas para el desarrollo de soluciones software basados en una tenden- cia conocida como ingenieŕıa instruccional [102]. Dentro de ella se tiene la metodoloǵıa MISA 12 2 Marco de Referencia (Método de Ingenieŕıa para Sistemas de Aprendizaje), este método es de tipo integral donde es posible expresar modelos de enseñanza para estructurar materiales educativos, identifica- ción de unidades, aśı como la estimación de costos de producción [80]. El modelo contiene seis fases: definir el problema de enseñanza, proponer soluciones preliminares, arquitectura del I.D, diseño y entrega de materiales instruccionales, construcción y validación de mate- riales, finalizando con el plan de entrega del sistema de aprendizaje. Para cada una de las fases se tienen una serie de entregables los cuales permiten hacer revisión constante de los avances del software implementado. Este tipo de modelos cuentan con la posibilidad de 35 tareas principales, aśı como 150 tareas secundarias, dentro de las que se destacan: buscar, almacenar y recuperar repositorios de objetos de aprendizaje, aśı mismo interactuar con un recurso web, gestionar sus propios repositorios de objetos, compartilos e intercambiarlos por otros [96]. Un aspecto fundamental para el desarrollo de los sistemas presentados es la posibilidad de hacer una evaluación de los avances obtenidos por el estudiante. De igual forma se espera que la evaluación educativa como proceso, también permita al docente identificar el nivel de desempeño obtenido, a partir de analizar las habilidades que evidencia el estudiante [124]. Es por ello que en la siguiente sección se presentará la automatización del proceso evaluativo. Esta sección iniciará con algunas definiciones pedagógicas para luego a partir de ellas poder generar sistemas que la automaticen. 2.1.3. Automatización del proceso evaluativo El proceso educativo implica una serie de actividades que conducen al estudiante a adquirir conocimientos y habilidades. El desarrollo de este proceso indica que existirán unos momentos educativos los cuales deben ser planeados, desarrollados y evaluados en un determinado momento. Esto implica que se tendrá un resultado del proceso, donde es de vital importancia conocer los alcances conceptuales, las habilidades adquiridas y la aplicación de estos por parte del estudiante. Por ello la evaluación no debe ser vista como la obtención de una calificación, sino como un proceso que permite conocer el impacto del desarrollo educativo en el estudiante [29]. Autores como Panagiotis plantean la evaluación, cómo la base fundamental del aprendizaje, la cual genera motivación en el estudiante y le proporciona criterios acerca de su proceso educativo [125]. Aspectos relevantes para automatizar la evaluación Las herramientas educativas han sido automatizadas gracias a la necesidad de tener informa- ción detallada sobre el desempeño del estudiante. Esta información permite a cada uno de los agentes educativos establecer las mejoras que se deben hacer del proceso, conocer el nivel de logro alcanzado [77] y tener un resultado que determine si el estudiante es competente o no en una situación definida. Para ello se han diseñado diversas herramientas automáticas 2.1 Automatización de procesos 13 que permiten hacer seguimiento de las metas o competencias que se quieren desarrollar. Es- tos sistemas basan su desarrollo en una serie de requerimientos, los cuales dependerán del tipo de actividad evaluativa propuesta. De esta manera todos los agentes involucrados en el proceso educativo tendrán información en el momento que se requiera. Existen diversas experiencias en las cuales se han automatizado los procesos evaluativos, uno que es comúnmente usado son las pruebas escritas. Algunos de estos sistemas han si- do desarrollados en espacios web, donde se espera que el estudiante acceda a ellos y pueda responder un cuestionario, el cual brinda re-alimentación del nivel logrado. Estos sistemas en algunos casos van acompañados de algún material previo el cual es evaluado mediante un test. Experiencias como la de [26] [70] [135] y [60] evidencian sistemas donde se tienen pruebas escritas para validar los aprendizajes obtenidos por los estudiantes. Automatización de pruebas escritas En el caso de automatizar pruebas escritas se tienen en cuenta para su diseño y construcción aspectos tales como: el número de preguntas, la puntuación que se otorga a cada una, el orden en que deben aparecer, el tipo de pregunta, el tiempo para su ejecución, las imágenes, v́ıdeos o audios requeridos, entre otros [26]. Con estos requerimientos se generan algoritmos que permiten la calificación de cada pregunta, en este aspecto es posible tener dos casos comunes de preguntas cerradas, con única y con múltiple respuesta. En el primer caso se da una puntuación a la respuesta correcta, la cual se almacena en una variable. En el segundo caso se puede puntuar por cada posible respuesta o sobre el total de la pregunta. Al final del test el sistema suma de forma ponderada los resultados de cada item y entrega el valor obtenido [117], [118] y [38]. Las preguntas abiertas no son una herramienta muy común para automatizar, esto debido a la complejidad del manejo del lenguaje, por tanto son muy pocas las experiencias que las aplican [118]. El sistema llamado ‘MyTest’ [125] evidencia una herramienta evaluativa que utiliza preguntas abiertas, las cuales son evaluadas por el docente. La herramientaevalúa conceptos en matemáticas con preguntas cerradas y abiertas. El algoritmo de evaluación en el caso de las preguntas abiertas es similar al descrito previamente. En el caso de las pregun- tas abiertas en la experiencia el sistema toma la respuesta a mano por parte del estudiante y la re-alimentación es dada por el docente. Este mismo caso se presenta en la herramienta de evaluación de moodle R© y otras plataformas, se tiene la herramienta para ubicar respuestas abiertas, pero estas deben ser evaluadas por el docente [84]. Automatizar las preguntas abiertas implica algoritmos que puedan identificar palabras cla- ves expandidas dentro de un texto [43]. El algoritmo a partir de un conjunto de términos y sus definiciones toma pares de definiciones de un mismo término provenientes de diferentes 14 2 Marco de Referencia fuentes y a partir de estos pares se establecen parejas de palabras que pueden sustituirse unas por otras y cuyo cambio en el significado de las definiciones resulta irrelevante. Este tipo de parejas de palabras forman lo que se ha denominado como par-semántico. La búsqueda de pares-semánticos se realiza sobre todas las definiciones del diccionario ter- minológico. Una vez establecidos todos los pares de palabras, se sustituye la primera palabra por la segunda en todos aquellos pares de definiciones en donde aparecen ambos términos en su texto. Terminada la sustitución, el proceso de búsqueda de pares se repite. El algoritmo termina hasta que ya no se identifican nuevos pares. Al final de cada ciclo, los pares de pa- labras se combinan para formar conjuntos más grandes de palabras, todas ellas relacionadas semánticamente. De esta manera se establece si el escrito desarrollado por el estudiante se acerca a la respuesta correcta o no. Un aspecto fundamental al momento de evaluar con pre- guntas abiertas es que deben ser bien construidas. Si bien no deben llevar al estudiante a la respuesta, es necesario que permita varias opciones de respuesta y den claridad al educando sobre lo que se quiere preguntar [57]. Automatización de rúbricas La rúbrica permite evaluar las habilidades mostradas por el estudiante frente a un determi- nado contexto, evidenciando que el proceso tiene criterios claros de evaluación y a su vez calidad en el diseño de actividades [76]. Estas herramientas han sido automatizadas en pla- taformas virtuales como Moodle. En ellas se tienen una serie de criterios, niveles descriptivos y la asignación de una calificación numérica, todas estas tareas dadas por el docente [86]. Este sistema tiene un método de calificación el cual se basa en un porcentaje, su cálculo es: Gs = ∑N i=1(gi −mini)∑N i=1(maxi −mini) (2-1) Donde gi ∈ N es el número de puntos dado al i-eśımo criterio, mini ∈ N es el número mı́nimo posible de puntos para el i-eśımo criterio, maxi ∈ N es el máximo número posible de puntos para el i-ésimo criterio, y N ∈ N Con este método, moodle hace el cálculo y entrega al estudiante la re-alimentación de su proceso como una calificación. Un método similar utiliza [132], en donde por cada criterio se establece un porcentaje. Por cada nivel de ese criterio se da un valor, en donde el máximo será el porcentaje dado al criterio. Esto permite que el docente tenga la posibilidad de elegir cual atributo le parece más importante al evaluar según su proceso de enseñanza. Adicional- mente brinda al estudiante la posibilidad de hacer una asociación del valor obtenido en la calificación con el nivel en el que se ubica [83]. 2.2 Educación tecnológica 15 2.2. Educación tecnológica La educación tecnológica es reconocida internacionalmente por dar al ciudadano la prepa- ración necesaria para participar de forma activa en la sociedad de hoy. Esta área del cono- cimiento tiene la posibilidad de trabajar en un contexto determinado, brindando diversas posibles soluciones a problemas dentro de ese contexto. Esto gracias a que sus conocimien- tos y habilidades no son como en las demás áreas del conocimiento, en las cuales tienden a ser introspectivas. Sino que la tecnoloǵıa usa conocimiento de diversas áreas y las aprove- cha para generar diversas explicaciones, lo mismo que soluciones a problemas cotidianos [61]. Existen diversas formas en las cuales se ha vinculado la tecnoloǵıa con la educación Gagné [44] se preguntaba acerca de la forma cómo un producto tecnológico pod́ıa por śı mismo generar aprendizaje. De lograr aprendizaje ¿cuál es el v́ınculo y la relación que existe entre ambas? A partir de ello ¿cómo puede la tecnoloǵıa ser contextualizada en el marco educativo? Estas preguntas han generado diversas investigaciones las cuales buscan analizar la tecno- loǵıa y su relación con el aprendizaje desde diversas observaciones, dentro de ellas se tiene: evolución de la sociedad, la educación y su influencia en la selección de teoŕıas del aprendi- zaje y tecnoloǵıas, las teoŕıas de aprendizaje y la tecnoloǵıa situadas de alguna manera en un campo conceptual, lo mismo que las teoŕıas del aprendizaje y la enseñanza conectadas junto con el procesamiento de la información y la adquisición de conocimiento [73]. Estas investigaciones permitieron ver la tecnoloǵıa y su relación con la educación desde diversos enfoques a partir de la relación enseñanza-aprendizaje. Uno de los enfoques en los cuales se enmarca la enseñanza-aprendizaje de la tecnoloǵıa es la tecnoloǵıa como artefacto. Esta perspectiva busca analizar un objeto desde diversos aspectos. Desde su forma f́ısica, su diseño, su estructura, sus modos de funcionamiento y los sistemas que lo componen [137] y [8]. Estas descripciones están limitadas al tipo de artefacto, su nivel de sofisticación y a la complejidad de los sistemas que este contenga. El análisis de los artefactos permite al estudiante comprender principios de diseño, lo mismo que dar un uso adecuado, establecer sus formas de funcionamiento y los mandos que puede tener. El análisis permite entre otros aspectos poder generar modelos conceptuales sobre el artefacto que será analizado, lo que genera una compresión de los diferentes sistemas que lo componen [92] y [114]. De igual forma el análisis de los artefactos prima también el comprender aspectos de ı́ndole económico, en los cuales se espera que se pueda comprender el costo de producción y la forma como se comercializa. Lo que brinda un panorama sobre los artefactos no solo desde el punto de vista de relación de saberes, sino la posibilidad de ver que su producción y comercialización es un proceso [138]. La tecnoloǵıa como conocimiento es otro de los enfoques en los que se enmarca la relación de la tecnoloǵıa con la educación. En esta perspectiva la tecnoloǵıa es vista como objeto de 16 2 Marco de Referencia estudio, donde es analizada como aspecto filosófico. De tal manera que sus conceptos son aplicables al desarrollo de nuevas tecnoloǵıas. Si se considerará el comprender un artefacto desde él es posible generar diversos conocimientos, dentro de ellos: los f́ısicos, la naturale- za funcional y los principios que lo rigen. Este enfoque tiende a hacer más descriptivo en términos de conocimientos aplicados, teniendo en cuenta un alto grado de cientificidad en las descripciones de cualquier sistema presente en una tecnoloǵıa [137]. Este enfoque brinda al estudiante la posibilidad de comprender el objeto por los conceptos transversales de diversas áreas del conocimiento presentes en un sistema tecnológico. De tal manera que a partir de ellas el educando, pueda dar explicaciones con un nivel de argumentación acorde al concepto cient́ıfico presente en el artefacto [138]. El tercer enfoque la tecnoloǵıa educativa es enmarcada en el desarrollo de actividades. En este enfoque se busca el desarrollo de pensamiento tecnológico a partir de los procesos pre- sentes en el desarrollo tecnológico. Se tiene tres tipos deprocesos fundamentales: diseño, el hacer y utilizar y la apreciación de procesos. Arceo y Diaz Barriga explican, los dos primeros procesos son más espećıficos del pensamiento técnico e ingenieril, mientras el tercero debe ser aprendido por todos los ciudadanos [137]. Este tercer enfoque espera que el ciudadano tenga conocimiento acerca de los recursos energéticos, del mecanizado y automatización. No como conceptos complejos sino como explicaciones del proceso propio de diseño, ensamble y construcción de algún artefacto [138]. El último enfoque vincula la tecnoloǵıa con conceptos éticos y de valores, donde prima la reflexión alrededor del uso de la tecnoloǵıa en diversos entornos. Asimismo se hace un análisis de los sistemas tecnológicos y su impacto en el ser humano, la sociedad y el ambiente [137]. A partir de esos impactos surgen cuatro v́ıas sobre los cuales se trabaja este enfoque, la primera de ellas es la relación que el ser humano tiene frente a una determinada tecnoloǵıa hasta incluso ser esencial para la vida [92]. La tecnoloǵıa como aspecto que hace lectura de la realidad, a partir de la cual observa necesidades y da una adecuada interpretación de ellas. La tercer v́ıa analiza como la tecnoloǵıa altera la realidad de una sociedad. Ejemplos de este aspecto son los video juegos, la ciencia ficción y la incursión del computador en el hogar. La última v́ıa de este enfoque examina la forma como la tecnoloǵıa y sus avances generan influencia en el ser humano. 2.2 Educación tecnológica 17 Enseñanza la tecnología Objetivos: basados en promover el desarrollo de competencias Métodos de enseñanza basados en competencias Contenidos propios del enfoque tecnológico a seguir Sociedad Escuela Individuo Insumos para el proceso educativo Actores presentes en el proceso educativo Figura 2-3.: Aspectos fundamentales en el diseño curricular [106] A partir de estos enfoques se han generado diversos curŕıculos que permiten la enseñanza de la tecnoloǵıa. Estos curŕıculos proponen la enseñanza de la tecnoloǵıa basados en competen- cias, por tanto buscan que el estudiante evidencie a partir de habilidades saberes tecnológicos, también conocidos como las competencias del siglo XXI. La figura 2-3 evidencia la forma como [106] propone que se debe analizar el desarrollo curricular para estas competencias. En la figura es posible observar que es de suma importancia para esos desarrollos curricu- lares tener unas metas claras acerca de lo que se quiere enseñar en tecnoloǵıa. Asimismo determinar el método de enseñanza, las actividades a desarrollar aśı como los ambientes de aprendizaje que contribuyan a desarrollar habilidades tecnológicas en el estudiante. De igual forma se deben plantear los conceptos o contenidos que se espera abordar durante el tiempo que se aplique el curŕıculo. De otro lado se tienen los actores que estarán acompañando el proceso educativo [6]. La sociedad a partir de analizar como la tecnoloǵıa se integra a ella, las necesidades que la tecnoloǵıa ha suplido y puede llegar a suplir. También se tendrá a la es- cuela como eje fundamental del desarrollo curricular, generando una planeación que permita desarrollar habilidades en el estudiante, teniendo en cuenta conocimientos, procesos educa- tivos, la evaluación y factores éticos que involucran la interacción con otros. Por último en la figura vemos al individuo que representa al estudiante, quien debe apropiar las habilidades tecnológicas, solucionar problemas a partir de sus conocimientos y habilidades, desarrollar conceptos tecnológicos que involucren el entorno, adoptar una postura cŕıtica frente al uso de la tecnoloǵıa y aplicar valores como la ética al trabajar con otros [134]. 18 2 Marco de Referencia 2.2.1. Educación tecnológica en Colombia En Colombia el área de tecnoloǵıa e informática se ha concebido con la idea fundamental de generar ciudadanos que estén en capacidad de satisfacer necesidades, transformar el entorno y la naturaleza, a partir de un uso adecuado de los recursos que se tienen a disposición [34]. También se espera el desarrollo de actitudes cient́ıficas y tecnológicas con la idea fundamental de enfrentar y comprender las transformaciones que desde ellas se producen, lo que contri- buye a proporcionar conocimientos y destrezas que aportan a la solución de problemas, aśı como la localización de contextos espećıficos que la vida cotidiana exige [24]. Para ello se han generado una serie de poĺıticas públicas desde el Ministerio de Educación Nacional (MEN) y las secretarias de educación, en las cuales se pretende motivar a los niños y niñas, los jóvenes y docentes a interactuar con las tecnoloǵıas a partir de relaciones que se establecen entre seres humanos al solucionar problemas. El MEN en el año 2008 publica el documento Serie Gúıa # 30: ser competente en tecnoloǵıa: una necesidad para el desarrollo [34]. En este documento inicia con un marco conceptual dentro del cual se establece una serie de definiciones básicas alrededor del significado de la tecnoloǵıa. Después, presenta las diversas relaciones que tiene la tecnoloǵıa con la evolución del hombre, por ejemplo con la ciencia, la técnica, la ética, el desarrollo y evolución de la sociedad, entre otros aspectos. Finalmente, describe un conjunto de lineamientos que per- miten organizar los procesos educativos y evaluativos en el aula mediante una organización jerárquica de componentes, competencias y desempeños para cada uno de los grupos de gra- dos de educación básica y media. La figura 2-4 presenta la organización del documento, se pueden observar en el nivel superior los componentes que conforman la base fundamental del documento: Naturaleza y evolución de la tecnoloǵıa, Apropiación y uso de la tecnoloǵıa, Solución de problemas con tecnoloǵıa y Tecnoloǵıa y sociedad. En el segundo nivel, para cada uno de los componentes se asocia una competencia que se espera sea desarrollada dentro del proceso formativo de los estudiantes en cada grupo de niveles educativos, para cada una de las competencias. En un tercer nivel, se ubica el conjunto de desempeños asociados a cada competencia con el fin de medir el nivel de alcance de la competencia por parte de los estudiantes. 2.3 Resumen 19 Primero y tercero Cuarto y quinto Sexto y séptimo Octavo y noveno Décimo y once Apropiación y uso de tecnología Solución de problemas con tecnología Tecnología y sociedad Naturaleza y evolución de la tecnología Competencia Competencia Competencia Competencia Desempeño 1 ..... Desempeño 1 ..... Desempeño 1 ..... Desempeño 1 ..... Figura 2-4.: Organización de la serie gúıa #30 La Secretaria de Educación Distrital (SED Bogotá) ha generado una serie de documentos que buscan el desarrollo de curŕıculos alrededor del área tecnológica, lo mismo que el diseño de ambientes de aprendizaje y materiales didácticos [52] y [56]. Estos documentos esperan que los curŕıculos diseñados por las instituciones educativas, permitan un fortalecimiento de la cultura cient́ıfica, donde los contenidos fundamentales se integren con su puesta en práctica a partir de ejercicios sencillos. También evidencian la necesidad de diseñar espacios educativos donde la interacción con los conceptos lleven al estudiante a comprender diversas teoŕıas. Con esto se espera que el estudiante logre un nivel de apropiación adecuado y pueda llevar algunos conceptos teóricos a la práctica. Un ejemplo de este tipo de diseño fue desa- rrollado por [32], quien evidencia que una organización curricular adecuada, acompañado de un ambiente de aprendizaje bien construido permite el fortalecer los aprendizajes y la comprensión de conocimientos cient́ıficos. 2.3. Resumen En este caṕıtulo se presentaron los conceptos básicos necesarios para el desarrollo del pre- sente trabajo: en primer lugarse mostró la descripción del proceso de automatización y su aplicación en el diseño de ambientes de aprendizaje, diseño instruccional y el proceso evalua- tivo en educación. Luego se presentó la educación en tecnoloǵıa y los diversos enfoques los 20 2 Marco de Referencia cuales son la base fundamental de las competencias del siglo XXI. Se describió el panorama normativo de la educación en tecnoloǵıa en Colombia, tanto desde el MEN como desde la SED Bogotá. En el siguiente caṕıtulo se hará una descripción acerca del problema de la evaluación en el contexto educativo, teniendo en cuenta los instrumentos necesarios y su validación, aśı como los esquemas automáticos que se pueden implementar. 3. Diseño y creación de instrumentos de evaluación En este caṕıtulo se tendrá una ampliación del problema de la evaluación educativa basada en competencias. En Colombia esta evaluación en el área de tecnoloǵıa es poco común, esto debido a diversos factores que se tienen en las aulas. Algunos de esos factores serán descritos en las secciones que conforman el caṕıtulo. También a partir de los problemas descritos se seleccionarán los requerimientos a automatizar, dando una explicación de qué son y qué caracteŕısticas tienen. Además se explicará la forma cómo se crearon los instrumentos para los diversos momentos de la evaluación. Se contará el proceso de diseño, creación y validación tanto de las rúbricas como de las pruebas escritas. 3.1. Importancia de la evaluación educativa en el área tecnológica La evaluación por competencias para el área tecnológica es fundamental, debido a que per- mite identificar y establecer las habilidades que el estudiante alcanza en las competencias propuestas por el educador dentro del proceso educativo [119]. Esa evaluación como proceso permite al docente hacer un seguimiento constante al avance logrado por el educando en los desempeños propuestos en cada competencia. También el proceso evaluativo le brinda la posibilidad de hacer estimación de la naturaleza, calidad, habilidad y mejoras que presenta el estudiante dentro del proceso educativo [121]. El proceso evaluativo comúnmente presenta tres momentos fundamentales: diagnóstico, de proceso y sumativo. El docente debe desa- rrollar por cada curso, una serie de actividades que conduzcan a evidenciar los resultados obtenidos por los estudiantes [110]. El desarrollo de las actividades evaluativas hace necesario que el docente planeé cada momento evaluativo a partir del mismo instante en que inicia el proceso educativo. 3.1.1. Fases del proceso evaluativo en el área tecnológica El proceso educativo inicia comúnmente con una actividad evaluativa de tipo diagnóstico, en la cual el docente busca establecer el nivel que tienen cada uno de los grupos en los desem- peños que se planearon trabajar en el periodo académico. Esta evaluación debe estar basada 22 3 Diseño y creación de instrumentos de evaluación en la forma como el estudiante soluciona problemas particulares y espećıficos, en un entorno dado [28]. Por tanto la evaluación diagnóstica debe presentar instrucciones adecuadas que permitan establecer las habilidades que el estudiante utilizaŕıa frente a un caso determinado. Comúnmente se utilizan para este tipo de evaluación pruebas escritas con diversos tipos de preguntas, donde el docente establece el nivel de habilidad de cada estudiante en cada una de las habilidades [9]. La unión de algunas destrezas, permiten al docente establecer el nivel obtenido en el desempeño y de igual manera al analizar varios desempeños es posible determinar el nivel de competencia. Luego de establecer el nivel de competencia de cada estudiante, el siguiente paso es de- terminar las actividades educativas que desarrollará en cada periodo académico por cada nivel educativo [110]. El docente a partir de los desempeños a desarrollar y sus respectivas habilidades, hace la planeación de cada actividad que permita evidenciar destrezas en el estudiante. Es necesario aclarar que estas destrezas deben ser medibles, espećıficas, claras y dar información de lo que se espera que haga el estudiante durante un periodo académico [88]. Esas habilidades que se evaluarán en el estudiante están ligadas a unos aprendizajes que se espera el educando evidencie, por tanto el docente puede, a partir de instrumentos de evaluación, identificar esas destrezas mediante diarios de clase, portafolios, libretas de clase, entre otras [29]. La re-alimentación al estudiante sobre su proceso educativo es un aspecto fundamental en este momento evaluativo, ya que esto permite establecer los posibles aspectos a mejorar [119]. El último espacio evaluativo es el sumativo donde el docente revisa el proceso de enseñanza- aprendizaje planteado y sus resultados [29]. En este tipo de evaluación se espera observar si existió o no mejora en los desempeños evaluados inicialmente en los estudiantes, lo mis- mo que información al docente sobre la estrategia usada [64]. Existen diversas herramientas comúnmente usadas para aplicar este tipo de momento evaluativo entre ellas el portafolio, mapas conceptuales o mentales y las evaluaciones escritas tipo test. Está última es muy usado y aplica una evaluación similar o la misma que se planteó al comienzo del proceso educativo. Esto con la finalidad de establecer si existió o no mejora en los desempeños trabajados luego del proceso enseñaza-aprendizaje [119]. De esta manera el docente puede revisar su proceso de enseñanza y el estudiante establecer si obtuvo o no destrezas en una determinada com- petencia. Un aspecto adicional con mucha relevancia en procesos evaluativos por competencias es la auto-evalución y co-evaluación por parte de los estudiantes. Estos aspectos son fundamenta- les dentro del proceso evaluativo, en el caso de la auto-evaluación esta permite al estudiante desarrollar capacidades y habilidades para evaluar su propio proceso de aprendizaje. La co-evaluación contribuye a la generación de la auto-regulación del aprendizaje, reforzando la reflexión sobre fortalezas, debilidades y deficiencias [28]. Es fundamental el involucrar al 3.1 Importancia de la evaluación educativa en el área tecnológica 23 estudiante dentro del proceso evaluativo, el educando es el centro del proceso y la opinión sobre su desempeño y el del otro permite evidenciar los alcances que considera ha obtenido en el proceso. También es quién evidencia los desempeños, muestra las actitudes y utiliza las habilidades en diversas situaciones dadas, por tanto su visión es importante dentro del proceso evaluativo [54]. El proceso evaluativo basado en competencias descrito por [9] [28] [64] [88] [119] y [134] puede ser modelado como un sistema de entrada salida como el mostrado en la figura 3-1. Este sistema permite observar unas entradas, las cuales pueden ser modificadas por el proceso evaluativo y entregan a la salidas del proceso unos resultados que afectan tanto al estudiante como a la planeación desarrollada por el docente. Es posible observar que se tienen tres entradas conformadas por aspectos fundamentales: las competencias que se quieren medir, los estudiantes como eje fundamental del proceso de aprendizaje y el docente como quien diseña los aspectos del proceso de enseñanza. Evaluación diagnóstica Evaluación de proceso Evaluación Sumativa Momentos evaluativos Auto-evaluación Co-evaluación Hetero-evaluación Formas de evaluación Competencias Objetivos de aprendizaje Perfil del estudiantes y docentes Usan diversos instrumentos de medición Entradas del sistema Proceso de evaluación Nivel de competencia del estudiante Nivel de competencia de cada grupo Nivel de impacto de las estrategias usadas Salidas del sistema Figura 3-1.: Evaluación por competencias Las competencias también denominadas objetivos de aprendizaje, se describen mediante