traduccion psicometria 41 paginas

Vista previa del material en texto

ITC Guidelines on Computer/Internet based Testing
Introducción
Desde hace pocos años atrás la Comision internacional de Test (ITC) ha adoptado una política de promoción de las buenas practicas en la publicación de test’s donde los esfuerzos de coordinación internacional son muy importantes. Por ejemplo la ITC ha ideado líneas guía para promover buenas practicas en adaptaciones de test’s (Hambleton, 1994; Van de Vijver & Hambleton, 1996) y buenas practicas en el uso de test`s( ITC, 2001). En los años recientes el desarrollo rápido y sustancial ha ocurrido en la disposición de ordenadores independientes y test`s resueltos en computadores y bases de datos almacenadas en internet. Por lo tanto como el mercado para test`s similares incrementa y como la sofisticación tecnológica de los productos incrementa el asunto esta asociado con el resultado del desarrollo, la distribución, el uso y el dialogo de test`s similares y la valoración de instrumentos incrementará en importancia. En respuesta a estp la ITC y su consejo decidieron invertir en un programa de investigación, consulta y conferencias diseñados para elaborar directrices internacionalmente acordadas específicamente dirigidas las pruebas hechas en ordenadores con bases de datos en internet. 
Apuntes y objetivos
El último apunte de este proyecto tiene como objetivo :
• producir un conjunto de directrices internacionalmente desarrolladas y reconocidas que ponen de relieve cuestiones sobre las buenas prácticas basadas en ordenador (CBT) y pruebas en internet.
• sensibilizar a todas las partes interesadas en el proceso de pruebas de lo que constituye la buena práctica. 
El objetivo no era 'inventar' nuevas directrices, sino reunir temas comunes que recorren las directrices existentes, códigos de prácticas, normas, trabajos de investigación y otras fuentes y para crear una estructura coherente dentro de la cual estas directrices se puedan utilizar y entender. Se han hecho contribuciones a las directrices por especialistas en psicología y en pruebas educacionales, incluyendo diseñadores de pruebas, desarrolladores de pruebas, publicadores de pruebas y usuarios de pruebas extraídos de un número determinado de países.
Además, el objetivo es concentrarse en la elaboración de directrices específicas a CBT/Internet basado en pruebas, no para reiterar cuestiones de buenas prácticas en la prueba en general. Claramente, cualquier forma de examen y la evaluación debería ajustarse a temas de buena práctica independientemente del método de presentación. Estas pautas están diseñadas para complementar las directrices de la ITC sobre el uso de pruebas (2001), con un enfoque específico en la prueba de TBC/Internet.
Desarrollo de líneas guía(directrices)
Con pautas como ITC anteriores, las presentes Directrices pueden verse como un punto de referencia contra el cual pueden compararse las normas locales existentes o como una base para la elaboración de normas locales aplicables o códigos de práctica. La ventaja de estas directrices es que las normas locales pueden compararse con estas establecer pautas para cobertura y consistencia internacional con el fin de promover la consistencia a través de las fronteras nacionales y para propósitos de “benchmarking.”
El proyecto comenzó con una búsqueda bibliográfica inicial y revisión de referencias existentes y las directrices sobre pruebas de basados en computadoras e Internet de un número de diferentes países (véase el apéndice). Varias de estas fuentes fueron especialmente influyentes en el desarrollo de las directrices:
• Bartram, D. (2001). The impact of the Internet on testing: Issues that need to
be addressed by a Code of Good Practice. Internal report for SHL Group plc.
• British Psychological Society Psychological Testing Centre (2002) Guidelines
for the Development and Use of Computer-based Assessments.
• European Federation of Psychologists’ Associations (EFPA). Review model
for the description and evaluation of psychological tests (Bartram, 2002).
• British Standards’ Institute (BSI). BS 7988 (2001). A code of practice for the
use of information technology for the delivery of assessments.
• Association of Test Publishers (ATP). Guidelines for Computer Based Testing
The next stage involved a small scale survey of United Kingdom test publishers,
examining good practice issues in Internet-delivered personality tests in the UK.
Further examples of good practice were highlighted from this survey.
Como un tercer método de obtención de información relevante, la ITC organizó una conferencia en Winchester, Inglaterra en junio de 2002 en pruebas basadas en computadoras e Internet. El objetivo de esta conferencia era reunir a personas que trabajan en el campo de la informática y pruebas a través de Internet (por ejemplo, los profesionales, académicos, líderes de la industria y otros) de todo el mundo y para extraer cuestiones y temas que informarían a las directrices comunes. En total 254 delegados de 21 paises asistieron a la Conferencia. La conferencia estuvo compuesta de talleres, presentaciones y documentos temáticos, carteles y simposios sobre una serie de temas relacionados con pruebas de computadora/Internet. Una revisión del material de esta conferencia, junto con datos de la encuesta pequeña y revisión de la literatura proporcionó la base para el desarrollo del proyecto de directrices para consulta inicial (versión 0.3).
Cuatro temas generales surgieron el proceso de recopilación de información y éstos formaron la base de la elaboración de un borrador inicial. Los cuatro temas fueron:
· Tecnología – asegurando que se consideran los aspectos técnicos del CBT/Internet pruebas, especialmente en relación con el hardware y software necesarios para ejecutar la prueba.
· Calidad – garantizando y asegurando la calidad de la prueba y prueba de materiales y asegurar buenas prácticas en todo el proceso de pruebas.
· Control – control de la entrega de pruebas, exámenes autenticación y práctica previa.
· Seguridad – seguridad de los materiales de prueba, privacidad, protección de datos y confidencialidad
Estos cuatro temas consideraron cuestiones de un alto nivel y se descomponen en directrices específicas de segundo nivel. Un conjunto de ejemplos de tercer nivel de acompañamiento se provee a las partes interesadas pertinentes. Las directrices están escritas principalmente para proporcionar asesoramiento a los desarrolladores de la prueba, prueba de editores y los usuarios de prueba; Sin embargo, estas directrices también proporcionan una fuente de referencia útil para escritores. Teniendo en cuenta estos usos previstos, las directrices están estructuradas en tres (principales actores) por tres matriz (nivel de pauta).
Siguiendo el desarrollo del proyecto inicial por los dos autores, se llevó a cabo un proceso de consulta. Esto implicó la circulación del borrador a todos aquellos que asistieron a la Conferencia de ITC en Winchester y todos aquellos en la lista de circulación ITC para pruebas internacionales. Una copia también fue colocada en el sitio web ITC. Se recibieron comentarios sobre el proyecto de directrices y versión 0.4 producido. Además publicó el informe de la APA Internet tarea era fuerza (Naglieri et al, 2004). Esto fue revisado en detalle y se incluyeron elementos del informe en su versión 0.5 el proyecto de directrices. Otro ciclo de consulta se implementó incluyendo aquellos previamente contacto en el primer proceso de consulta. Se completaron las revisiones y modificaciones de este proceso y se produjo la versión 0.6 del proyecto de directrices. Revisiones finales fueron producidas y el borrador final fue ideado (1.0). Las pautas actuales (versión 2005) fueron lanzadas oficialmente en julio de 2005 tras la aprobación por el Consejo de ITC.
Linea de tiempo 
A continuación muestra la línea de tiempo en el diseño y elaboración de las directrices. 
1. terminación del primer borrador y primera consulta iniciada: marzo de 2003.
2. Final del primer período de consulta: junio de 2003. 
3. Revisiones completadasy segunda consulta iniciada: febrero de 2004.
4. Final del segundo período de consulta: abril de 2004. 
5. Un simposio sobre CBT e Internet la prueba en el Congreso Internacional de psicología en Beijing, agosto de 2004. 
6. Definitivo para su aprobación: enero de 2005. 
7. Desarrollo de la versión final y diseño de la versión basada en web: marzo de 2005. 
8. Aprobación por Consejo de ITC y formal lanzamiento: julio de 2005
Alcances
Como con las directrices internacionales de uso de pruebas (2001), el uso actual de las directrices, los términos 'prueba' y 'pruebas' en su más amplio sentido e incluyen pruebas psicológicas y educativas utilizadas en clínica, salud, ajustes de evaluación educativa y laboral y organizativa. Pruebas de CBT/Internet deben disponerse de pruebas de idoneidad técnica para su propósito. 
Estas pautas están dirigidas a ensayos realizados tanto en línea como en la pantalla (offline), que puede incluir pruebas mediante el uso de un CD-ROM o un ejecutable de descarga. El documento completamente informatizado incluye orientaciones para la prueba y el lector puede remitirse a los elementos más adecuados. Por ejemplo, sólo el envío y puntuación de evaluación pueden ser documentos informáticos (el resto papel y lápiz). Ante esto, los lineamientos relacionados con la seguridad y confidencialidad de los datos son importantes.
En general, las directrices pueden aplicar altas apuestas y evaluación de apuestas bajas. Por ejemplo, apuestas altas evaluaciones son aquellos en los que una tercera persona requiere los resultados de la prueba para su uso en el proceso de tomar una decisión importante sobre un exámenes (pruebas de altas apuestas también pueden incluir aquellos que se utilizan para tomar decisiones acerca de los grupos de examinandos, como una clase de escuela). Por el contrario, un ejemplo de evaluación de apuestas bajas sería donde el examinado obtiene la información para su propio interés. Que algunas pautas se aplican sólo a altas apuestas entornos de pruebas se pone de manifiesto en el propio texto.
Otra vez, a menos que se especifique lo contrario en el texto, se deben considerar los lineamientos presentados, aquí se aplica a un número de modos de supervisión y a través de una serie de escenarios de pruebas. Se consideran cuatro modos de administración de la prueba: 
• Modo abierto – donde no hay ninguna supervisión humana directa de la sesión de evaluación y por lo tanto, no existe ningún medio de autenticar la identidad de los exámenes. Las pruebas basadas en Internet sin ningún requisito para el registro pueden ser consideradas un ejemplo de esta modalidad de administración. 
• Modo de control – sin supervisión humana directa de la sesión de evaluación pero la prueba está disponible sólo a examinantes conocidos. Pruebas de Internet requerirá examinantes para obtener un nombre de usuario de inicio de sesión y una contraseña. Estos a menudo están diseñados para operar sobre una base sólo una vez.
• Modo Supervisado – donde hay un nivel de supervisión humana directa sobre las condiciones de examen. En este modo identidad exámenes puede ser autenticado. Para las pruebas de Internet esto requeriría un administrador inicie sesión en un candidato y confirmar que la prueba había sido administrada y completada correctamente.
• Modo Gestionado – donde hay un alto nivel de control sobre el ambiente de examen y supervisión humana. En TCC pruebas normalmente esto se logra mediante el uso de dedicado probando centros, donde hay un alto nivel de control de acceso, seguridad, la calificación de la prueba personal de la administración y la calidad y especificaciones técnicas de los equipos de ensayo.
Aplicación de estas normas debe ser considerado en términos de su relevancia para una gama de escenarios de pruebas (por ejemplo, las directrices son más apropiadas para el más alto riesgo formas de escenarios). Por ejemplo, en relación con la prueba de configuración organizacional y trabajo, se pueden identificar cuatro escenarios principales:
• orientación – desarrollo personal o la orientación profesional, donde los exámenes requiere la información para su propio interés. 
• Reclutamiento de preselección – cubre evaluación llevada a cabo por personas hasta el punto en el cual ellos son tamizados para formar una lista restringida.
• Post tamizar selección – evaluaciones sobre un conjunto conocido de los solicitantes que han sido previamente preseleccionados
• evaluación post Alquiler – las evaluaciones realizadas a los empleados de una organización por o en nombre de la organización. Esto puede ser de cualquier evaluación de apuestas altas o bajas. 
Además en contextos clínicos/consejería, cuatro escenarios podrían ser:
• Desarrollo y toma de decisiones con fines – donde la información es utilizada por el cliente y el terapeuta/orientador para identificar aspectos de funcionamiento que requieren el desarrollo o para tomar decisiones (por ejemplo, evaluación de carrera). 
• Proyección – para obtener una imagen global del funcionamiento del cliente. 
• Fines diagnósticos – identificar específicas fortalezas y debilidades que pueden guiar la planificación de la intervención. 
• Planificación y evaluación de intervención/terapia. 
Cada uno de ellos plantea diversas cuestiones relativas a seguridad y control.
¿Para quienes son las directrices?
Las directrices se aplican al uso de Internet y TCC pruebas en la práctica profesional. Así se dirigen hacia los usuarios de prueba que: 
• comprar y utilizar pruebas de CBT/Internet
• es responsable de seleccionar las pruebas y determinar el uso que se pondrán las pruebas
• administrar, marcar o interpretar pruebas (supervisores/procuradores) 
• asesorar a otros en base a resultados de la prueba (por ejemplo, consultores de reclutamiento, asesores educativos y profesionales, educativas y psicólogos escolares, entrenadores, los planificadores de la sucesión, consultores de desarrollo organizacional) 
• se refieren al proceso de presentación de informes de resultados y proporcionar retroalimentación a las personas que han sido probados.
Estas directrices abordan específicamente otros tres principales actores en el proceso de pruebas: 
• desarrolladores de pruebas CBT y Internet 
• editores de Internet y TCC pruebas (que también puede ser implicado en el desarrollo de la prueba)
• consultores para desarrolladores y editores de pruebas TCC y Internet.
Las directrices son pertinentes a los demás implicados en el uso de la TCC y pruebas de Internet. Estos incluyen:
• los implicados en la formación de los usuarios de prueba
• quienes toman pruebas y sus correspondientes otros (por ejemplo, los padres, cónyuges, parejas) 
• organismos profesionales y otras asociaciones con un interés en el uso de psicológicas y educativas pruebas 
• decisores políticos y legisladores.
Factores del contexto
Las directrices pretenden aplicarse internacionalmente. Muchos factores pueden afectar cómo estándares pueden ser gestionados y realizados en la práctica. Estos factores contextuales tienen que ser consideradas a nivel local al interpretar estas pautas y definir lo significaría en la práctica dentro de cualquier ajuste en particular.
Los factores que deben considerarse para convertir las directrices en normas específicas incluyen: 
• diferencias sociales, políticos, institucionales, lingüística y cultural entre ajustes de evaluación; 
• leyes, estatutos, política y otra documentación legal que se ocupa de cuestiones de pruebas;
• leyes aplicables a los distintos países a través de cual prueba datos pueden pasar o ser almacenados;
• las directrices nacionales existentes y las normas de rendimiento establecidas por sociedades psicológicas profesionales y asociaciones
• las diferencias relativas al individuo versus evaluación de grupo
• las diferencias relacionadas con el ajuste de prueba (evaluación educativa, clínica, laboral y otro) 
• Quiénes son los destinatarios primarios de resultados de la prueba (por ejemplo, los examinandos, sus padres o tutor, el desarrolladorde la prueba, un empleador u otro tercero)
• las diferencias relativas a la utilización de los resultados (por ejemplo, para la toma de decisiones, como en el examen de selección, o para proporcionar información para apoyar la orientación o asesoramiento)
• las variaciones en el grado en que oportunidad existe para la exactitud de las interpretaciones a revisarse a la luz información posterior y modificado si es necesario.
Directrices
1. Dar debida atención a problemas tecnológicos en Internet pruebas y basados en computadoras (CBT)	………………………………………..….......................................................................1
a. Considerar los requisitos de hardware y software…………….................................................................1
b. Tener en cuenta la robustez de la prueba CBT/Internet............................................................................2
c. Tenga en cuenta aspectos de factores humanos en la presentación de material vía computadoras o el Internet……………………………………………………………………………………………………..4
d. Considerar ajustes razonables para las características técnicas de la prueba para los candidatos con discapacidades...............................................................................................................................................5
e. Proporcionar ayuda, información y elementos de práctica de la prueba CBT/Internet……………………………………………………………………….....................................6
2. Atender problemas de calidad en Internet y TCC pruebas……………………………………………………........................................................8
a. Asegúrese de conocimientos, competencias y uso apropiado de la prueba CBT/Internet……………………………………………………………………………….........................8
b. Considerar las cualidades psicométricas de la prueba CBT/Internet.........................................................9
c. Donde se ha desarrollado la prueba CBT/Internet de una versión de lápiz y papel, asegúrese de que hay pruebas de equivalencia.............................................................................................................................. 11
d. Anotar y analizar CBT/Internet resultados de las pruebas con precisión .............................................. 12
e. Interpretar adecuadamente los resultados y proporcionar retroalimentación apropiada..................................................................................................................................................... 13
f. Considerar la igualdad de acceso para todos los grupos......................................................................... 15
3. Proporcionar los niveles adecuados de control sobre Internet y TCC pruebas........................17
a. Detalle el nivel de control sobre las condiciones de prueba................................................................... 17
b. Detalle el control apropiado sobre la supervisión de las pruebas........................................................... 18
c. Dar debida consideración a controlar la exposición práctica y elemento previa.................................... 19
d. Dar consideración a control sobre autenticidad de exámenes y trampas................................................ 19
4. Hacer disposiciones apropiadas para la seguridad y salvaguardar la privacidad en Internet y TCC pruebas................................................................................................................................22
a. Tener en cuenta la seguridad de los materiales de prueba..................................................................... 22
b. Considerar la seguridad de datos de exámenes transferidos sobre el Internet....................................... 23
c. Mantener la confidencialidad de los resultados de exámenes................................................................ 24
Referencias ............................................................................................................................................... 26
Apendice Documentos consultados en la elaboración de las directrices ITC con pruebas hechas en computadoras y con bases de datos en internet ......................................................................................... 27
Glosario...................................................................................................................................................... 29