Vista previa del material en texto
Universidad Nacional de Cañete – UNDC 2022. Todos los derechos reservados UNIVERSIDAD NACIONAL DE CAÑETE Código: F-M01.01-VPA-008 Revisión: 02 Fecha de aprobación: 22/03/2022 ESTADÍSTICA II SEMANA 13 VALIDACIÓN Y CONFIABILIDAD DE INSTRUMENTOS DE INVESTIGACIÓN SEMESTRE ACADÉMICO 2022-II Teoría y Ejercicios VALIDACIÓN Y CONFIABILIDAD DE INSTRUMENTOS DE INVESTIGACIÓN 1. Validación de instrumentos de investigación Fundamentos conceptuales Tipos de validación (cualitativos y cuantitativos) Constructo y validez de contenido a través de juicio de experto 2. Confiabilidad de los instrumentos de investigación Prueba piloto 10% Confiabilidad estadística (Alfa de Crombach) Validez Grado en que un instrumento mide la variable que pretende medir. ( Hernández Sampieri). Generalmente, se identifica tres tipos de validez: validez de contenido, validez predictiva o criterial y validez de constructo. Confiabilidad Grado en que un instrumento produce resultados consistentes y coherentes. (Hernández Sampieri). Grado en que su aplicación repetida al mismo sujeto u objeto produce iguales resultados. Fiabilidad: precisión en los datos que mide el instrumento, hace referencia a la repetibilidad. Para garantizar a fiabilidad de un instrumento se pueden utilizar los siguientes métodos: fiabilidad como estabilidad, esto es, por repetición(test, pretest); fiabilidad como equivalencia, mediante la utilización de formas paralelas; fiabilidad por consistencia, a través de dos mitades o la interior relación de los elementos del Instrumento. Se expresa siempre mediante algún coeficiente de correlación como, por ejemplo, el coeficiente alfa de Cronbach. Validación y confiabilidad de instrumentos de investigación Validez de los Instrumentos (Generalmente son las mismas personas que lo aplicarán o investigadores con experiencia) que calificarán el instrumento y recomendarán modificaciones al diseño Se aplica a personas que se asemejan a la población objeto o forman parte de ella. Al término del procedimiento de validación se cuenta ya con un instrumento técnico que presenta la mayor posibilidad de lograr los resultados previstos por los investigadores. ¿Cómo se seleccionan los expertos y que instrumentos se aplican? Hay que preguntarse ¿A quiénes se pueden considerar expertos? Se define como experto el individuo en sí, grupo de personas u organizaciones capaces de ofrecer valoraciones conclusivas de un problema en cuestión y hacer recomendaciones respecto a sus momentos fundamentales con un máximo de competencia (Valdés, 1999) (Moráguez, 2001). Como requisito básico para la selección de un experto, que éste tenga experiencia en el tema a consultar, dado por sus años de trabajo (praxis), y que puedan ser complementados con: conocimientos teóricos adquiridos a través de las distintas formas de superación, y grado académico o científico alcanzado en relación al tema, entre otros. Validez de los Instrumentos Medir lo que se preende medir Es el grado en que un instrumento logra medir lo que pretende medir. Medir lo que el investigador desea medir La validez de un instrumento está dada por el grado en que el instrumento mide lo que el investigador desea medir. Grado de una prueba para lograr los objetivos El grado hasta donde una prueba es capaz de lograr dos objetivos. El primero de ellos es el de hacer predicciones acerca de un individuo examinado, el segundo se refiere a la capacidad que tiene la prueba para describirlo. Tipos de validez de los instrumentos La validez de contenido está determinada por el grado en que un instrumento refleja el dominio específico de lo que se mide. Este tipo de validez es de gran importancia en pruebas de rendimiento. Para que un instrumento de medición tenga validez de contenido, debe contener, representados, a todos los ítems del dominio de contenido de las variables que se van a medir. Esto es, los ítems seleccionados, para incluir en la prueba, deben ser una muestra representativa del universo de ítems asociados a la variable que se desea medir. Grado en que un instrumento refleja un dominio específico de contenido de lo que se mide. Ej: Una prueba de operaciones aritméticas no tendrá validez de contenido si incluye sólo problemas de adición y excluye problemas de sustracción, multiplicación y división (Validez de juicio de experto). La validez de criterio establece la validez de un instrumento de medición comparándolo con algún criterio externo. En la validez de criterio se desea saber hasta qué punto podemos generalizar (o predecir) hacia el éxito que habrá de tener una persona en la ejecución de una tarea diferente. Se establece al validar un instrumento de medición al compararlo con algún criterio externo que pretende medir lo mismo. Validez concurrente y la validez predictiva. En las campañas electorales, los sondeos se comparan con los resultados finales de las elecciones. Ej: Coeficiente de Contingencias, Spearman – Brow, Pearson, Alfa de Cronbach y la Técnica Aiken. Validez de concepto o Constructo El criterio se fija en el presente. Los resultados del instrumento se correlacionan con el criterio en el mismo momento del tiempo. Si un instrumento tiene validez de concepto, las puntuaciones alcanzadas por los sujetos varían de acuerdo con las predicciones inherentes a la teoría subyacente al concepto. El proceso de validación de un constructo está vinculado con la teoría. No es posible llevar a cabo la validación de constructo, a menos que exista un marco teórico que soporte a la variable en relación con otras variables. Debe explicar el modelo teórico empírico que subyace a la variable de interés. Ej: El Análisis de Factores y Análisis de Cofactores, el Análisis de Covarianza. Validez total. La validez total de una prueba es la suma de la validez de contenido, la validez de criterio y la validez de concepto. Entre mayor evidencia de validez de contenido, validez de criterio y validez de concepto tenga un instrumento de medición; éste se acerca más a representar la variable o variables que pretende medir. Validez de contenido Validez de criterio Factores que afectan la validez La improvisación Utilización de instrumentos desarrollados en el extranjero que no han sido validados en nuestro contexto: cultura y tiempo. El instrumento es inadecuado para las personas a las que se les aplica: no es empático. Las condiciones en que se aplica el instrumento. Instrumentos demasiado largos o tediosos. Aspectos mecánicos. Utilización de instrumentos desarrollados en el extranjero que no han sido validados en nuestro contexto: cultura y tiempo. El instrumento es inadecuado para las personas a las que se les aplica: no es empático. Requisitos de un buen instrumento de medición Confiabilidad de instrumentos de investigación Confiabilidad Es la capacidad de un instrumento para obtener mediciones que correspondan a la realidad que se pretende conocer. Un instrumento es confiable si los datos que se obtienen son iguales al ser aplicados a los mismos sujetos en dos ocasiones diferentes. Un instrumento de medición adecuado es aquel que registra datos observables que representan verdaderamente a los conceptos o variables que el investigador tienen en mente. En investigaciones de campo, tanto cuantitativas como cualitativas, el investigador requiere utilizar instrumentos apropiados para que la información que obtenga sea válida. Por tal motivo necesita, entonces, contar con instrumentos que, en primer lugar, sean confiables, es decir que al replicarlos en condiciones similares arrojen aproximadamente los mismos resultados. En segundo lugar, deben ser válidos, esto es, que efectivamente midan lo que el investigador pretende medir. Confiabilidad de instrumentos de investigación Según Chávez (2007), la confiabilidad es “el grado de congruencia con que se realiza la medición de una variable “. Según Hernández y Col(2012), la “confiabilidad de un instrumento de medición se determina mediante diversas técnicas, y se refieren al grado en la cual se aplica, repetida al mismo sujeto produce iguales resultados”. Para ello, se constato que si se aplica es confiable el instrumento. Se aplicará la formula Kurder-Richardson, utilizando para ello la siguiente fórmula: KR-20 = Coeficiente de Confiabilidad (Kuder Richardson) k = Número de ítems que contiene el instrumento. Vt: Varianza total de la prueba. Sp.q = Sumatoria de la varianza individual de los ítemes. p = TRC / N; Total respuesta correcta entre número de sujetos q = 1 – p En base al resultado, con un valor de 0,84, se considera el instrumento como altamente confiable. k ) (1 p.q ) k 1 Vt KR 20 ( Validación y confiabilidad de instrumentos de investigación Confiabilidad La confiabilidad de un instrumento de medición hace referencia al grado en que la aplicación repetida del instrumento, a un mismo objeto o sujeto, produzca iguales resultados. Cuanto más confiable sea un instrumento, más similares serán los resultados obtenidos en varias aplicaciones de éste. Para estudiar el concepto de confiabilidad, asumiremos que el valor observado de una característica, por aplicación del instrumento, se puede explicar por el valor real de esa característica más un error de medición, el cual puede ser aleatorio o intencional. Un instrumento de medición adecuado es aquel que registra datos observables que representan verdaderamente a los conceptos o variables que el investigador tienen en mente. En investigaciones de campo, tanto cuantitativas como cualitativas, el investigador requiere utilizar instrumentos apropiados para que la información que obtenga sea válida. Por tal motivo necesita, entonces, contar con instrumentos que, en primer lugar, sean confiables, es decir que al replicarlos en condiciones similares arrojen aproximadamente los mismos resultados. En segundo lugar, deben ser válidos, esto es, que efectivamente midan lo que el investigador pretende medir. Estimación de la confiabilidad de instrumentos de investigación También conocidas con el nombre de test-retest de confiabilidad. Esta medida se obtiene aplicando una prueba a un grupo de individuos en dos momentos diferentes y correlacionando las dos series de puntos alcanzadas. Cuando se utiliza la medida de estabilidad, ésta debe ir acompañada de la especificación del tiempo transcurrido entre las dos situaciones de prueba, así como de una descripción de las experiencias pertinentes que intervinieron. Medidas de estabilidad Para obtener una medida de equivalencia, se aplican dos formas (con contenido, medias y varianzas iguales) de una prueba en el mismo día al mismo grupo de individuos y se correlacionan los resultados obtenidos. Con este procedimiento se evita el efecto intertemporal en los resultados, así como el de aprendizaje por parte de los participantes. En algunos casos se puede obtener un coeficiente de equivalencia y de estabilidad aplicando primero una forma de la prueba y posteriormente la otra. Medidas de equivalencia La principal ventaja de las medidas de consistencia interna es que solamente requieren de un conjunto de datos. Las tres medidas más comunes de consistencia interna son: separación en dos mitades, las estimaciones de Kuder-Richardson y la técnica de Hoyt. Las dos últimas permiten construir índices de homogeneidad de los items presentados en la prueba. Medidas de Consistencia Interna Factores que inciden en la confiabilidad La confiabilidad de una prueba aumenta en la medida en que se incluyan ítems equivalentes; sin embargo, no debe caerse en el error de adicionar ítems innecesariamente Longitud de la prueba Debe darse el tiempo suficiente para contestarse la prueba. De esta manera se obtienen resultados más confiables. Velocidad Cuanto más homogéneo sea el grupo, mayor será la confiabilidad de la prueba. Homogeneidad del grupos Factores que inciden en la confiabilidad Dificultad de los ítems. Existen pruebas en las cuales hay gran cantidad de ítems fáciles que nadie alcanza a responder en su totalidad en el tiempo establecido; en otras, se presentan pocos ítems de gran dificultad que tampoco pueden ser contestados completamente. Ambas situaciones afectan la con-fiabilidad de la prueba. En ítems de respuesta abierta, en ensayos y en otras pruebas de este tipo, la objetividad que posea el juez para la asignación de la calificación en los ítems afecta significativamente la confiabilidad de la prueba realizada. Objetividad Cuanto más homogéneo sea el grupo, mayor será la confiabilidad de la prueba. ¿Qué tan confiable debe ser una prueba para ser útil? No existe un criterio general que determine el nivel mínimo de confiabilidad que debe tener una prueba para que se pueda considerar como útil para la investigación; sin embargo, la aceptación general es la siguiente: Las pruebas estandarizadas que se utilizan para ayudar a tomar decisiones acerca de individuos, deben tener coeficientes de confiabilidad de por lo menos 0.85. Para decisiones relativas a grupos, puede bastar un coeficiente de confibilidad de aproximadamente 0.65. Confiabilidad de pruebas estandarizadas Grado de confiabilidad Grado en que un instrumento produce resultados consistentes y coherentes. Es decir, en que su aplicación repetida al mismo sujeto u objeto produce resultados iguales. ( Kerlinger,2002) Según Herrera (1998): 0,53 a menos Confiabilidad nula 0,54 a 0,59 Confiabilidad baja 0,60 a 0,65 Confiable 0,66 a 0,71 Muy Confiable 0,72 a 0,99 Excelente confiabilidad 1.0 Confiabilidad perfecta Ejemplo: Si se midiera en este momento la temperatura ambiental usando un termómetro y este indicara que hay 22°C, un minuto mas tarde 5°C, tres minutos después 40°C; dicho termómetro no sería confiable. Medida de confiabilidad: Un mismo instrumento de medición se aplica dos más veces a un mismo grupo de personas, después de cierto periodo. Confiabilidad por test-retest, “r” de Pearson. Grado de validez Ejemplo validez ( pretest) Ejemplo validez (cuestionario) Ejemplo validez (cuestionario) Ejemplo validez (cuestionario) Cualquier clase de investigación que quiera emprenderse requiere de la utilización de una metodología de investigación, la cual se dedica principalmente al estudio de métodos y técnicas para realizar investigaciones y determina el cómo se desarrollará el problema planteado dentro de ella. Seleccionar dentro de las diversas alternativas, fundamentalmente una, es uno de los pasos más importantes y decisivos dentro de la elaboración de un proyecto, dado que el camino correcto llevará a obtener de la investigación resultados válidos que respondan a los objetivos inicialmente planteados. La técnica juega un papel muy importante en el proceso de la investigación científica, a tal grado que se puede definir como la estructura del proceso de la investigación científica. Sus rasgos esenciales consisten en que: propone una serie de normas para ordenar las etapas de la investigación científica. Aporta instrumentos y medios para la recolección, concentración y conservación de datos. Pero estos dos conceptos aplicados están sumamente relacionados entre sí. Conclusiones Las técnicas son procedimientos de actuación para la recolección de información asumidos de forma concreta y particular por cada ciencia, relacionados con las distintas fases del método científico La técnica es indispensable en el proceso de la investigación científica, ya que integra la estructura por medio de la cual se organiza la investigación. En cuanto a las técnicas de investigación, existen dos formas generales: técnica documental y técnica de campo. La técnica documental permite la recopilación de información para enunciar las teorías que sustentan el estudio de los fenómenos y procesos. Incluye el uso de instrumentos definidos según la fuente documental aque hacen referencia. La técnica de campo permite la observación en contacto directo con el objeto de estudio, y el acopio de testimonios que permitan confrontar la teoría con la práctica en la búsqueda de la verdad objetiva. La validez es una cuestión de grado y una prueba tiene muchas valideces, dependiendo cada una de los propósitos específicos con que se utilice. La validez de cualquier prueba depende de cómo se utilice en la situación local Un instrumento de medición puede ser confiable pero no necesariamente válido. Un aparato, por ejemplo, puede ser consistente con los resultados que produce, pero no medir lo que pretende. Conclusiones Referencias bibliográficas BRIONES, G. Métodos y técnicas de investigación para las ciencias sociales. México, Trillas, 1982. Hernandez Sampieri, R., Fernandez, C., Batista, L. (2014). Metodologia de investigación. Mc.Graw Hill. México. Pérez Rodríguez, G. et al Metodología de la investigación. Primera parte. Editorial Pueblo y Educación. C. Habana, 1996. Rojas Soriano, R. Guía para realizar investigaciones sociales. ¡6 edición, México, (UNAM) 1981. UNESCO-OREAL La investigación en educación formal y no formal. Edito- rial Orión, Colombia. G R A C I A S
