3_VALIDEZ_DE_LAS_CONCLUSIONES_DE

Vista previa del material en texto

3. VALIDEZ DE LAS CONCLUSIONES DE LA 
 INVESTIGACIÓN
 EL ANÁLISIS DE LA VALIDEZ: 
 COMPONENTES Y AMENAZAS
 RELACIONES ENTRE 
 VALIDEZ Y MÉTODO
 ANÁLISIS DE LA VALIDEZ: juicio sobre el grado de seguridad con el que una inferencia se puede considerar cierta por estar 
 basada en evidencias relevantes. Los juicios no son absolutos, tampoco las conclusiones, que son provisionalmente ciertas.
 Este análisis de la validez ha llevado a identificar posibles errores de procedimiento o limitaciones a la 
 propia estrategia de investigación:
 > AMENAZAS: problemas que pueden poner en cuestión la veracidad de sus conclusiones. Son 
 identificadas por sus posibles consecuencias, dado que puede provocar que el investigador obtenga 
 conclusiones parcial o totalmente equivocadas sobre la relación entre las variables.
 El análisis de la validez 
 tiene doble función
 1. Resolver problemas que pueden limitar la validez de sus conclusiones. En la planificación, el investigador puede 
 anticipar las amenazas y así evitarlas, bien introduciendo controles que minimicen la posibilidad de que ocurran, o 
 incluyendo estrategias que permitan poner a prueba y descartar hipótesis explicativas alternativas.
 2. Desarrollar nuestra capacidad crítica, tanto para extraer las conclusiones correctas 
 como para valorar la adecuación y el alcance de las conclusiones.
 Trataremos el concepto de validez a partir de la sistematización original de 
 Cook y Campbel (1979), pero teniendo en cuenta también aportaciones de 
 la revisión posterior de Shadish, Cook y Campbell (2002). Identifican 4 
 componentes de la validez, estrechamente relacionados entre sí, y 
 planteados en función del grado de seguridad de sus conclusiones:
 VALIDEZ DE CONCLUSIÓN ESTADÍSTICA: la relación entre las variables estudiadas
 VALIDEZ INTERNA: la naturaleza causal de dicha relación
 VALIDEZ DE CONSTRUCTO: su utilidad para el conocimiento sobre los constructos teóricos
 VALIDEZ EXTERNA: Su posibilidad de generalización a otras poblaciones o situaciones. 
 VALIDEZ DE 
 CONSTRUCTO
 Los CONSTRUCTOS son conceptos abstactos no observables directamente, pero qaue podemos inferir de 
 manera indirecta a través de situaciones que nos puedan informar de su presencia y de su grado o magnitud.
 VALIDEZ DEL CONSTRUCTO:Valora la posibilidad de extraer de los resultados obtenidos conclusiones aplicables a los constructos 
 generales que hemos tratado de estudiar a través de las situaciones concretas elegidas (variables, condiciones y formas de medida). 
 Se basa en el grado de correspondencia entre las variables observadas y el constructo teórico que se quiere medir, por lo que 
 dependerá entonces del acierto del investigador en las decisiones de cómo concreta operativamente los constructos, tanto en el 
 manejo de las variables manipuladas como en la medida de las variables evaluadas. 
 PILARES BÁSICOS: buena comprensión y explicaciónde los constructos evaluados y la adecuación de su forma de evaluación.
 Amenazas a la 
 validez del constructo
 INADECUADA COMPRENSIÓN Y DEFINICIÓN DE LOS CONSTRUCTOS: fallos en la compresión y explicación 
 pueden llevar a no contemplar aspectos relevantes o a obtener una visión parcial e incompleta.
 INADECUACIÓN DE SU EVALUACIÓN: fallos en la elección de los indicadores que pueden llevar a 
 desarrollar instrumentos de evaluación inadecuados para el estudio de ese constructo
 REACTIVIDAD: buena parte de la investigación psicológica se realiza con 
 humanos, los cuales, al ser conscientes de su participación pueden modificar su 
 respuesta por el simple hecho de estar participando en una investigación, de 
 sentirse observados o evaluados, y llevar a los participantes a comportarse de 
 forma diferente a como lo harían en la realidad natural. Puede ser una 
 amenaza a la validez interna.
 El problema que se plantea, es que las respuestas de los participantes, no solo dependen de la influencia de la variable manipulada o 
 tratamiento, sino también de su propia percepción de la situación, estos pueden responder en función de lo que ellos consideren que 
 procede o que sería esperable que les ocurriese; es decir, su comportamiento puede verse influido por su ADIVINACIÓN DE 
 HIPÓTESIS o las características de la demanda que infieren de la condición experimental que les ha correspondido.
 También puede ocurrir, que los participantes oculten sus verdaderas ideas o inhibir su comportamiento 
 espontáneo para tratar de ajustarse a lo que consideran los socialmente adecuado= DESEABILIDAD SOCIAL.
 Sus respuestas pueden resultar también influidas por las EXPECTATIVAS DEL EXPERIMENTADOR, que puede 
 transmitir de forma no intencional los resultados esperados.
 Para evitarla
 Planificar al máximo todos los aspectos de la información y contacto con los participantes en el procedimiento
 Reducir al mínimo las interacciones investigador/participantes
 Evitar evaluaciones pretratamiento innecesarias que puedan dar pistas de los objetivos e hipótesis del estudio
 Utilizar grupo de control con placebo
 PROCEDIMIENTO DE CIEGO: participante desconoce los objetivos y condiciones de la investigación
 DOBLE CIEGO:tanto participante como investigador desconocen los objetivos y condición experimental 
 VALIDEZ 
 INTERNA
 Cook y Campbell (1979): idea de causalidad, bajo el supuesto de que la capacidad explicativa de una ciencia será 
 mayor en la medida en la que pueda llegar a identificar relaciones causales en su análisis de los fenómenos.
 Se basa en el grado de seguridad que proporciona el estudio para poder concluir que la relación detectada entre las 
 variables refleja una relación de causalidad.
 El análisis de la validez interna, solo tiene sentido en los estudios que tengan el propósito y las condiciones de extraer 
 conclusiones de relaciones de causalidad entre las variables estudiadas, en Experimentos y Cuasiexperimentos.
 Amenazas a la 
 validez interna
 Ambigüedad de la CONTINGENCIA ANTECEDENTE-CONSECUENTE si no hay seguridad sobre que variable ocurre 
 primero y cual después, no podremos detectar cual es la causa y cual el efecto. En los estudios en los que la variable 
 no es manipulable (diseños ex post facto) no se puede garantizar la contingencia temporal.
 SELECCIÓN DIFERENCIAL DE LOS GRUPOS: existen diferencias sistemáticas en las características de los participantes previas a la 
 aplicación del tratamiento (VI), estas podrán explicar las diferencias posteriores encontradas y confundirse con el efecto del 
 tratamiento. Estos grupos deben ser lo más parecidos posibles para poder concluir que las diferencias encontradas en la VD se deben 
 a la influencia de la VI y no a diferencias previas existentes. 
 PÉDIDA DE PARTICIPANTES: aunque hayamos organizado los grupos aplicando técnicas de control que garanticen su equivalencia 
 inicial, si en el transcurso del estudio hay pérdida de participantes, puede generar efectos que se confundan con el efecto del 
 tratamiento. Esta pérdida no está en el simple hecho de que la muestra disminuya, sino de que esta pérdida afecta de manera 
 selectiva a algunas condiciones experimentales. En los diseños intragrupo, la aplicación secuencial de todas las condiciones a los 
 mismos participantes puede generar riesgo de abandono por aburrimiento o complicaciones.
 REGRESIÓN A LA MEDIA:si los participantes son seleccionados porque presentan valores extremos en la medida de una variable, 
 pueden presentar de forma natural puntuaciones menos extremas en una segunda medición, y este cambio puede confundirse con 
 el tratamiento. Se basa en el supuesto de que las puntuaciones extremas pueden deberse a circunstancias excepcionales que se den 
 en el momento de la medida. Será especialmente un riesgo en aquellos estudios en los que los participantes hayan sido 
 seleccionados por presentar puntuaciones extremas en la variable de interés (criterio de inclusión en la muestra). Se recomienda no 
 realizar la selección de los participantes basándonos en sus puntuaciones extremasen una sola medida, sino aplicar una segunda y 
 utilizar la media de ambas.
 INSTRUMENTACIÓN: se producen cambios en la forma de medir la VD o en la precisión de las medidas, que afecten de manera 
 diferente a las condiciones de tratamiento. Pueden ser fallos en la precisión de las medidas, sea por mala calidad métrica de los 
 instrumentos o por fallos en el procedimiento de aplicación.
 > Errores de medida: errores de medida que afectan a todos los participantes o se producen de forma aleatoria y que dificultan la 
 posibilidad de obtener resultados seguros sobre la existencia o no de covariación entre las variables (afecta también a la validez de 
 conclusión estadística).
 HISTORIA: acontecimientos externos que ocurren de forma simultánea a la aplicación del tratamiento (VI).
 > Historia local (selección x historia): acontecimientos que afectan de forma diferente a los distintos grupos o condiciones. Mas riesgo 
 de que aparezca en los diseños cuasiexperimentales. La realización de experimentos en laboratorios facilita la aplicacón de esta 
 técnica y el control de los riesgos.
 MADURACIÓN: cambios psicológicos que se producen de forma natural con el paso del tiempo. Es más probable que en los estudios 
 de larga duración, en los que el mero paso del tiempo provoca cambios biológicos y psicológicos que pueden reflejarse en la VD y 
 confundirse con el efecto de la VI.
 CONTROL: inclusión de grupos control, si se producen cambios naturales en un grupo, también se manifestarán en el grupo control
 REPETICIÓN DE PRUEBAS: la aplicación de una prueba puede alterar las puntuaciones que se obtengan en administraciones 
 posteriores de esa misma prueba. En determinados estudios se realiza la evaluación de la VD en repetidas ocasiones, lo que puede 
 convertirse en una amenaza generando sensibilización p familiarización de los participantes con las pruebas. Puede estar ligada a la 
 aplicación de medidas pre y postratamiento, es decir, una prueba que mida la VD antes de la aplicación del tratamiento, para 
 comprobar la equivalencia de los grupos o poder obtener información del cambio que produce el tratamiento
 IMPACTO DE LAS AMENAZOS ADITIVO O DE INTERACCIÓN: puede producir un efecto distinto a la simple suma de las 
 amenazas y su efecto de confusión con la VI puede variar según su combinación.
 VALIDEZ DE CONCLUSIÓN 
 ESTADÍSTICA
 Se refiere a la seguridad de las inferencias (conclusiones) estadísticas sobre la relación entre las variables, es decir, sobre si las 
 variables de estudio covarían y su fuerza de covariación. Esas inferencias se realizan a través del análisis estadístico y la seguridad de 
 los resultados va a depender de la calidad de las medidas que tengamos y la adecuación y potencia de las técnicas.
 - Error Tipo I: las variables covarían cuando en realidad no lo hacen
 - Error Tipo II: las variables no covarían cuando en realidad sí lo hacen
 Amenazas a la validez de 
 conclusión estadística
 ERRORES DE MEDIDA: debilitan la capacidad de los análisis para detectar correctamente las covariaciones de las variables. Los fallos 
 en la precisión de las medidas, ya sea por mala calidad métrica de los instrumentos o por fallos en su aplicación son una fuente de 
 error (como hemos visto en las amenazas a la validez interna), al igual que cuando estos errores se repartan de forman aleatoria y 
 afecten de forma diferente a unas y otras condiciones. Por tanto, se recomienda, el uso de instrumentos de medida con calidad 
 métrica comprobada, que nos garantice la fiabilidad, así como la aplicación de estrategias que aseguren la correcta evaluación, 
 codificación y grabación de los datos.
 RESTRICCIÓN DEL RANGO DE VARIABILIDAD: si los valores que presentan las variables están restringidos 
 a un rango de variabilidad muy pequeño se puede ver que afecta negativamente a la potencia estadística 
 de las pruebas, dificultando que se detecten las covariaciones entre las variables.
 > Efecto suelo: todos los participantes del estudio presentan en sus puntuaciones los valores más bajos 
 de la VD o muy cercanos a ellos.
 > Efecto techo: todos los participantes del estudio puntúan en torno a los valores máximos de la VD.
 CONTROL: estudios piloto
 INADECUACIÓN DE LAS PRUEBAS ESTADÍSTICAS: las pruebas deben ser las adecuadas a la naturaleza de los datos. 
 La aplicación de pruebas no adecuadas puede llevar a infraestimar o sobreestimar el efecto de la VI.
 BAJA POTENCIA ESTADÍSTICA:puede llevarnos a concluir erróneamente que no existe relación significativa entre las variables.
 - Potencia estadística: capacidad de una prueba estadística para detectar en los datos de un estudio la covariación entre las 
 variables. Depende de varios factores:
 > Tamaño de la muestra: si es pequeño, disminuye la potencia estadística, y es más difícil que el resultado informe de la 
 relación o covariación de las variables.
 > Variabilidad de las medidas
 > Elección de la prueba adecuada
 > Tamaño del efecto
 > Nivel de significación 
 VALIDEZ EXTERNA
 Pretende responder a la pregunta, ¿En qué medida se puede generalizar la relación entre las variables a otras personas, situaciones o 
 medidas distintas? Cuando una muestra sea representativa tendrá mayor validez externa, al igual que la situación planteada para 
 evaluar los efectos sea también una buena representación de las situaciones reales.
 La estrategia formalmente más adecuada es utilizar técnicas de muestreo probabilístico, por ejemplo el m.a.s (
 selección aleatoria de la muestra). Es un proceso muy frecuente en investigación no manipulativa como estudios de 
 encuesta, y muy poco frecuente en investigaciones experimentales o cuasiexperimentales.
 Shadish et al. (2002): el muestreo 
 probabilístico no es la única forma 
 de muestreo útil para generalizar 
 los resultados y conclusiones:
 MUESTREO A PROPÓSITO, TEÓRICO O POR JUICIO EXPERTO: (Estudios manipulativos): se pretende que la muestra de participantes 
 esté compuesta por casos seleccionados en función de que posean determinadas características relevantes en relación con los 
 objetivos de estudio. No permite la generalización a la población en general, pero sí a la población de interés que comparte esas 
 mismas características.
 MUESTREO POR CONVENIENCIA O ACCESIBILIDAD: plantea bastantes más limitaciones para la generalización. La escasa 
 representatividad de la muestra respecto a la población afecta negativamente, pero esto es especialmente dañino cuando la 
 combinación de los contenidos del estudio y las características de la muestra utilizada puede generar unos resultados muy 
 particulares, que no se darían con una muestra de otras características.
 Amenazas a la 
 validez externa
 INTERACCIÓN DEL TRATAMIENTO CON LA COMPOSICIÓN DE LA MUESTRA O INTERACCIÓN DE SELECCIÓN X TRATAMIENTO: las 
 conclusiones de una investigación tienen baja validez externa poblacional cuando falla la representatividad de la muestra respecto a 
 la población, y especialmente cuando los resultados obtenidos reflejan una realidad particular propia de la muestra pero no 
 necesariamente previsible si hubiéramos utilizado otra muestra diferente.
 INTERACCIÓN DEL TRATAMIENTO CON LA SITUACIÓN DE ESTUDIO: configurar el diseño que permite manipular la VI y eliminar el 
 riesgo de contaminación de los resultados por la influencia de VE, nos puede llevar a plantear situaciones artificiales que se alejan 
 mucho de las situaciones reales. Esta artificialidad limita la validez externa ecológica de las conclusiones. El efecto del tratamiento 
 encontrado en un determinado contexto puede ser particular a ese contexto y no estar reflejando el que se encontraría en otro.
 Estudios realizados con el MÉTODO EXPERIMENTAL reúnen condiciones que aumentan sus posibilidades de obtener resultados y 
 conclusiones con alto grado de validez interna. La manipulación de la VI y la aplicación de recursos de control experimental permiten 
 descartar buena parte de las amenazas a la validez interna. Al mismo tiempo, estosprocedimientos, pueden llevar a situaciones 
 artificiales que limiten la validez externa ecológica de sus conclusiones.
 Los DISEÑOS CUASIEXPERIMENTALES, ven limitadas las posibilidades de control al no poder asignar aleatoriamente los participantes 
 a las condiciones experimentales. Su grado de validez interna, tenderá a ser de menor alcance que en un estudio experimental, por 
 lo que el análisis de las posibles amenazas cobra mayor relevancia, pero al mismo tiempo, al realizarse en el entorno natural del 
 problema de estudio, la investigación logrará mayor grado de validez externa ecológica.
 En los ESTUDIOS DE ENCUESTA, vemos que están muy lejos de poder obtener conclusiones de relaciones 
 causa-efecto en la información que obtienen, pero por sus objetivos estos estudios otorgan gran 
 importancia a la representatividad de la muestra, por lo que su validez externa poblacional será muy alta.
 Estos ejemplos reafirman la idea de cierta relación entre validez y método, es decir, que ciertos métodos platean 
 procedimientos que favorecen la posibilidad de lograr distintos grados de validez en sus distintos componentes.