Coeficiente De Concordancia W De Kendall para determinar la validez del instrumento

Vista previa del material en texto

UNIVERSIDAD DE LOS ANDES 
FACULTAD DE HUMANIDADES Y EDUCACIÓN 
POSTGRADO DE INFORMÁTICA Y DISEÑO DE INSTRUCCIONAL 
 
COEFICIENTE DE CONCORDANCIA W DE KENDALL PARA DETERMINAR 
LA VALIDEZ DEL INSTRUMENTO 
El Coeficiente de Concordancia de Kendall se emplea para obtener una medida de 
relación entre las variables. Para ello, se cuenta con grupo de variables ordinales que 
suministran información cerca del grado en que conjunto de variables covarían o se 
mueven juntas. En este caso el signo no es importante ya que estaremos en presencia de 
más de dos variables. Este coeficiente se emplea, generalmente, para determinar el 
acuerdo interjueces; en otras palabras, en aquellas situaciones en las que nos interesa 
obtener una medida de coincidencia de un número determinado de jueces durante un 
proceso de evaluación. 
A continuación describiremos brevemente los pasos para su cálculo, para lo cual 
emplearemos un ejemplo:: 
1) Se traducen las puntuaciones originales a rangos. Veamos la siguiente tabla en la 
que cinco jueces responde con un 1 o un 2 o un 3 o un 4 si el ítem corresponde o 
evalúa un determinado contenido u objetivo identificado con esos mismos 
números. 
Esta es la tabla en la que se presenta como respondieron los cinco jueces: 
 
 
 
 
 
Como ejemplo transformaremos a rangos la fila del Juez 4: 
a) Se colocan las puntuaciones en forma ascendente: 
 
1 Sus rangos serían: 1 Una vez procesado los empates, quedan así: 2 
 1 2 (Observe la explicación dada abajo) 2 
 2 3 4,5 
 1 4 2 
 2 5 4,5 
 3 6 6 
 4 7 7 
 Ítem 1 Ítem 2 Ítem 3 Ítem 4 Ítem 5 Ítem 6 Ítem 7 
Juez 1 1 2 2 2 3 4 4 
Juez 2 1 1 2 2 3 4 4 
Juez 3 1 1 2 2 2 4 4 
Juez 4 1 1 2 1 2 3 4 
Juez 5 1 1 1 2 3 4 4 
 
 Como el puntaje 1 se repite tres veces, entonces se le coloca a cada uno como 
rango el promedio de los tres primeros rangos, en este caso será el rango 2 para los tres 
puntajes 1. Para el puntaje 2 que se repite dos veces, el rango sería 4,5, que es el 
promedio entre 4 y 5. De igual manera se procede con el resto de los puntajes asignados 
por cada Juez. La tabla con los rangos queda, entonces, de la siguiente manera: 
 
 Ítem 1 Ítem 2 Ítem 3 Ítem 4 Ítem 5 Ítem 6 Ítem 7 
Juez 1 1 3 3 3 5 6,5 6,5 
Juez 2 1,5 1,5 3,5 3,5 5 6,5 6,5 
Juez 3 1,5 1,5 4 4 4 6,5 6,5 
Juez 4 2 2 4,5 2 4,5 6 7 
Juez 5 2 2 2 4 5 6,5 6,5 
 
b) Ahora, por columna, se calculan los promedios de los rangos de cada ítem. Por 
ejemplo el ítem número 1 tiene un promedio de 1,6. Se obtiene así: 
(1+1,5+1,5+2+2) / 5 = 1,6. La fila queda como sigue: 
 
Promedio 
Rangos 
1,6 2,0 3,4 3,3 4,7 6,4 6,6 
 
c) Se calcula el promedio de todos los rangos. Para esto, se suman los rangos por 
columna y luego se calcula la suma total de estas sumas individuales y se divide 
entre el número de ítems. La suma de la fila de rangos es de 140, por lo que la fila 
quedaría así: 
 
∑Rangos 
 
8 10 17 16,5 23,5 32 33 140 
 
 
 
Entonces 140 / 7 y el promedio de estos rangos quedaría = 20. 
 
Para cualquier otro contexto, el promedio de la suma de los rangos se puede 
obtener con la siguiente expresión: 
 
R = 
𝑲(𝑵+𝟏)
𝟐
 , donde R = Promedio; K = Número de Jueces y N = el número de 
ítems. En nuestro caso sería K = 5 y N = 7. Veamos entonces su cálculo: 
 
R = 
5(7+1)
2
 = 20 
 
d) Se calculan luego los desvíos (A cada una de las suma de rangos se le resta el 
promedio de ellos) Veamos: 8 – 20 = -12. Se procede de igual manera para el 
resto de las columnas. Una vez que se tienen todos los desvíos, entonces se 
elevan al cuadrado cada uno de ellos. 
e) Luego se procede a la suma de todos los D2 y obtenemos como resultado 590,5, 
por lo que ambas filas quedan así: 
 
Desvíos D -12 -10 -3 -3,5 3,5 12 13 
 D2 144 100 9 12,25 12,25 144 169 590,5 
 
El valor D2 no es otra cosa que un índice de dispersión que, en este caso, no es 
más que la Varianza de los rangos. De lo que se trata es de conseguir la máxima 
dispersión de estos valores; es decir, hemos obtenido la suma de las distancias de 
cada uno de los valores con respecto a la media. Llamaremos a esta desviación S; 
es decir que: ∑D2 = S = 590,5. El valor de S mide asociación con igual tendencia 
en el conjunto de variables y es también un índice de relación lineal. La W de 
Kendall se basa en este índice. Qué significa S = 590,5? El valor dependerá de la 
suma especialmente de dos factores que nada tienen que ver con la magnitud de 
la relación. Estos factores son: K y N. Cuanto mayor sea K, más rangos 
aparecerán por cada caso y cuanto mayor sea N, más casos se sumarán 
finalmente, con lo que S será mayor en la medida en que aumente tanto K como 
N. 
 
Para cualquier combinación de valores posibles de K y N, existirá una disposición 
tal de los rangos que S suministrará un valor insuperable. Para nuestro caso, ese 
valor insuperable de 𝑺 se puede obtener con la siguiente expresión: 
 
Smax = K 2 N (N 2 - 1) / 12 
 
Asi que: 
 
 Smax = 52 x 7(72 - 1) /12 = 25x7(49 -1) / 12 = 700. 
 
Para calcular el coeficiente W se divide la S observada entre la Smax,. Esta es la 
expresión: 
 
W = S / Smax, por lo que W = 590,5 / 700 = 0,843. 
 
Cualquier valor comprendido entre 0 y 1 será interpretado en función del extremo 
al que se aproxime. Si es 0 es que S = 0 y no existe relación. Si es 1 es que S 
observado coincide con Smax, por la que la relación entre las K variables es la 
máxima posible. 
 
f) Por último, hay que considerar la existencia de empates ente los rangos: En 
nuestro caso en todas las filas hay empates, por lo que al resultado anterior hay 
restar a la Smax lo que se denomina el factor de corrección Fc. La expresión queda 
así ahora: 
 
W = S / (Smax – Fc) 
 
Este Fc se calcula de la siguiente manera: Por cada columna se cuenta las veces 
que cada rango se repite y además se hace por cada grupo de rangos que se 
repite. Por ejemplo, la primera fila (Juez 1) el rango 3 se repite tres veces y el 
rango 6,5 se repite dos vece, por lo que tenemos t = 3 y t = 2 respectivamente. 
Entonces en la primera fila (Juez 1) tenemos que 
 
 Tij = t(t2 – 1), por lo que: 
 
Tjuez1 = 3(32 - 1) = 24 
Tjuez1 = 2(22 - 1) = 6 
 
Tjuez2 = 2(22 - 1) = 6 
Tjuez2 = 2(22 - 1) = 6 
Tjuez2 = 2(22 - 1) = 6 
 
 
Esto se repite por cada uno de los siguientes jueces y se calcula Fc con la 
siguiente expresión: 
 
Fc = (K/12) / ∑∑(Tjuezij ( Tjuezij – 1 ) = (5/12) (24 + 6 + 6 + 6 + 6 + 6 + 6 + 24 
+ 24 + 6 + 24 + 6) = 144 
 
(5/12) (144) = 60 
 
Calculamos nuevamente el Coeficiente de Concordancia aplicando el factor 
de corrección y obtenemos el siguiente índice. 
 
 W = S / (Smax – Fc) = 590,5 (700 – 60) = 590,5 / 640 = 0,922. 
 
El nuevo índice para W es mayor al obtenido anteriormente, pues se está 
considerando el factor de corrección debido a los empates de los rangos. 
La interpretación de este valor se hace igual a como se hizo arriba; en otras 
palabras, este valor de 0,922 señala que existe una muy buena 
concordancia entre los jueces en el momento en que están evaluando 
(validando) el instrumento. 
 
Siendo más preciso podemos expresar la interpretación del resultado de la 
siguiente manera: como el coeficiente de concordancia de Kendal (igual a 
0,922) está bastante cercano a 1 nos indica que una alta concordancia, 
léase coincidencia, entre los jueces acerca de que los ítems elaborados 
realmente evalúan los contenidos señalados en la tabla de 
especificaciones. 
 
A continuación vamos a presentar dos ejercicios analizados con la ayuda 
del SPSS. Son los dos casos extremos que creemos no se presentarían en 
condiciones normales. Veamos el primero de ellos en el que los jueces 
están totalmente en acuerdo, en concordancia, entre sí. Supongamos que 
tenemos una tabla de especificaciones con tres contenidos y siete ítems 
que conformael instrumento de medida. Una Vez que los jueces llenan el 
instrumento de validez, obtenemos los siguientes resultados que se 
expresan en la tabla que sigue. En la tabla observamos que, según los 
jueces, los ítems 1 y 2 evalúan el contenido 1; que los ítems 3, 4 y 5 
evalúan el contenido 2 y que los ítems 6 y 7 evalúan el contenido 3. 
 
 Item1 Item2 Item3 Item4 Item5 Item6 Item7 
Jues1 1 1 2 2 2 3 3 
Jues2 1 1 2 2 2 3 3 
Jues3 1 1 2 2 2 3 3 
Jues4 1 1 2 2 2 3 3 
Jues5 1 1 2 2 2 3 3 
 
 
El otro caso extremo sería en el que los jueces están totalmente en 
desacuerdo, en discordancia, entre sí. Veamos la tabla resultante: 
 
 
 Item1 Item2 Item3 Item4 Item5 Item6 Item7 
Jues1 1 1 1 1 1 1 1 
Jues2 1 1 1 1 1 1 1 
Jues3 2 2 2 2 2 2 2 
Jues4 3 3 3 3 3 3 3 
Jues5 3 3 3 3 3 3 3