Estimación

Vista previa del material en texto

Estimación, intervalo de confianza y significancia de \(\hat{\beta}\)
Linear Models with R, by Julian J. Faraway
Si únicamente se quiere obtener la estimación de los coeficientes de correlación (\(\hat{\beta}\)) de los predictores que forman un modelo, no es necesario asumir ninguna distribución de los residuos (\(\epsilon\)). Sin embargo, si además de la estimación se desea obtener intervalos de confianza o realizar test de hipótesis para contrastar su significancia, entonces sí es necesario. En el caso del método de mínimos cuadrados, se tiene que asumir que los residuos son independientes y que se distribuyen de forma normal con media 0 y varianza \(\sigma^2\). Cuando la condición de normalidad no se satisface, existe la posibilidad de recurrir a los test de permutación para calcular significancia (p-value) y al bootstrapping para calcular intervalos de confianza.
Comparación de modelos mediante test de hipótesis, F-test
Linear Models with R, by Julian J. Faraway
Cuando se dispone de múltiples predictores para crear un modelo, es recomendable estudiar si todos ellos son necesarios o si se puede conseguir un modelo más óptimo empleando solo algunos de ellos.
Supóngase un modelo \(M\) y otro modelo \(m\), de menor tamaño, formado por un subconjunto de los predictores contenidos en \(M\). Si la diferencia en el ajuste es muy pequeña, acorde al principio de parsimonia, el modelo \(m\) es más adecuado. Es posible contrastar si la diferencia en ajuste es significativa mediante la comparación de los residuos. En concreto el estadístico empleado es:
\[\frac{RSS_m - RSS_M}{RSS_M}\]
Para evitar que el tamaño del modelo influya en el contraste, se divide la suma de residuos cuadrados RSS de cada modelo entre sus grados de libertad. El estadístico resultante sigue una distribución \(F\).
\[\frac{(RSS_m - RSS_M)/(df_m - df_M)}{RSS_M/(df_M)} \sim F_{df_m-df_M, \ df_M}\]
donde \(df\) son los grados de libertad del modelo, que equivalen al número de observaciones menos el número de predictores.
F-test para la significancia del modelo (todos sus predictores a la vez)
Uno de los primeros resultados que hay que evaluar al ajustar un modelo es el resultado del test de significancia \(F\). Este contraste responde a la pregunta de si el modelo en su conjunto es capaz de predecir la variable respuesta mejor de lo esperado por azar, o lo que es equivalente, si al menos uno de los predictores que forman el modelo contribuye de forma significativa. Para realizar este contraste se compara la suma de residuos cuadrados del modelo de interés con la del modelo sin predictores, formado únicamente por la media (también conocido como suma de cuadrados corregidos por la media, \(TSS\)).
\[F = \frac{(TSS - RSS)/(p-1)}{RSS/(n-p)}\]
Con frecuencia, la hipótesis nula y alternativa de este test se describen como:
· \(H_0\): \(\beta_1\) = … = \(\beta_{p-1} = 0\)
· \(H_a\): al menos un \(\beta_i \neq 0\)
Si el test \(F\) resulta significativo, implica que el modelo es útil, pero no que sea el mejor. Podría ocurrir que alguno de sus predictores no fuese necesario.