Inferencia estadística Resumen

Vista previa del material en texto

Inferencia estadística
Estimación puntual
División del campo de la inferencia estadística
La inferencia estadística está relacionada con los métodos para obtener conclusiones o 
generalizaciones acerca de una población. Estas conclusiones sobre la población pueden 
estar relacionadas ó con la forma de la distribución de una variable aleatoria, ó con los 
valores de uno o varios parámetros de la misma.
• Estimación de los parámetros de una distribución
• Pruebas de hipótesis.
En el problema de estimación se trata de elegir el valor de un parámetro de la población, 
mientras que en las pruebas de hipótesis se trata de decidir entre aceptar o rechazar un 
valor especificado.
• La estimación puntual
• La estimación por intervalos de confianza.
División de la estimación en áreas
• Pruebas de hipótesis sobre parámetros, para determinar si un parámetro de una distribución 
toma o no un determinado valor
• Pruebas de Bondad de Ajuste, para definir si un conjunto de datos se puede modelar mediante 
una determinada distribución.
División de las pruebas de hipótesis en áreas
Una "estimación puntual" de algún parámetro de una población θ es un solo valor obtenido a partir 
de un estadístico. 
Inferencia estadística y estimación puntual
Estimación puntual
Estimación
Estimación puntual
En el problema de estimación se trata de elegir el valor de un parámetro de la población, según una 
estrategia de la naturaleza. 
La estimación puntual consiste en utilizar el valor de una estadística o un valor estadístico para 
calcular el parámetro de una población. Por ejemplo, cuando usamos la media muestral para estimar 
la media de una población (µ), o la proporción de una muestra P para estimar el parámetro de una 
distribución binomial θ.
Estimación puntual y estimador
Estimación puntual
Estimador
Se denomina "estimador" de un parámetro θ a un estadístico T = t(X1, X2, ..., Xn) que es usado para 
estimar el valor del parámetro θ de una población. Al valor observado del estadístico t = t(x1, x2, ..., 
xn) se le denomina "estimativo" de θ. Cuando hablamos del parámetro θ nos podemos estar 
refiriendo a un solo parámetro, o a un conjunto de parámetros desconocidos. Si el parámetro θ es 
estimado, lo representamos como 
θ = t(X1, X2, ..., Xn)
Los estimadores son variables aleatorias, y por lo tanto tienen una función de densidad, 
correspondiente a las distribuciones muestrales.
No hay ningún estimador perfecto, ya que siempre habrá algún error en el proceso de estimación. 
Deben estudiarse distintas propiedades estadísticas de los estimadores para decidir cual es el más 
apropiado.
Algunas de las propiedades a estudiar corresponden al sesgo, mínima varianza, consistencia, 
eficiencia relativa y suficiencia.
Estimador
Estimación puntual
Para tratar de responder intuitivamente qué es un buen estimador, considere tres productos A, B y 
C para los cuales se hacen proyecciones de demanda. Suponga que al analizar la información 
histórica de cada producto, se calcula la diferencia entre el pronóstico y el valor real para cada 
producto, y sus distribuciones resultantes son las siguientes:
A: El método usado para pronosticar la demanda de A es el que mejor hace su trabajo, ya que queda 
más cerca del valor real y tiene una menor varianza. 
B: Su pronóstico es aproximadamente igual al valor real, pero tiene una mayor varianza.
C: Peor proyección ya que sobrestima la demanda. 
En conclusión, si se desea estimar una parámetro θ, entonces el estimador debe estar distribuido 
alrededor de θ, y tener mínima varianza.
Estimador y propiedades de los estimadores
Estimación puntual
Estimadores insesgados
Sea X1, X2, ..., Xn una muestra aleatoria proveniente de una población cuya función de densidad es 
f(x, θ). Sea T = t(X1, X2, ..., Xn) un estadístico usado para estimar el parámetro θ. Nuestro problema 
consiste en encontrar la "función t" que proporcione la "mejor estimación" del parámetro θ.
Definición de estimador
Como no hay ningún estimador perfecto que de siempre la respuesta correcta, debería hacerlo por 
lo menos en promedio. El valor esperado del estimador debería ser igual al parámetro que trata de 
estimar. En caso de que lo sea, se dice que el estimador es "insesgado", en caso contrario se diría 
que es sesgado.
Definición. Un estadístico T es un estimador insesgado del parámetro θ si y solo si
E(T) = θ
para todo θ ЄΘ. En caso contrario decimos que es un "estimador sesgado".
Sesgo. Si T es un estimador sesgado, la diferencia E(T) - θ recibe el nombre de sesgo.
T=X1 es un estimador insesgado de µ ya que E(X1)=µ
Propiedades de los estimadores
Estimación puntual
Estimadores insesgados
Ejemplo. La media muestral es un estimador insesgado de la media poblacional µ ya que 
E( ) = µ.
Tenemos que
nXE =)(
Ejemplo. Si X es Binomial (n, θ), demostrar que X/n es un estimador insesgado del parámetro θ .
Sea P =
Propiedades de los estimadores
Estimación puntual
Estimadores insesgados
Ejemplo. Sea X1, X2,..., Xn una muestra aleatoria con E(Xi) = µ. Demostrar que si 
entonces T = a1X1 + a2X2 +...+anXn es un estimador insesgado de µ.
)...()( 2211 nn XaXaXaETE +++=
)(...)()()( 2211 nn XEaXEaXEaTE +++=
 naaaTE +++= ...)( 21
=
n
iaTE 1*)( 
Propiedades de los estimadores
Estimación puntual
Estimadores insesgados
Si 
)(TE
entonces se dice que T es sesgado y a la diferencia se le conoce como sesgo 
−)(gE
El insesgamiento es una propiedad deseable, pero no a toda costa.
Suponga que se tienen dos estimadores T1 y T2 y que el primero puede tomar valores mucho 
más separados de θ en tanto que T2 siempre se encuentra más próximo pero su media esta 
poco más separada de θ
Ejemplo: Se tiene
Se puede demostrar que es un estimador insesgado de σ ²
Propiedades de los estimadores
Estimación puntual
Estimadores insesgados
Entonces se preferiría T2 a T1 debido a que tiene una varianza mas pequeña, aun cuando este es 
sesgado. Si la varianza del estimador es grande, es posible obtener algunas muestras desafortunadas 
en las que el estimado esta lejos del valor verdadero. 
Así la segunda propiedad que se desea en los estimadores es que tengan una varianza pequeña. Un 
criterio que muchas veces se sugiere es el del error cuadrático medio, que se define como:
MSE = (sesgo)2 + varianza
El criterio del error cuadrático medio da pesos iguales a estos componentes. En lugar de eso, es 
posible considerar un promedio ponderado 
ianzaWsesgoW var)1()( 2 −+
Hablando estrictamente, en vez de hacerlo ad hoc , se debería especificar la función de perdida que 
represente la perdida al utilizar T1 como estimador de θ y elegir a T2 para reducir al mínimo la 
pérdida estimada
V( ) = σ²/n < V(X1) = σ².
Propiedades de los estimadores
Estimación puntual
Estimadores de mínima varianza (eficiencia)
Si T1 y T2 son dos estimadores insesgados con varianzas V(T1)y V(T2), respectivamente, y V(T1) < 
V(T2), se dice que T1 es más eficiente que T2.
como X1 son estimadores
La media es más eficiente que X1 para estimar µ
Sea X1, X2, ..., Xn una muestra aleatoria de tamaño n. Sabemos que tanto 
insesgados de µ. Sin embargo 
La propiedad de la eficiencia se ocupa de la varianza de los estimadores. Obviamente, se trata de un 
concepto relativo y que es preciso limitar a una clase especifica. Si T es un estimador insesgado y 
tiene varianza mínima en la clase de los estimadores insesgados, se dice que T es un estimador 
eficiente y un estimador insesgado de varianza mínima.
Si nos limitamos a los estimadores lineales, es decir, 
nn ycycycT +++= 2211
donde c son las constantes las cuales se eligen de modo que T sea insesgada y tenga varianza mínima , 
T se conoce como el mejor estimador lineal e insesgado.
Propiedades de los estimadores
Estimación puntual
Estimadores de mínima varianza (eficiencia relativa)
Los estimadores insesgados suelen compararse en términos de sus respectivas varianzas. Si T1 y T2 
son dos estimadoresinsesgados de un parámetro θ y la varianza de T1 es menor que la varianza de 
T2, se dice que T1 es más eficiente que T2. 
También se puede usar la siguiente relación
para medir la eficiencia relativa de T2 con respecto a T1.
Ejemplo. Al calcular la media de una población normal sobre la base de una muestra de tamaño 2n+1, 
¿cuál es la eficiencia de la mediana con relación a la media?
Se sabe que la varianza de la media está dada por σ²/(2n+1). Para una muestra aleatoria de tamaño 
2n+1 de una población normal se sabe que el valor esperado y la varianza de la mediana están dados 
por:
Propiedades de los estimadores
Estimación puntual
Estimadores de mínima varianza (eficiencia relativa)
La eficiencia relativa está dada por:
La eficiencia asintótica de la mediana con respecto a la media está dada por:
→ la media muestral es un estimador más eficiente de la media poblacional que la mediana muestral.
La media requiere sólo el 64% de las observaciones que requiere la mediana para estimar la media 
poblacional µ con la misma confiabilidad.
Propiedades de los estimadores
Estimación puntual
Estimadores insesgados de mínima varianza
Para saber si un estimador insesgado es de mínima varianza o con sesgo mínimo, se usa la desigualdad 
de Crámer-Rao, dada en el siguiente teorema.
Teorema. Si T es un estimador insesgado de θ y
entonces T es el estimador insesgado de mínima varianza de θ.
La cantidad en el denominador se denomina la "información " que da la muestra acerca del parámetro 
θ.
Ejemplo. Demuestre que la media es el estimador insesgado de mínima varianza de la media µ de 
una población normal.
T = = 
Propiedades de los estimadores
Estimación puntual
Estimadores insesgados de mínima varianza
Por lo tanto se tiene que
Como sabemos que la media es un estimador insesgado y su varianza es igual σ²/n entonces es el 
estimador insesgado de mínima varianza de µ. 
Teorema. Sea X1, X2, ..., Xn una muestra aleatoria de tamaño n de una población normal con media µ y 
varianza σ ². Entonces el estimador
es el "estimador insesgado de mínima varianza" de µ, también denominado estimador MVUE (Minimum 
Variance Unbiased Estimator). 
Propiedades de los estimadores
Estimación puntual
Estimadores insesgados de mínima varianza (error cuadrático medio)
ECM(T) = E{(T - θ)²} = E(T² - 2T θ + θ ²) = E(T²) - 2 θ E(T) + θ ²
Sumando y restando [E(T)]² a ambos lados de la ecuación se tiene que:
ECM(T) = {E(T²) - [E(T)]²}+ {[E(T)]² - 2 θ E(T) + θ ²}
ECM(T) = V(T) + [θ - E(T)]²
Si T es un estimador sesgado de un parámetro θ es preferible juzgar sus méritos y realizar las 
comparaciones de eficiencia sobre la base del "error cuadrático medio".
Definición. Sea T cualquier estimador de un parámetro θ. Se define el error cuadrático medio como el 
valor esperado del cuadrado de la diferencia entre el estimador T y el parámetro θ que trata de estimar.
ECM(T) = E{(T - θ)2}
Para saber por qué es tan importante el error cuadrático medio ECM, veamos cómo se puede expresar:
De lo anterior se concluye que el ECM está compuesto por dos cantidades no negativas, que son:
· La varianza del estimador T.
· El cuadrado del sesgo del estimador.
El ECM involucra las dos propiedades más importantes de un estimador → la varianza del estimador 
debe ser lo más pequeña posible, y la distribución de muestreo del estimador debe concentrarse 
alrededor del parámetro.
Propiedades de los estimadores
Estimación puntual
Estimadores insesgados de mínima varianza (error estándar)
Es un indicador de la precisión de un estimador (reporte de una estimación puntual).
Definición. El error estándar de un estimador T es su desviación estándar 
Para la media el error estándar sería
Aunque en el cálculo del error estándar intervienen parámetros desconocidos cuyos valores se 
pueden estimar, la sustitución de estas estimaciones en el cálculo produce el "error estándar 
estimado" del estimador. El error estándar estimado se puede denotar por
Propiedades de los estimadores
Estimación puntual
Estimadores insesgados de mínima varianza (error estándar)
Si estamos estimando una proporción θ, entonces su mejor estimativo será la proporción muestral 
y el error estándar será
El error máximo ocurre cuando θ = 0.5, y será
Si n = 50 el error máximo será 
Propiedades de los estimadores
Estimación puntual
Estimadores consistentes
Muchas veces no es posible encontrar estimadores que tengan todas las propiedades deseables de 
muestras pequeñas, como insesgamiento y eficiencia. Es razonable esperar que un estimador mejore 
a medida que se aumenta el tamaño de la muestra. Cuando el tamaño de la muestra es muy grande
los estimadores tomarán, por lo general, valores muy próximos a los parámetros respectivos.
En tales casos la costumbre es observar las propiedades deseables en muestras grandes. Estas se 
conocen como propiedades asintóticas. Tres de dichas propiedades que se mencionan con 
frecuencia son consistencia, insesgamiento asintótico y eficiencia asintótica. 
Definición. El estadístico T es un "estimador consistente" del parámetro θ si y solo si para cualquier 
constante positiva c se cumple que
o en forma equivalente 
Prob    −− 1nT para todo 0nn 
Es decir, al incrementar el tamaño de la muestra n, es posible hacer que el estimador Tn 
quede arbitrariamente cercano al valor verdadero de θ con una probabilidad arbitrariamente 
próxima a 1.
Propiedades de los estimadores
Estimación puntual
Estimadores consistentes
Este enunciado se escribe:
( ) 1lim =−→ nn TP
( ) 0lim =→ pnp TpoT 
(plim es el limite en probabilidad)
Se dice que T converge en probabilidad a θ . En la práctica, se estima el subíndice n de T y así 
mismo se omiten las palabras “sucesión de estimadores” y solo se dice que T es un estimador 
consistente de θ
Una condición suficiente para que T sea consistente es que el sesgo y la varianza deberá tender a 0 a 
medida que aumenta el tamaño de la muestra. Con frecuencia es bueno verificar esta condición en la 
práctica. Pero debe observarse que no es una condición necesaria. Un estimador puede ser 
consistente aun si el sesgo no tiene cero.
Existen asimismo algunas relaciones en los límites de probabilidad que son útiles para demostrar la 
consistencia, y son:
22112211 ylimpcylimpc)ycyclim(p +=+ donde c1 y c2 son constantes
)lim)(lim()lim( 2121 ypypyyp =
)ylimp/()ylimp()y/ylim(p 2121 = suponiendo que 012 ylimp
1.S
i 
cylimp = y )y(g es una función continua de y, entonces )c(glimp)y(glimp =
Propiedades de los estimadores
Estimación puntual
Estimadores consistentes
La consistencia es una propiedad asintótica (propiedad límite).
Ejemplo. La media muestral es un estimador consistente de μ, y la proporción muestral P = X/n es a 
su vez un estimador consistente de la proporción poblacional μ.
Teorema. El estadístico T es un "estimador consistente" del parámetro θ si:
1) T es un estimador insesgado.
2) V(T) → 0 cuando n→ ∞.
Las dos condiciones anteriores son suficientes, pero no son necesarias. Es decir, si un 
estimador cumple las dos condiciones, entonces ese estimador es consistente, pero el hecho de no 
cumplirlas, no quiere decir que no lo sea. Un estimador sesgado puede ser consistente solo si es 
asintóticamente insesgado, es decir, que se vuelve insesgado cuando n→ ∞.
Ejemplo. Es T=X1 un estimador consistente de la media poblacional μ?
Tenemos que E(T) =E( X1) = X1, es decir es insesgado, y V(T) = V(X1) = c2. Como la varianza 
del estimador no tiende a cero, entonces no es consistente, lo cual se puede verificar al aplicar 
la desigualdad de Chevyshef, que expresa lo siguiente:
la cual no tiende a cero cuando n→ ∞, es decir, que X1 no tiende a μ cuando n es grande.
Propiedades de los estimadores
Estimación puntual
Estimadores consistentes (otras propiedades asintóticas)
Además de la consistencia, existen otros dos conceptos, insesgamiento asintótico y eficiencia 
asintónica, que muchas vecesse emplea en econometría. 
Para explicar estos conceptos primero es necesario definir el concepto de distribución limite, que es, 
si se considera una sucesión de variables aleatorias Y1, Y2,… Yn con las correspondientes funciones 
de distribución F1, F2,… Fn , se dice que esta sucesión converge en distribución a una variable 
aleatoria y con función de distribución F si
→n)x(Fn cuando
para todos los puntos de continuidad de F.
Es importante observar que los momentos de F no son necesariamente los momentos de Fn . De hecho 
en econometría muchas veces se da el caso de que Fn no tiene momentos, pero F sí.
Ejemplo: Suponga que x es una variable aleatoria con:
 0 media 
 varianza 2
0)0( == cxP
Suponga que se tiene una muestra aleatoria de tamaño 
nx,x,x,x:n 321
Propiedades de los estimadores
Estimación puntual
Estimadores consistentes (otras propiedades asintóticas)
Sea 
nx
la media de la muestra aleatoria. El subíndice n denota el tamaño de la muestra. Defina 
la variable aleatoria 
nn x/y 1=
Entonces 
)y(E n
no existe, porque hay una probabilidad positiva de que 
021 === nxxx  0 si == nn xy
Sin embargo en este caso es posible demostrar que 






−

11
nx
n
tiene una distribución límite que es normal con media 0 y varianza 
42  /
Ejemplo:
Propiedades de los estimadores
Estimación puntual
Estimadores consistentes (otras propiedades asintóticas)
Ejemplo:
Aun así, si la distribución de Yn no tiene una media y una varianza, su distribución límite tienen
/1=media
42 /var  nianza =
Cuando se consideran las distribuciones asintóticas, se considera 
n
veces que el estimador, porque de otra manera la varianza es de orden 
→→ nn/ que medida a 0 que 1
Por tanto, cuando se comparan dos estimadores T1 y T2, las varianzas de las dos distribuciones 
asintóticas
0→ a medida que →n
Cuando se analiza la eficiencia, se comparan las varianzas de las distribuciones de 
21 y TnTn
Propiedades de los estimadores
Estimación puntual
Estimadores consistentes (otras propiedades asintóticas)
Insesgamiento asintótico
El estimador 
n̂
que se basa en una muestra de tamaño n, es un estimador asintóticamente insesgado de θ si la media 
de la distribución limite de
0 es )ˆ(  −nn
Esto se denota al escribir
s)asintótica asexpectariv == AE()ˆ(AE n
A veces se utiliza una definición alterna: 
n̂
es un estimador asintóticamente insesgado de θ si
=→ )ˆ(Elim n
El problema con esta definición es que tal vez no exista 
)nvar(
Propiedades de los estimadores
Estimación puntual
Estimadores consistentes (otras propiedades asintóticas)
Insesgamiento asintótico
Las dos definiciones son:
  límite.ón distribuci la de varianzala considera se si 2)ˆ(nAE n −
 2)ˆ(nElim nn −→
La consistencia y el insesgamiento asintónico son diferentes, y los dos conceptos de insesgamiento 
son asimismo diferentes; es decir, 
)ˆ(Elim)ˆ(AE),ˆlim(p nnn  y 
no siempre son lo mismo.
Ejemplo: Suponga que se tiene una muestra de tamaño n a partir de una distribución normal 
),(N 1
Considere 
xˆ n =
como un estimador de θ. Entonces:
=== )ˆ(Elim)ˆ(AE)ˆlim(p nnn
Propiedades de los estimadores
Estimación puntual
Estimadores consistentes (otras propiedades asintóticas)
Insesgamiento asintótico
Ejemplo
Pero suponga que se define
+=
n
in x
n
xˆ
2
1
2
1
2
1
Entonces
=
−
+= → )
ˆ(Elim
n
n
)ˆ(E nnn y
2
1
2
1
Pero 
+= 2121 1 /x/)
ˆlim(p n
Entonces 
)ˆ(Elim)ˆlim(p nn 
Por lo tanto se tiene un estimador asintóticamente insesgado de θ que no es consistente.
Propiedades de los estimadores
Estimación puntual
Estimadores Suficientes
Definición
Se dice que un estimador T es suficiente si utiliza toda la información relevante de la muestra 
para estimar el parámetro θ de la población. Es decir, un estimador T es suficiente si todo el 
conocimiento que se obtiene acerca del parámetro θ es mediante la especificación real de todos los 
valores de la muestra.
Ejemplo. Se tiene una muestra aleatoria (X1, X2, ..., Xn) de tamaño 30 tomada de una población 
exponencial f(x, θ), donde θ es un parámetro desconocido. Considere las dos estadísticos 
siguientes:
El estadístico T1 no es un estimador suficiente del parámetro θ mientras que T2 sí lo es.
Se dice que un estadístico T = t(X1, X2, ..., Xn) es "suficiente" para un parámetro θ si la distribución 
conjunta de X1, X2, ..., Xn dado T se encuentra libre de θ, es decir, si se afirma T, entonces X1, X2, ..., 
Xn no tienen nada más que decir acerca de θ.
Formalmente esto puede expresarse en términos de la distribución condicional de los valores de la 
muestra, dado que θ = T. Esta cantidad está dada por:
Propiedades de los estimadores
Estimación puntual
Estimadores Suficientes
Utilidad. Si un estimador insesgado T de un parámetro θ es una función de un estadístico 
suficiente, entonces tendrá la varianza más pequeña entre todos los estimadores insesgados de θ. 
Además, si existe el estimador más eficiente de θ, éste será un estadístico suficiente.
Teorema de factorización de Neyman
Sea X1, X2, ..., Xn una muestra aleatoria de una distribución con función de densidad f(x, θ). Se dice 
que el estadístico T = t(X1, X2, ..., Xn) es un estadístico suficiente para θ si y solo si la función de 
verosimilitud se puede factorizar de la siguiente manera:
L(X, θ) = h(t, θ) g(x1, x2, ..., xn)
para cualquier valor t(x1, x2, ..., xn) de T y donde g(x1, x2, ..., xn) no contiene el parámetro θ.
Ejemplo. Sea X1, X2, ..., Xn una muestra aleatoria de tamaño n de una distribución gama, cuya 
función de densidad está dada por:
La función de verosimilitud está dada por:
L(X, θ) =
Propiedades de los estimadores
Estimación puntual
Estimadores Suficientes
Ejemplo. Sea X1, X2, ..., Xn una muestra aleatoria de tamaño n de una distribución de Poisson con 
parámetro λ cuya función de densidad está dada por:
Demostrar que el estimador eficiente para λ es a su vez un estimador suficiente.
La función de verosimilitud está dada por:
donde
	Diapositiva 1
	Diapositiva 2
	Diapositiva 3
	Diapositiva 4
	Diapositiva 5
	Diapositiva 6
	Diapositiva 7
	Diapositiva 8
	Diapositiva 9
	Diapositiva 10
	Diapositiva 11
	Diapositiva 12
	Diapositiva 13
	Diapositiva 14
	Diapositiva 15
	Diapositiva 16
	Diapositiva 17
	Diapositiva 18
	Diapositiva 19
	Diapositiva 20
	Diapositiva 21
	Diapositiva 22
	Diapositiva 23
	Diapositiva 24
	Diapositiva 25
	Diapositiva 26
	Diapositiva 27
	Diapositiva 28
	Diapositiva 29