UNIDAD 6 LIBRO PRUEBA DE HIPOTESIS

Vista previa del material en texto

Lic. Julio Vargas Herbas **UAGRM** ESTADÍSTICA INFERENCIAL 
CARRERAS: CONTADURÍA PÚBLICA-INFORMACIÓN Y CONTROL DE GESTIÓN 158 
 
 
PRUEBA DE 
HIPÓTESIS 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Lic. Julio Vargas Herbas **UAGRM** ESTADÍSTICA INFERENCIAL 
CARRERAS: CONTADURÍA PÚBLICA-INFORMACIÓN Y CONTROL DE GESTIÓN 159 
 
Ensayo de hipótesis 
Una hipótesis estadística o simplemente hipótesis es una afirmación o aseveración sobre el valor de un solo parámetro (característica de una 
población o característica de una distribución de probabilidad), sobre los valores de varios parámetros o sobre la forma de una distribución 
de probabilidad completa. 
OBJETIVOS 
 Interpretar las definiciones básicas de las hipótesis estadísticas. 
 Resolver problemas de aplicación a la economía. 
HIPOTESIS ESTADISTICAS 
En muchos problemas de ciencia, ingeniería, contabilidad y administración, se requiere que se tome una decisión entre aceptar o rechazar 
una proposición sobre algún parámetro. Esta proposición recibe el nombre de HIPÓTESIS, y el procedimiento de toma de decisión sobre la 
hipótesis se conoce como PRUEBA DE HIPÓTESIS. 
Este es uno de los aspectos más útiles de inferencia estadística, puesto que muchos tipos de toma de decisiones, pruebas o experimentos 
pueden formularse como problemas de pruebas de hipótesis. Es conveniente considerar la prueba de hipótesis como un experimento de 
comparación, es decir una vez planteada la hipótesis, hay que volver a plantearla de tal forma que se pueda comparar a través de métodos 
estadísticos. 
 HIPOTESIS NULA Ho 
Se denomina así a toda hipótesis que tiene el único propósito de ser rechazada o aceptada. Siempre viene dada en forma de igualdad y se 
denota por Ho. Es la pretensión que inicialmente se supone cierta (la pretensión de “creencia verdadera”). Por ejemplo: 
a). El 45.5 % de los estudiantes de comunicación y medios, fuma. 
b). Un dentista reclama que el 5% de sus pacientes sufren enfermedades en las encías. 
 HIPOTESIS ALTERNATIVA H1 
Toda hipótesis que difiera de una dada recibe este nombre. Se denota por H1. Afirmación que se aceptará si los datos muéstrales 
proporcionan evidencia de que la hipótesis nula es falsa. Es la aseveración contradictoria de H0. 
 NIVEL DE SIFNIFICACION  
Es una región crítica o de rechazo es una parte de la curva de z o de la curva t donde se rechaza H0 
 ERROR DE TIPO I 
Es el error que se comete cuando se rechaza una hipótesis nula Ho cuando esta sea verdadera. 
 ERROR DE TIPO II 
Es el error que se comete cuando se acepta una hipótesis nula Ho cuando esta es falsa. 
 
La hipótesis nula será rechazada a favor de la hipótesis alternativa solo si la evidencia muestral sugiere que H0 es falsa. Si la muestra no 
contradice fuertemente a H0, se continuara creyendo en la factibilidad de la hipótesis nula. Las dos posibles conclusiones derivadas de un 
análisis de prueba de hipótesis son entonces rechazar H0 o no rechazar H0. 
La situación se puede esquematizar: 
 H0 cierta H0 falsa 
 
H0 rechazada Error tipo I () Decisión correcta 
H0 se acepta Decisión correcta Error tipo II () 
Si la probabilidad de cometer un error de tipo I está unívocamente determinada, su valor se suele denotar por la letra griega 𝜶, y en las 
mismas condiciones, se denota por 𝜷 la probabilidad de cometer el error de tipo II, esto es: 
𝑷(𝒆𝒔𝒄𝒐𝒈𝒆𝒓 𝑯𝟏\𝑯𝟎 𝒆𝒔 𝒄𝒊𝒆𝒓𝒕𝒂) =∝
𝑷(𝒆𝒔𝒄𝒐𝒈𝒆𝒓 𝑯𝟎\𝑯𝟏 𝒆𝒔 𝒄𝒊𝒆𝒓𝒕𝒂) = 𝜷
 
Cuando es necesario diseñar un contraste de hipótesis, sería deseable hacerlo de tal manera que las probabilidades de ambos tipos de error 
fueran tan pequeñas como fuera posible. Sin embargo, con una muestra de tamaño prefijado, disminuir la probabilidad del error de tipo I, 𝜶, 
conduce a incrementar la probabilidad del error de tipo II, 𝜷. 
Usualmente, se diseñan los contrastes de tal manera que la probabilidad 𝜶 sea el 5% (0,05), aunque a veces se usan el 10% (0,1) o 1% (0,01) 
para adoptar condiciones más relajadas o más estrictas. El recurso para aumentar la potencia del contraste, esto es, disminuir 𝜷, 
probabilidad de error de tipo II, es aumentar el tamaño muestral, lo que en la práctica conlleva un incremento de los costes del estudio que 
se quiere realizar. 
CONTRASTE DE HIPOTESIS DE MEDIAS 
Al realizar el contraste de hipótesis se presentan varias situaciones, nosotros estudiaremos la prueba de hipótesis usando la distribución 
normal, t-student y de proporciones. 
 
 
Lic. Julio Vargas Herbas **UAGRM** ESTADÍSTICA INFERENCIAL 
CARRERAS: CONTADURÍA PÚBLICA-INFORMACIÓN Y CONTROL DE GESTIÓN 160 
 
¿Cómo escoger el estadístico de prueba a usar? 
Cuando se hace una prueba para la media poblacional de una muestra grande y se conoce la desviación estándar, el estadístico de prueba 
está dado por: 
𝒁 =
�̅� − 𝝁
𝝈
√𝒏
 
Aquí 𝝈 es desconocida, así que se estimará con la desviación estándar de la muestra 𝑺. Siempre que el tamaño de muestra n sea mayor a 30, 
Z puede aproximarse con: 
𝒁 =
�̅� − 𝝁
𝑺
√𝒏
 
En la prueba para una media poblacional con muestra pequeña (menor o igual a 30) y desviación estándar poblacional desconocida se utiliza 
el valor estadístico t. 
𝒕 =
�̅� − 𝝁
𝑺
√𝒏
 
Al realizar la prueba podremos realizar un gráfico que nos ayude a realizar la comparación. Este gráfico estará dividido en 2 zonas: 
 
 
Se presentan 3 gráficos posibles: 
 
 
Al realizar la prueba se deberá seguir los siguientes pasos: 
 
 
Lic. Julio Vargas Herbas **UAGRM** ESTADÍSTICA INFERENCIAL 
CARRERAS: CONTADURÍA PÚBLICA-INFORMACIÓN Y CONTROL DE GESTIÓN 161 
 
EJEMPLO#372 El consumo de un automóvil en km/lts tiene distribución normal con un desvío 0,8 km/lts Con el objeto de estimar el 
consumo medio de gasolina se realizaron 40 pruebas, obteniéndose un rendimiento medio de 12,8 km/litro 
Si el fabricante afirmo que su rendimiento medio es de 12,4 km/litro, ¿puede rechazarse esta hipótesis a un nivel de significancia del 5%? 
Exprese la regla de decisión en términos de la media muestral. 
SOLUCION: 
PASO 1: Definir juego de Hipótesis 
Ho:  = 12,4 
H1 :  ≠ 12,4 
PASO 2: Nivel de Significancia 
𝟓% = 𝟎, 𝟎𝟓 ∝= 𝟎,𝟎𝟓 
(debido a que es una prueba de dos colas se divide entre dos) 
0,05/2 = 0,025 
0,95+0,025 = 0,975 Este es el número que buscamos en la tabla de Z⟹0,975 = 1,96 
PASO 3: Calcular estadístico de prueba: 
Debido a que si conocemos la desviación estándar utilizaremos la siguiente formula: 
𝒁 =
�̅� − 𝝁
𝝈
√𝒏
=
𝟏𝟐,𝟖 − 𝟏𝟐, 𝟒
𝟎, 𝟖𝟎
√𝟒𝟎
=
𝟎,𝟒𝟎
𝟎, 𝟖𝟎
√𝟒𝟎
=
𝟎,𝟒𝟎
𝟎, 𝟖𝟎
𝟔, 𝟑𝟐
=
𝟐, 𝟓𝟐𝟖
𝟎, 𝟖𝟎
= 𝟑, 𝟏𝟔 𝒁𝒄 → (𝒄𝒂𝒍𝒄𝒖𝒍𝒂𝒅𝒐 𝒔𝒂𝒍𝒊𝒐 𝟑,𝟏𝟔) 
PASO 4: Formular Regla de decisión: 
Si H0<H1 se acepta H0, 1,96<3,16 cumple la condición se acepta H0. 
aceptaremos Ho si Zc es ≠ al valor crítico y aceptamos H0 ; Valor critico se saca de la tabla si P=0,975 entonces Z=1,96 
PASO 5: TOMAR LA DECISIÓN 
¡ SE ACEPTA ¡ H0, Debido a que 3,16 es diferente a 1,96 y se acepta H0 
 
EJEMPLO#373 Un semillero publicita que el peso promedio de una espiga de una cierta variedad es de 180 gramos con una desviación 
estándar de 30 gramos. Un productor de avanzada sospecha que el peso es distinto de 180 gramos, decide por lo tanto conducir un 
experimento. Tamaño de la muestra 50, y media muestral fue 187 gramos. 
El propósito del mismo es ver si el peso de 180 gramos es incorrecto. Por lo tanto la hipótesis nula de interés es: H0 :  = 180 gramos. 
La hipótesis alternativa (H1) da una suposición opuesta a aquella presentada en la hipótesis nula. El experimento se lleva a cabo para 
conocer si la hipótesis alternativa puede ser sustentada. 
En el ejemplo previo el productor sospecha que el peso medio es distinto de 180 gramos. Esta esla hipótesis a ser sustentada y así la 
hipótesis alternativa es: 
𝑯𝟏: 𝝁 > 𝟏𝟖𝟎 𝒈𝒓𝒂𝒎𝒐𝒔 ó 𝝁 < 𝟏𝟖𝟎 𝒈𝒓𝒂𝒎𝒐𝒔 ó 𝝁 ≠ 𝟏𝟖𝟎 𝒈𝒓𝒂𝒎𝒐𝒔 
Se puede ver que las hipótesis son excluyentes. La hipótesis alternativa frecuentemente se llama hipótesis de investigación, porque este tipo 
de hipótesis expresa la teoría que el investigador o experimentador cree va a ser verdadera. 
Para el ejemplo si la media fuera menor que 180 gr o mayor que 180 gr esta sustentaría la hipótesis alternativa ( ≠ 𝟏𝟖𝟎). 
Resumiendo, en el ejemplo considerado el productor aceptando un error de ∝= 𝟎, 𝟎𝟓 (𝟓%), conocido también como nivel de significación y 
utilizando la estadística Z, plantearía la hipótesis como sigue: 
PASO 1: Definir juego de Hipótesis 
𝑯𝟎 ∶  = 𝟏𝟖𝟎 𝒈𝒓𝒂𝒎𝒐𝒔 𝑯𝟏: 𝝁 ≠ 𝟏𝟖𝟎 𝒈𝒓𝒂𝒎𝒐𝒔 
PASO 2: Nivel de Significancia 
5% = 0,05 (debido a que es una prueba de dos colas se divide entre dos) 0,05/2 = 0,025 
0,95+0,025 = 0,975 Este es el número que buscamos en la tabla de Z. 0,975 = 1,96 
PASO 3: Calcular estadístico de prueba: 
𝑴𝒆𝒅𝒊𝒂 𝒅𝒆 𝒍𝒂 𝒎𝒖𝒆𝒔𝒕𝒓𝒂 �̅� = 𝟏𝟖𝟕; 𝒎𝒆𝒅𝒊𝒂 𝒉𝒊𝒑𝒐𝒕é𝒕𝒊𝒄𝒂(𝒑𝒐𝒃𝒍𝒂𝒄𝒊𝒐𝒏𝒂𝒍 𝝁 = 𝟏𝟖𝟎; 𝝈 = 𝟑𝟎 (𝒄𝒐𝒏𝒐𝒄𝒊𝒅𝒐);𝒏 = 𝟓𝟎 𝒕𝒂𝒎𝒂ñ𝒐 𝒅𝒆 𝒍𝒂 𝒎𝒖𝒆𝒔𝒕𝒓𝒂 
Suponiendo que los resultados del experimento produjeron una media muestral de 187 gramos, el test estadístico se 
construirá como sigue: 
 
Lic. Julio Vargas Herbas **UAGRM** ESTADÍSTICA INFERENCIAL 
CARRERAS: CONTADURÍA PÚBLICA-INFORMACIÓN Y CONTROL DE GESTIÓN 162 
 
𝒁 =
�̅� − 𝝁
𝝈
√𝒏
=
�̅� − 𝝁
𝝈�̅�
=
𝟏𝟖𝟕− 𝟏𝟖𝟎
𝟑𝟎
√𝟓𝟎
=
𝟕
𝟑𝟎
𝟓√𝟐
=
𝟕
𝟑√𝟐
=
𝟕
𝟒, 𝟐𝟒𝟐𝟔
= 𝟏, 𝟔𝟓 ↔ 𝒁𝒄: 𝒛 𝒄𝒂𝒍𝒄𝒖𝒍𝒂𝒅𝒐 
PASO 4: Formular Regla de decisión: Si H0<H1 se acepta H0, 1,96<1,65 No cumple la condición se rechaza la H0. 
Rechazaremos Ho si Zc es ≠ al valor crítico y aceptamos H1 
PASO 5: TOMAR LA DECISIÓN 
Como el valor de z calculado= 1,65 es menor que 1,96 o sea cae en la región de aceptación , no hay evidencias suficientes como para 
rechazar la hipótesis de que la media de la población es igual a 180. 
Conclusión: la publicidad que hace el semillero de que el peso promedio de las espigas de una cierta variedad es de 180 gramos, es correcta, 
aunque podría existir una probabilidad de error tipo II, si de hecho la media de tal variedad no fuera 180 gramos. 
 
HIPÓTESIS UNILATERALES 
Si en el mismo ejemplo, el productor, basándose en algún conocimiento de la variedad en cuestión sospechara que el peso 
promedio de las espigas es menor que 180, las hipótesis se plantearían como: 
H0: 𝝁 = 𝟏𝟖𝟎 gramos ó H0 : 𝝁 > 𝟏𝟖𝟎 gramos H1: 𝝁 < 𝟏𝟖𝟎 gramos ∝= 𝟎, 𝟎𝟓 
En este caso la desigualdad de la hipótesis alternativa indica cuál sería la zona de rechazo, el valor de ∝ ya no se particiona sino que 
se acumula todo hacia un solo lado, el izquierdo en este ejemplo y el valor tabulado de Z se busca en la tabla con un valor de 
probabilidad del 95% siendo Z= -1,64 (el signo negativo no figura en la tabla ya que siendo la distribución normal simétrica, lo que se 
hace es anteponer el signo negativo al valor de Z que corresponde al nivel de probabilidad especificado). 
 
Si por otra parte, el productor sospechara que el peso promedio es mayor que 180 gramos, la hipótesis y la zona de rechazo se plantearían como: 
H0: 𝒎 = 𝟏𝟖𝟎 gramos ó H0 : 𝒎 < 𝟏𝟖𝟎 gramos H1: 𝒎 > 𝟏𝟖𝟎 gramos ∝= 𝟎, 𝟎𝟓 
 
 
Lic. Julio Vargas Herbas **UAGRM** ESTADÍSTICA INFERENCIAL 
CARRERAS: CONTADURÍA PÚBLICA-INFORMACIÓN Y CONTROL DE GESTIÓN 163 
 
En ambas situaciones el test estadístico se construye como: 
𝒁 =
�̅� − 𝝁
𝝈
√𝒏
=
�̅� − 𝝁
𝝈�̅�
=
𝟏𝟖𝟕− 𝟏𝟖𝟎
𝟑𝟎
√𝟓𝟎
⟹ {
𝒄𝒖𝒂𝒏𝒅𝒐 𝝈𝟐 𝒔𝒆 𝒅𝒆𝒔𝒄𝒐𝒏𝒐𝒄𝒆,
𝒆𝒍 𝒕𝒆𝒔𝒕 𝒆𝒔𝒕𝒂𝒅𝒊𝒔𝒕𝒊𝒄𝒐 𝒔𝒆 
𝒄𝒐𝒏𝒔𝒕𝒓𝒖𝒚𝒆 𝒄𝒐𝒎𝒐:
}⟹ 𝒕 =
�̅� − 𝝁
𝑺
√𝒏
 
Este valor difiere del anterior en que, en lugar de aparecer la desviación estándar de la población, nos encontramos con su 
estimador muestral insesgado S, que se distribuye, t de Student (t ~ t(n-1)). 
 
CONTRASTE DE HIPÓTESIS RESPECTO A UNA MEDIA POBLACIONAL (S desconocido) 
Las hipótesis se plantean de forma similar al caso en que S es conocido, pero la estadística de prueba es la "t" de Student. 
 
EJEMPLO#374 Para estimar el rendimiento de parcelas plantadas con papa de una cierta variedad, se cosecharon ocho de ellas, 
obteniéndose la siguiente información expresada en kg/parcela: 
4,5 5,3 5,4 4,9 5,3 5,7 6,2 4,8 
¿Se puede asegurar, con a =0,05, de que esta variedad de papas tiene un rendimiento promedio de 5,25 kg y varianza 0,2884? 
𝑯𝟎: 𝝁 = 𝟓, 𝟐𝟓 𝒚 𝑯𝟏: 𝝁 ≠ 𝟓, 𝟐𝟓 
A partir de los datos se calcula �̅� y 𝑺, para este ejemplo �̅� = 𝟓, 𝟓𝟔𝟐𝟓 y 𝑺𝟐 = 𝟎,𝟐𝟖𝟖𝟒. 
𝒕 =
�̅� − 𝝁
𝑺
√𝒏
=
𝟓,𝟓𝟔𝟐𝟓 − 𝟓,𝟐𝟓
𝟎, 𝟓𝟑𝟕𝟎
√𝟖
= 𝟏, 𝟔𝟒𝟔𝟎 𝒕(𝒄𝒂𝒍𝒄𝒖𝒍𝒂𝒅𝒐 ó 𝒖𝒕𝒊𝒍𝒊𝒛𝒂𝒏𝒅𝒐 𝒍𝒂 𝒇𝒐𝒓𝒎𝒖𝒍𝒂) 
Como tenemos GL=n-1=8-1=7 ver tabla de t, a=0,025 entonces 2,365. 
Como el valor de t calculado cae entre -2,365 y 2,365(valor tabulado de t para 7 GL y a=0,025 NO SE RECHAZA LA HIPOTESIS NULA). 
Conclusión: No hay suficiente evidencia, a partir de los datos de la muestra, para decir que el rendimiento de papa por 
parcela no es igual a 5,25. 
 
CONTRASTE DE HIPÓTESIS REFERENTES A UNA PROPORCIÓN POBLACIONAL (P) 
Las hipótesis formuladas son: 
H0: 𝑷 ≥ 𝑷𝟎 H1: 𝑷 < 𝑷𝟎 ∝= 𝟎, 𝟎𝟓 
En el caso del parámetro poblacional "P", cuando el tamaño de la muestra es grande, la variable aleatoria proporción muestral "p" se 
distribuye aproximadamente normal con esperanza igual a P y desviación estándar igual: 
𝝈 = √
𝑷𝟎 ∗ 𝑸𝟎
𝒏
 
Por eso se puede utilizar "p" como criterio de test para probar la hipótesis con respecto al parámetro proporción poblacional. El test 
estadístico Z se calcula: 
𝒁 =
(𝒑 − 𝑷𝟎)
√𝑷𝟎 ∗ 𝑸𝟎
𝒏
 
Gráficamente podemos establecer la correspondiente región de rechazo de H0 en la cola de la distribución normal: 
 
 
 
 
 
 
 
Lic. Julio Vargas Herbas **UAGRM** ESTADÍSTICA INFERENCIAL 
CARRERAS: CONTADURÍA PÚBLICA-INFORMACIÓN Y CONTROL DE GESTIÓN 164 
 
EJEMPLO#375 Se supone que en un cierto partido de la provincia de Santa Cruz, el 90% de los productores cultivan maíz. 
De 110 productores de la zona que se encuestaron, 95 hacen maíz. ¿Está este resultado en conformidad con el valor 
supuesto?. (a = 0,05). 
SOLUCION: 
Las hipótesis formuladas son: 
H0: 𝑷𝟎 = 𝟎,𝟗𝟎 H1: 𝑷𝟎 ≠ 𝟎, 𝟗𝟎 𝒑 = 
𝟖𝟑
𝟗𝟓
=
𝟖𝟑
𝟗𝟓
= 𝟎, 𝟖𝟕𝟑𝟕 ≅ 𝟎, 𝟖𝟕 
 
𝒁 =
(𝒑 − 𝑷𝟎)
√𝑷𝟎 ∗ 𝑸𝟎
𝒏
=
(𝟎, 𝟖𝟕 − 𝟎,𝟗𝟎)
√𝟎,𝟗𝟎 ∗ 𝟎, 𝟏𝟎
𝟗𝟓
= −𝟎,𝟗𝟕 
Como el valor calculado de Z = –0,97 reside entre los valores tabulados –1,96 y 1,96 (valores críticos de la distribución normal 
) no se rechaza H0. 
Conclusión, la información proporcionada por la muestra no es suficiente como para decir que la proporción de productores 
de tal partido que cultivan maíz es distinto de 90%. 
 
EJEMPLO#376 Se supone que en un cierto partido de la provincia de Santa Cruz, el 90% de los productores cultivan maíz. 
De 110 productores de la zona que se encuestaron, 95 hacen maíz. ¿Está este resultado en conformidad con el valor 
supuesto?. (a = 0,05). 
SOLUCION: 
Las hipótesis formuladas son: 
H0: 𝑷𝟎 = 𝟎,𝟗𝟎 H1: 𝑷𝟎 ≠ 𝟎, 𝟗𝟎 𝒑 = 
𝟖𝟑
𝟗𝟓
=
𝟖𝟑
𝟗𝟓
= 𝟎, 𝟖𝟕𝟑𝟕 ≅ 𝟎, 𝟖𝟕 
 
𝒁 =
(𝒑 − 𝑷𝟎)
√𝑷𝟎 ∗ 𝑸𝟎
𝒏
=
(𝟎, 𝟖𝟕 − 𝟎,𝟗𝟎)
√𝟎,𝟗𝟎 ∗ 𝟎, 𝟏𝟎
𝟗𝟓
= −𝟎,𝟗𝟕 
Como el valor calculado de Z = –0,97 reside entre los valores tabulados –1,96 y 1,96 (valores críticos de la distribución normal 
) no se rechaza H0. 
Conclusión, la información proporcionada por la muestra no es suficiente como para decir que la proporción de productoresde tal partido que cultivan maíz es distinto de 90%. 
 
EJEMPLO#377 Se supone que en un cierto partido de la provincia de Santa Cruz, el 90% de los productores cultivan maíz. 
De 110 productores de la zona que se encuestaron, 95 hacen maíz. ¿Está este resultado en conformidad con el valor 
supuesto?. (a = 0,05). 
SOLUCION: 
Las hipótesis formuladas son: 
H0: 𝑷𝟎 = 𝟎,𝟗𝟎 H1: 𝑷𝟎 ≠ 𝟎, 𝟗𝟎 𝒑 = 
𝟖𝟑
𝟗𝟓
=
𝟖𝟑
𝟗𝟓
= 𝟎, 𝟖𝟕𝟑𝟕 ≅ 𝟎, 𝟖𝟕 
 
𝒁 =
(𝒑 − 𝑷𝟎)
√𝑷𝟎 ∗ 𝑸𝟎
𝒏
=
(𝟎, 𝟖𝟕 − 𝟎,𝟗𝟎)
√𝟎,𝟗𝟎 ∗ 𝟎, 𝟏𝟎
𝟗𝟓
= −𝟎,𝟗𝟕 
Como el valor calculado de Z = –0,97 reside entre los valores tabulados –1,96 y 1,96 (valores críticos de la distribución normal 
) no se rechaza H0. 
Conclusión, la información proporcionada por la muestra no es suficiente como para decir que la proporción de productores 
de tal partido que cultivan maíz es distinto de 90%. 
 
 
 
EXCELENCIA!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!16 DE JUNIO DE 1979!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!