¿Cuál es la relación entre la cero covarianza y la independencia? ¿Cuáles son ejemplos en la ciencia de las variables que no son independientes...

Independencia, en teoría de la probabilidad: se refiere, aplicado a 2 sucesos, a que la probabilidad de cada uno de los sucesos no está influida porque el otro suceso ocurra o no.

Independencia (probabilidad) - Wikipedia, la enciclopedia libre

En nomenclatura matemática se diría que:

A y B son independientes <=> P(A|B) = P(A)
y, también,
A y B son independientes <=> P(B|A) = P(B)
(que, como veremos, es equivalente a lo anterior).

Y esto es equivalente a que:
A y B son independientes <=> P(A ∩ B) = P(A) * P(B)

Veamos:

P(A|B) = P(A ∩ B) / P(B)
(definición de probabilidad condicionada)

Entonces : P(A ∩ B) = P(A|B) * P(B)
y como P(A|B) = P(A)
(una definición de independencia probabilística)
Entonces
P(A ∩ B) = P(A) * P(B)
(llegamos a la otra definición equivalente)

Lo mismo si hubiésemos partido de P(B|A) = P(B)

Y la recíproca también puede probarse:

Si P(A ∩ B) = P(A) * P(B)
entonces :

P(A ∩ B) / P(A) = P(B)

y

P(A ∩ B) / P(B) = P(A)

Si en lugar de eventos hablásemos de variables aleatorias la independencia sería que la probabilidad de que una tome unos valores no depende de los valores que tome la otra… Es decir, que dado un valor de una de ellas, la distribución de probabilidades de la otra no cambia.

En nomenclatura matemática sería:

P(X=x; Y=y) = P(X=x) * P(Y=y)
para cualquier x e y (valores)

y esto sería equivalente a:

P(X ∈ A; Y ∈ B) = P(X ∈ A) * P(Y ∈ B)
para todo A y B (conjuntos)

Ahora vamos con la covarianza.
Es un valor que indica el “grado de variación conjunta de dos variables” respecto a sus medias.
Covarianza - Wikipedia, la enciclopedia libre

Y se define matemáticamente como:

cov(X,Y)=E[(X−E[X])∗(Y−E[Y])]cov(X,Y)=E[(X−E[X])∗(Y−E[Y])]

siendo E[.] el operador Esperanza o “Valor Esperado”

Ese operador es como una "media": si se aplica a X, sería E[X], que es la media probabilística de la X. Si se aplica a Y, sería E[Y], que es la media probabilística de la Y.
Pero la covarianza aplica el operador E[.] a un producto de variables.

En lenguaje llano sería como decir “el valor esperado de un producto, como si hicieses la media del producto X * Y quitando previamente a cada valor X e Y su media”.

Y esto es lo mismo que:

E[(X−E[X])∗(Y−E[Y])]=E[XY−E[X]∗Y−X∗E[Y]+E[X]∗E[Y]]=E[(X−E[X])∗(Y−E[Y])]=E[XY−E[X]∗Y−X∗E[Y]+E[X]∗E[Y]]=
=E[XY]−E[E[X]∗Y]−E[E[Y]∗X]+E[X]∗E[Y]==E[XY]−E[E[X]∗Y]−E[E[Y]∗X]+E[X]∗E[Y]=
=E[XY]−E[X]∗E[Y]−E[Y]∗E[X]+E[X]∗E[Y]=E[XY]−E[X]∗E[Y]−E[Y]∗E[X]+E[X]∗E[Y]

cov(X,Y)=E[X∗Y]−E[X]∗E[Y]cov(X,Y)=E[X∗Y]−E[X]∗E[Y]

Cuando dos variables son independientes su covarianza será nula.
¿Por qué?
Pues porque la covarianza es una suma ponderada por probabilidad o una integral doble … y cuando son independientes se cumple:

P(X=x; Y=y) = P(X=x) * P(Y=y)

Y, entonces, la suma de probabilidades P(X=x; Y=y) multiplicado por “x” e “y”, a lo largo de los valores de “x” e “y”
viene a ser la suma de P(X=x; Y=y) * x * y
que por la propiedad de independencia se convierte en una suma de:
P(X=x) * P(Y=y) * x * y
Y dejando una de las variables constante, por ejemplo, la “y” la suma ponderada
P(X=x)*x * P(Y=y) * y
permite sacar esa variable que no cambia en cada valor de y:
Suma para los valores de y de [ P(Y=y) * y] * Suma_x [x* P(X=x)] ] =
= Suma_x [x* P(X=x)] * Suma_y [y*P(Y=y) ] =
= E[X] * E[Y]

Así que
cov(X, Y) = E[XY] - E[X]*E[Y]
Pero como hemos visto que E[XY] en caso de ser independientes es siempre E[X]*E[Y] entonces cov(X, Y) = 0 en caso de independientes siempre.

Entonces:
X e Y independientes => cov(X, Y) = 0

Eso es una implicación a la derecha.

Pero el recíproco (la implicación a la izquierda) no es siempre cierto, cuando cov(X, Y) = 0 puede ser que X e Y no sean independientes.

Ejemplos:

X = { 1 con probabilidad 1/2 ; -1 con probabilidad 1/2 }

Y = X^2 = siempre 1

Los casos de (x,y) son solamente (1, 1) y (-1, 1), ambos con la misma probabilidad igual a 1/2… En el caso (1, 1) es x*y = 1; en el caso (-1, 1) es x*y = -1.

cov(X,Y) = E[XY] - E[X]*E[Y] = (1*1/2 + (- 1)*1/2) - E[X]*1 = 0 - 0 = 0

Y en este caso son independientes porque aunque Y se exprese como el cuadrado de X (parece depender de la X) al ser siempre el mismo valor realmente no depende de nadie, es constante. Y la X tampoco depende del valor de Y.

Sin embargo, veamos otro ejemplo que parece similar pero es muy diferente.

X = {-1 con probabilidad 1/4; 0 con p=1/2; 1 con p=1/4}

Y = X^2 = {1 con probabilidad 1/2 ; 0 con p=1/2}

La variable X podría ser el resultado una moneda que lanzamos 2 veces (o 2 monedas a la vez). A la moneda le damos valores 1/2 y -1/2 a los diferentes lados de la moneda (llamados “cara y cruz” u otros nombres según el lugar) y al sumar 2 resultados puede salir (1/2)+(1/2) = 1 con probabilidad 1/4; (1/2)+(-1/2) ó (-1/2)+(1/2)=0 con probabilidad 1/4+1/4 = 1/2 y (-1/2)+(-1/2) = -1 con probabilidad 1/4.

Y la variable Y sería simplemente el resultado de elevar al cuadrado lo que salga en la X.

Vemos que aquí sí hay dependencia, y muy grande.
Ya que sabiendo la X sabremos la Y, y sabiendo la Y en unos casos podemos saber la X y en otros no la sabemos con seguridad pero tendremos mayor probabilidad que si no sabemos la Y.

P(Y=1|X=1) = 1 pero P(Y=1) = 1/2
P(Y=0|X=1) = 0 pero P(Y=0) = 1/2
P(Y=1|X=-1) = 1 pero P(Y=1) = 1/2
P(Y=0|X=-1) = 0 pero P(Y=0) = 1/2
P(Y=1|X=0) = 0 pero P(Y=1) = 1/2
P(Y=0|X=0) = 1 pero P(Y=0) = 1/2

En todos y cada uno de los casos el valor de la Y depende del valor de la X.
La probabilidad de la Y cambia según el valor de la X, no son independientes.

P(X=1|Y=1) = 1/2 pero P(X=1) = 1/4
P(X=0|Y=1) = 0 pero P(X=0) = 1/2
P(X=-1|Y=1) = 1/2 pero P(X=-1) = 1/4
P(X=1|Y=0) = 0 pero P(X=1) = 1/4
P(X=0|Y=0) = 1 pero P(X=0) = 1/2
P(X=-1|Y=0) = 0 pero P(X=-1) = 1/4

Los casos (x,y) son:
(-1,1) con p = 1/4 … En estos casos el producto x*y = -1
(0,0) con p = 1/2 … En estos casos el producto x*y = 0
(1, 1) con p = 1/4 … En estos casos el producto x*y = 1

E[X] = -1/4 + 0*1/2 + 1/4 = 0
E[Y] = 0*1/2 + 1*1/2 = 1/2
E[X*Y] = -1*1/4 + 0*1/2 + 1*1/4 = 0

Si hiciésemos los pares (X-E[X], Y-E[Y]) quedaría:
(-1, 1/2) con p=1/4 → producto = -1/2
(0, -1/2) con p = 1/2 → producto = 0
(1, 1/2) con p = 1/4 → producto = 1/2

En este caso la covarianza es :
E[ (X-E[X])*( Y-E[Y])] = -1/2 * 1/4 + 0 + 1/2*1/4 = -1/8 + 1/8 = 0
También cov(X,Y) = E[XY] - E[X]*E[Y] = 0 - 0*1/2 = 0

Se puede ver claramente que la covarianza es 0 pero, sin embargo, no son nada independientes.

Otro ejemplo más general sería una variable X con media 0 y con E[X^3] igual a 0 y una variable Y igual a X^2

E[X*Y] = E[X * X^2] = E[X^3] = 0
E[X]*E[Y] = 0*E[Y] = 0

Y, por tanto, la covarianza será siempre 0 en estos casos.
Pero cuando X tenga más de 2 valores (con probabilidad no nula) los valores de la Y no serán constantes y hay una dependencia.

En general, se puede notar que la covarianza igual a 0 es una sola ecuación… sobre los valores de X y los de Y mientras que la independencia son muchas ecuaciones, tantas como posibles parejas (x, y) puedan darse.

Cuando tenemos muchas ecuaciones podemos concluir la ecuación de la covarianza igual a cero, como se ha demostrado, pero con una sola ecuación tenemos infinitas soluciones con muchos grados de libertad y de todas esas soluciones no siempre se cumple la condición "fuerte" que es una exigencia amplia, la independencia.