¿Cuál es la diferencia entre la estadística bayesiana y la estadística frecuentista?

Creo que la respuesta que hay no responde adecuadamente la pregunta. Esta respuesta va para largo porque el tema me interesa bastante.

Hay varias diferencias clave entre ellas. Primero, cómo surgieron.

Antes del S. XX las técnicas utilizadas en la Estadística no tenían ningún tipo de justificación formal ni relación entre ellas. Cuando llega el nuevo siglo, personajes como Ronald Fisher intentaron formalizar (o “matematizar”) soluciones a distintos problemas estadísticos, como el de estimación puntual. Fue así como nació la Estadística frecuentista: como una serie de técnicas con el propósito de resolver problemas de inferencia. Es y seguirá siendo muy útil. Sin embargo, pronto empezaron a salir problemas. A diferencia de las distintas ramas de las Matemáticas, la Estadística frecuentista no es una teoría: no hay una serie de axiomas de los cuales se puedan deducir las técnicas que propusieron Fisher y sus colegas.

Así, algunos estadísticos se dieron a la tarea de postular axiomas que sustenten a la Estadística y le den el carácter de teoría. El resultado es la Estadística Bayesiana, y los axiomas son los axiomas de coherencia de la Teoría de la Decisión. Así es, la Estadística Bayesiana se basa en la Teoría de la Decisión y, gracias a ésta, se le puede llamar teoría.

Otra diferencia es la interpretación que se le da a la probabilidad. Los frecuentistas definen la probabilidad como el límite de las frecuencias relativas. La probabilidad de que al lanzar un dado salga 4 es 1616 porque, si lanzo muchas veces el dado, cuento cuántas veces salió 4 y lo divido entre el total de lanzamientos, entonces ese número va a converger (en probabilidad, valga la redundancia) a 1616. Suena muy razonable, pero tiene problemas. Muchos problemas. ¿Y si el evento al que le queremos asignar probabilidad no es repetible? (e.g. ¿cuál es la probabilidad de que la copa del mundo de 2030 sea en México? Intenta repetir ese evento muchas veces). ¿Cuándo sé si ya convergí? ¿Por qué la definición de probabilidad frecuentista utiliza el concepto de convergencia en probabilidad?

En el enfoque Bayesiano la probabilidad tiene una interpretación subjetiva. Cada quien, dependiendo de la información a su alcance, asigna distintas probabilidades a un evento. A pesar de que la otra respuesta arguye que los Bayesianos asignan una probabilidad según les viene en gana, esto no es así. Y si sí, mal por el estadístico en cuestión, no por la Estadística Bayesiana. Y es que la Teoría de la Decisión ofrece una manera objetiva de medir estas probabilidades subjetivas. No es arbitrario.

Más aún, una de las limitaciones del enfoque frecuentista es que jamás le asignan probabilidades a un parámetro. Los parámetros, si bien desconocidos, son números fijos, no aleatorios. Ergo, no tiene sentido asignarles probabilidades. Los Bayesianos difieren: si hay incertidumbre, se puede y se deben asignar probabilidades. Es por ello que en el enfoque Bayesiano se habla de distribuciones inciales y finales: éstas miden la incertidumbre sobre los parámetros de interés. Y si no se tiene conocimiento del parámetro, entonces siempre se puede asignar una distribución mínimo informativa. Hay bastantes artículos en la literatura que hablan de cómo asignar probabilidades que tengan un efecto mínimo en el análisis en cuestión.

Es entonces interesante ver que algunas personas consideran que la Estadística Bayesiana no tiene ninguna base ni científica ni filosófica en qué basarse. ¡Al contrario! La Estadística frecuentista es la que no tiene fundamentos sólidos, en tanto que ésta no es una teoría axiomática. Todos los resultados de la Estadística Bayesiana se pueden derivar, matemáticamente, de los axiomas de coherencia.