Comprender el contexto y motivación del Análisis de la Varianza de un factor.
En la investigación científica es frecuente encontrarse con la necesidad de comparar entre sí diversas alternativas. Algunas de estas situaciones pueden ser las siguientes:
Todas estas situaciones tienen en común que su interés está centrado en un solo factor con varios niveles o tratamientos que pueden producir efectos distintos y, por ello, pueden ser abordadas mediante la técnica estadística del Análisis de la Varianza de un factor o una vía.
El análisis de la varianza fue desarrollado por Fisher en 1925 con el objetivo de comparar entre sí varios grupos o tratamientos mediante la descomposición de la variabilidad total de un experimento en componentes independientes que puedan atribuirse a distintas causas.
Para abordar esta situación, se seguirá la siguiente metodología:
Una compañía algodonera, interesada en maximizar el rendimiento de la semilla de algodón, desea comprobar si dicho rendimiento depende del tipo de fertilizante utilizado. A su disposición tiene 5 tipos de fertilizantes:
| Fertilizante 1 | Fertilizante 2 | Fertilizante 3 | Fertilizante 4 | Fertilizante 5 |
|---|---|---|---|---|
| 51 | 56 | 48 | 47 | 43 |
| 49 | 60 | 50 | 48 | 43 |
| 50 | 56 | 53 | 49 | 46 |
| 49 | 56 | 44 | 44 | 47 |
| 50 | 51 | 57 | 45 | 45 |
| 46 | 46 |
En este experimento, se han considerado 5 tipos de fertilizantes que se han aplicado, respectivamente, a 6, 5, 5, 4 y 6 parcelas. La variable de interés o variable respuesta es el rendimiento de la semilla en peso por unidad de superficie.
Formalizar matemáticamente el modelo estadístico para experimentos unifactoriales.
Supongamos un factor con $I$ niveles y que para el nivel $i$-ésimo se obtienen $n_i$ observaciones de la variable respuesta. Entonces se puede postular el siguiente modelo:
donde:
Estas perturbaciones deben verificar las siguientes condiciones:
En este modelo, la asignación de las unidades experimentales a los distintos niveles del factor se debe realizar de forma completamente al azar. Este modelo recibe el nombre de Diseño Completamente Aleatorizado.
En el modelo de efectos fijos el experimentador decide qué niveles concretos se van a considerar y las conclusiones obtenidas son aplicables sólo a dichos niveles.
En el modelo de efectos aleatorios, los niveles del factor se seleccionan al azar; es decir, los niveles estudiados son una muestra aleatoria de una población de niveles.
Desarrollar el modelo de efectos fijos y formular las hipótesis del contraste ANOVA.
En este modelo, los efectos $\tau_i$ son constantes desconocidas que estamos interesados en estimar. Podemos reescribir el modelo en la forma:
donde $\mu_i$ es la media correspondiente al nivel $i$-ésimo.
Las condiciones del modelo se resumen en:
Si expresamos $\mu_i$ como suma de dos términos:
donde el efecto producido por el nivel $i$-ésimo se define como la diferencia entre la media $\mu_i$ del nivel $i$ y la media general $\mu$. Se debe verificar:
Esta condición es necesaria para garantizar la identificabilidad del modelo. Sin ella, tendríamos infinitas soluciones equivalentes, ya que podríamos sumar cualquier constante $c$ a $\mu$ y restarla de todos los $\tau_i$ obteniendo el mismo modelo.
La restricción surge de la definición de $\mu$ como media ponderada de las medias poblacionales:
$$\mu = \frac{\sum_{i=1}^{I} n_i \mu_i}{N}$$
Sustituyendo $\mu_i = \mu + \tau_i$ en esta expresión:
$$\mu = \frac{\sum_{i=1}^{I} n_i (\mu + \tau_i)}{N} = \mu + \frac{\sum_{i=1}^{I} n_i \tau_i}{N}$$
Para que esta igualdad se cumpla, necesariamente $\sum_{i=1}^{I} n_i \tau_i = 0$.
En este modelo se trata de contrastar si todos los niveles del factor producen el mismo efecto:
frente a la alternativa:
o, equivalentemente, si todos los tratamientos tienen la misma media:
Si los tamaños $n_i$ de las muestras son distintos, el modelo recibe el nombre de modelo no-equilibrado o no-balanceado. Si todas las muestras tienen el mismo tamaño, $n_i = n$, el modelo se llama modelo equilibrado o balanceado.
Derivar los estimadores máximo-verosímiles de los parámetros del modelo ANOVA.
La hipótesis de normalidad sobre los términos de error permite construir la función de verosimilitud:
Maximizando el logaritmo de la verosimilitud:
Los residuos se definen como:
Para $\hat{\mu}$:
Para $\hat{\tau}_i$:
Para $\hat{\sigma}^2$: Es sesgado. El estimador insesgado (varianza residual) es:
El estimador de máxima verosimilitud para la varianza es:
Paso 1: Expresamos $y_{ij} - \bar{y}_{i.}$ en términos del modelo
Usando $y_{ij} = \mu + \tau_i + u_{ij}$ y $\bar{y}_{i.} = \mu + \tau_i + \bar{u}_{i.}$:
Paso 2: Calculamos $E\left[\sum_{j=1}^{n_i}(u_{ij} - \bar{u}_{i.})^2\right]$
Desarrollando el cuadrado:
Paso 3: Tomamos esperanza
Usando que $E[u_{ij}^2] = \sigma^2$ y $E[\bar{u}_{i.}^2] = \text{Var}[\bar{u}_{i.}] = \frac{\sigma^2}{n_i}$:
Paso 4: Sumamos sobre todos los tratamientos
Conclusión:
El sesgo es $-\frac{I}{N}\sigma^2$. Al dividir entre $N-I$ en lugar de $N$, obtenemos el estimador insesgado:
Obtener estimadores mediante el método de mínimos cuadrados y demostrar su equivalencia con MV.
Las hipótesis del modelo se pueden relajar: las perturbaciones son variables aleatorias que verifican:
Consideremos la suma de cuadrados de los errores:
Los estimadores de mínimos cuadrados son los valores de $\mu$ y $\tau_i$ que hacen mínima la suma $Q$.
Derivando e igualando a cero:
Los estimadores de mínimos cuadrados coinciden con los de máxima verosimilitud:
Los estimadores de mínimos cuadrados son los mejores estimadores lineales insesgados (BLUE: Best Linear Unbiased Estimators) de $\mu$ y $\tau_i$.
Comprender la descomposición de la variabilidad total, la ortogonalidad de los componentes y construir la tabla ANOVA.
Para comparar los efectos de los distintos niveles de un factor se emplea la técnica estadística denominada análisis de la varianza, abreviadamente ANOVA, que está basada en la descomposición de la variabilidad total de los datos en distintas componentes.
Se considera la siguiente identidad:
que expresa cada variable $y_{ij}$ como la suma de tres términos:
Por tanto, la expresión (1.23) también se puede poner en la forma:
Consideramos esta descomposición para todas las observaciones, que expresada en forma vectorial resulta:
donde:
La descomposición (1.25) está formada por componentes ortogonales dos a dos, ya que se verifica:
La ecuación (1.23) también se puede expresar de la siguiente forma:
Si elevamos al cuadrado los dos miembros de la expresión anterior y sumamos para todas las observaciones, tenemos:
Desarrollando el cuadrado:
Los dobles productos se anulan, ya que los términos son ortogonales, por lo que dicha ecuación queda en la forma:
La expresión (1.28) representa la ecuación básica del análisis de la varianza, que simbólicamente podemos escribir:
Donde hemos desglosado la variabilidad total de los datos denominada suma total de cuadrados, en dos partes:
A partir de las sumas de cuadrados anteriores se pueden construir los denominados cuadrados medios, definidos como los cocientes entre dichas sumas de cuadrados y sus correspondientes grados de libertad:
Cuadrado medio total
$$S_T^2 = \frac{SCT}{N-1}$$Cuadrado medio tratamientos
$$S_{Tr}^2 = \frac{SCTr}{I-1}$$Cuadrado medio residual
$$S_R^2 = \frac{SCR}{N-I}$$Consideremos las expresiones de $y_{i.}$, $\bar{y}_{i.}$, $y_{..}$ e $\bar{y}_{..}$, en función de los parámetros del modelo. Teniendo en cuenta que $\sum_{i} n_i \tau_i = 0$:
El cuadrado medio entre grupos se puede expresar como:
y su esperanza matemática será:
Cuadrado medio tratamientos
$$E[S_{Tr}^2] = \sigma^2 + \frac{\sum_{i=1}^{I} n_i \tau_i^2}{I-1}$$Cuadrado medio residual
$$E[S_R^2] = \sigma^2$$El estadístico de contraste para $H_0: \tau_1 = \tau_2 = \cdots = \tau_I = 0$ resulta:
| Fuente de Variación | SC | GL | CM | F |
|---|---|---|---|---|
| Tratamientos | $SCTr$ | $I-1$ | $S_{Tr}^2$ | $F$ |
| Residual | $SCR$ | $N-I$ | $S_R^2$ | |
| Total | $SCT$ | $N-1$ |
Se rechaza $H_0$ si $F > F_{\alpha, I-1, N-I}$, o equivalentemente, si el p-valor $< \alpha$.
Comprender intuitivamente cómo el estadístico F compara la variabilidad entre grupos (señal) con la variabilidad dentro de grupos (ruido).
El ANOVA responde a una pregunta fundamental: "¿La diferencia que observamos entre las medias de nuestros grupos (la señal) es lo suficientemente fuerte como para distinguirla de la variación aleatoria dentro de cada grupo (el ruido)?"
El estadístico F es simplemente esta relación:
$$F = \frac{\text{Señal}}{\text{Ruido}} = \frac{MS_{entre}}{MS_{dentro}}$$
Usa los controles para ajustar la separación entre grupos (señal) y la dispersión dentro de cada grupo (ruido). Observa cómo cambia el estadístico F:
Señal y ruido son similares.
Aplicar el ANOVA a un caso concreto de agricultura experimental y visualizar por qué una diferencia significativa requiere análisis adicional.
Un agrónomo desea comparar tres mezclas de fertilizantes para el cultivo de tomate. Asigna aleatoriamente 10 plantas a cada mezcla y mide el rendimiento en kg/planta.
F = 16.67, p-valor < 0.001
✅ Conclusión: Rechazamos $H_0$. Hay diferencias significativas entre al menos dos fertilizantes.
⚠️ Pero... ¿cuáles son diferentes entre sí? El ANOVA solo nos dice que hay diferencias, no dónde están. Necesitamos pruebas post-hoc.
Un p-valor pequeño indica significancia estadística, pero no dice nada sobre la importancia práctica. El tamaño del efecto sí lo hace:
$$\eta^2 = \frac{SC_{Trat}}{SC_{Total}}$$
En este ejemplo, η² = 0.55, lo que significa que el 55% de la variación en el rendimiento se explica por el tipo de fertilizante. ¡Es un efecto muy importante!
Comprender cuándo y cómo usar las pruebas de comparaciones múltiples después de un ANOVA significativo.
Si realizamos muchas pruebas t por pares, el error Tipo I se acumula. Con 3 grupos hay 3 comparaciones, y la probabilidad de al menos un falso positivo sube de 5% a ~14%.
La más común. Controla el FWER comparando todas las parejas de grupos. Ideal cuando quieres comparar todos los tratamientos entre sí.
Uso generalDivide α entre el número de comparaciones. Muy conservador. Útil cuando el número de comparaciones es pequeño.
ConservadorCompara cada tratamiento contra un único grupo de control. Más potente que Tukey para este caso específico.
vs ControlPermite cualquier tipo de contraste, no solo comparaciones por pares. El más flexible pero también el más conservador.
ContrastesContinuando con el experimento de fertilizantes:
| Comparación | Diferencia | IC 95% | p-valor ajustado |
|---|---|---|---|
| Mezcla 3 vs Mezcla 2 | 1.0 kg | [0.4, 1.6] | 0.002 * |
| Mezcla 3 vs Mezcla 1 | 2.0 kg | [1.4, 2.6] | < 0.001 *** |
| Mezcla 2 vs Mezcla 1 | 1.0 kg | [0.4, 1.6] | 0.002 * |
# Prueba de Tukey con statsmodels
from statsmodels.stats.multicomp import pairwise_tukeyhsd
tukey = pairwise_tukeyhsd(df['rendimiento'], df['fertilizante'], alpha=0.05)
print(tukey.summary())
Consolidar los conceptos clave del ANOVA de una vía y conocer las buenas prácticas para su correcta aplicación.
El ANOVA de una vía es una herramienta poderosa para comparar 3+ grupos evitando la inflación del error Tipo I. Recuerda: verifica supuestos → analiza → post-hoc si es significativo → reporta el tamaño del efecto.