Varianza agrupada

En estadística, la varianza agrupada (también conocida como combinada, compuesta, o varianza general) es un método para estimar la varianza de varias poblaciones diferentes cuando la media de cada población puede ser diferente, pero se puede suponer que la varianza de cada población es la misma.

Bajo el supuesto de varianzas poblacionales iguales, la varianza muestral agrupada proporciona una estimación de la varianza con precisión más alta que las varianzas muestrales individuales. Esta mayor precisión puede llevar a un aumento de la potencia estadística cuando se usa en el contraste de hipótesis que comparan las poblaciones, como la prueba t de Student.

La raíz cuadrada de un estimador de varianza agrupada se conoce como desviación estándar agrupada (o también como combinada, compuesta o desviación estándar general).

En estadística, muchas veces, los datos se recopilan para una variable dependiente y, en un rango de valores para la variable independiente x. Por ejemplo, la observación del consumo de combustible podría estudiarse en función de la velocidad del motor mientras la carga del motor se mantiene constante. Si, para lograr una varianza pequeña en y, se requieren numerosas pruebas repetidas para cada valor de x, el costo de la prueba puede volverse prohibitivo. Las estimaciones razonables de varianza se pueden determinar utilizando el principio de varianza agrupada después de repetir cada prueba en una x particular solo unas pocas veces.

La varianza agrupada es una estimación de la varianza común fija ${\displaystyle \sigma ^{2}}$ que subyace a varias poblaciones que poseen diferentes medias aritméticas.

Si las poblaciones están indexadas de acuerdo con ${\displaystyle i=1,\ldots ,k}$, entonces la varianza ${\displaystyle s_{p}^{2}}$ agrupada puede ser calculada por la media ponderada

${\displaystyle s_{p}^{2}={\frac {\sum _{i=1}^{k}(n_{i}-1)s_{i}^{2}}{\sum _{i=1}^{k}(n_{i}-1)}}={\frac {(n_{1}-1)s_{1}^{2}+(n_{2}-1)s_{2}^{2}+\cdots +(n_{k}-1)s_{k}^{2}}{n_{1}+n_{2}+\cdots +n_{k}-k}},}$

donde ${\displaystyle n_{i}}$ es el tamaño de la muestra de la población ${\displaystyle i}$ y la varianza es

${\displaystyle s_{i}^{2}}$ = ${\displaystyle {\frac {1}{n_{i}-1}}\sum _{j=1}^{n_{i}}\left(y_{j}-{\overline {y_{i}}}\right)^{2}}$.

El uso de los factores de ponderación ${\displaystyle (n_{i}-1)}$ en lugar de ${\displaystyle n_{i}}$ proviene de la corrección de Bessel.

La estimación de mínimos cuadrados no sesgada de ${\displaystyle \sigma ^{2},}$

${\displaystyle s_{p}^{2}={\frac {\sum _{i=1}^{k}(n_{i}-1)s_{i}^{2}}{\sum _{i=1}^{k}(n_{i}-1)}},}$

y la estimación de probabilidad máxima sesgada

${\displaystyle s_{p}^{2}={\frac {\sum _{i=1}^{k}(n_{i}-1)s_{i}^{2}}{\sum _{i=1}^{k}n_{i}}},}$

se utilizan en diferentes contextos. El primer indicador puede dar un ${\displaystyle s_{p}^{2}}$ no sesgado para estimar ${\displaystyle \sigma ^{2}}$ cuando los dos grupos comparten una variación de población igual. El último puede dar una ${\displaystyle s_{p}^{2}}$ más estadísticamente eficiente para estimar ${\displaystyle \sigma ^{2}}$ de forma parcial. Téngase en cuenta que las cantidades ${\displaystyle s_{i}^{2}}$ en el lado derecho de ambas ecuaciones son las estimaciones no sesgadas.

Considérese el siguiente conjunto de datos para y, obtenidos en varios niveles de la variable independiente x.

x	y
1	31, 30, 29
2	42, 41, 40, 39
3	31, 28
4	23, 22, 21, 19, 18
5	21, 20, 19, 18,17

El número de ensayos, la media, la varianza y la desviación estándar se presentan en la siguiente tabla.

x	n	ymedia	si2	si
1	3	30.0	1.0	1.0
2	4	40.5	1.67	1.29
3	2	29.5	4.5	2.12
4	5	20.6	4.3	2.07
5	5	19.0	2.5	1.58

Estas estadísticas representan la varianza y la desviación típica para cada subconjunto de datos en los diversos niveles de x. Si se puede asumir que los mismos fenómenos están generando errores experimentales en cada nivel de x, los datos anteriores se pueden "agrupar" para expresar una estimación única de varianza y desviación estándar. En cierto sentido, esto sugiere encontrar una varianza media o una desviación estándar entre los cinco resultados anteriores. Esta variación media se calcula ponderando los valores individuales con el tamaño del subconjunto para cada nivel de x. Así, la varianza agrupada se define por

${\displaystyle s_{P}^{2}={\frac {(n_{1}-1)s_{1}^{2}+(n_{2}-1)s_{2}^{2}+\cdots +(n_{k}-1)s_{k}^{2}}{(n_{1}-1)+(n_{2}-1)+\cdots +(n_{k}-1)}}}$

donde n₁, n₂,. . ., n_k son los tamaños de los subconjuntos de datos en cada nivel de la variable x, y s₁², s₂²,. . ., s_k² son sus respectivas variaciones.

La varianza agrupada de los datos mostrados arriba es por lo tanto:

${\displaystyle s_{p}^{2}=2.764\,}$

La varianza agrupada es una estimación cuando existe una correlación entre los conjuntos de datos agrupados o el promedio de los conjuntos de datos no es idéntico. Es menos precisa cuanto más distinta de cero sea la correlación o distante de los promedios entre los conjuntos de datos.

La variación de los datos para los conjuntos de datos que no se superponen es:

${\displaystyle {\begin{aligned}\sigma _{X}^{2}&={\frac {\left(\sum _{i}{\left[(N_{X_{i}}-1)\sigma _{X_{i}}^{2}+N_{X_{i}}\mu _{X_{i}}^{2}\right]}-\left[\sum _{i}{N_{X_{i}}}\right]\mu _{X}^{2}\right)}{\sum _{i}{N_{X_{i}}-1}}}\end{aligned}}}$

Donde la media se define como:

${\displaystyle {\begin{aligned}\mu _{X}&={\frac {\left(\sum _{i}{N_{X_{i}}\mu _{X_{i}}}\right)}{\sum _{i}{N_{X_{i}}}}}\end{aligned}}}$

Dada una probabilidad máxima sesgada definida como:

${\displaystyle s_{p}^{2}={\frac {\sum _{i=1}^{k}(n_{i}-1)s_{i}^{2}}{\sum _{i=1}^{k}n_{i}}},}$

Entonces, el error en la estimación de probabilidad máxima sesgada es:

${\displaystyle {\begin{aligned}Error=s_{p}^{2}-\sigma _{X}^{2}\\[3pt]={\frac {\sum _{i}(N_{X_{i}}-1)s_{i}^{2}}{\sum _{i}N_{X_{i}}}}-{\frac {1}{\sum _{i}{N_{X_{i}}-1}}}\left(\sum _{i}{\left[(N_{X_{i}}-1)\sigma _{X_{i}}^{2}+N_{X_{i}}\mu _{X_{i}}^{2}\right]}-\left[\sum _{i}{N_{X_{i}}}\right]\mu _{X}^{2}\right)\end{aligned}}}$

Asumiendo que N es grande y tal que:

${\displaystyle {\begin{aligned}\sum _{i}N_{X_{i}}\approx \sum _{i}{N_{X_{i}}-1}\end{aligned}}}$

entonces el error en la estimación se reduce a:

${\displaystyle {\begin{aligned}E=-{\frac {\left(\sum _{i}{\left[N_{X_{i}}\mu _{X_{i}}^{2}\right]}-\left[\sum _{i}{N_{X_{i}}}\right]\mu _{X}^{2}\right)}{\sum _{i}N_{X_{i}}}}\\[3pt]=\mu _{X}^{2}-{\frac {\sum _{i}{\left[N_{X_{i}}\mu _{X_{i}}^{2}\right]}}{\sum _{i}N_{X_{i}}}}\\[3pt]\end{aligned}}}$

O alternativamente:

${\displaystyle {\begin{aligned}E=\left[{\frac {\sum _{i}{N_{X_{i}}\mu _{X_{i}}}}{\sum _{i}{N_{X_{i}}}}}\right]^{2}-{\frac {\sum _{i}{\left[N_{X_{i}}\mu _{X_{i}}^{2}\right]}}{\sum _{i}N_{X_{i}}}}\\[3pt]={\frac {\left[\sum _{i}{N_{X_{i}}\mu _{X_{i}}}\right]^{2}-\sum _{i}N_{X_{i}}\sum _{i}{\left[N_{X_{i}}\mu _{X_{i}}^{2}\right]}}{\left[\sum _{i}N_{X_{i}}\right]^{2}}}\end{aligned}}}$

En lugar de estimar la desviación estándar agrupada, a continuación se describe la forma de agregar de forma exacta la desviación estándar cuando hay más información estadística disponible.

Las poblaciones de una serie de conjuntos, que pueden superponerse, se calculan simplemente de la siguiente manera:

${\displaystyle {\begin{aligned}&&N_{X\cup Y}&=N_{X}+N_{Y}-N_{X\cap Y}\\\end{aligned}}}$

Las poblaciones de conjuntos, que no se superponen, pueden calcularse de la siguiente manera:

${\displaystyle {\begin{aligned}X\cap Y=\varnothing &\Rightarrow &N_{X\cap Y}&=0\\&\Rightarrow &N_{X\cup Y}&=N_{X}+N_{Y}\end{aligned}}}$

Las desviaciones estándar de las subpoblaciones no superpuestas (X ∩ Y = ∅) se pueden agregar de la siguiente manera si se conoce el tamaño (real o relativo entre sí) y las medias de cada una:

${\displaystyle {\begin{aligned}\mu _{X\cup Y}&={\frac {N_{X}\mu _{X}+N_{Y}\mu _{Y}}{N_{X}+N_{Y}}}\\[3pt]\sigma _{X\cup Y}&={\sqrt {{\frac {N_{X}\sigma _{X}^{2}+N_{Y}\sigma _{Y}^{2}}{N_{X}+N_{Y}}}+{\frac {N_{X}N_{Y}}{(N_{X}+N_{Y})^{2}}}(\mu _{X}-\mu _{Y})^{2}}}\end{aligned}}}$

Por ejemplo, supóngase que se sabe que el hombre estadounidense promedio tiene una altura media de 70 pulgadas con una desviación estándar de tres pulgadas y que la mujer estadounidense promedio tiene una altura media de 65 pulgadas con una desviación estándar de dos pulgadas. También se asume que el número de hombres, N, es igual al número de mujeres. Entonces, la media y la desviación estándar de las alturas de los adultos estadounidenses podrían calcularse como

${\displaystyle {\begin{aligned}\mu &={\frac {N\cdot 70+N\cdot 65}{N+N}}={\frac {70+65}{2}}=67.5\\[3pt]\sigma &={\sqrt {{\frac {3^{2}+2^{2}}{2}}+{\frac {(70-65)^{2}}{2^{2}}}}}={\sqrt {12.75}}\approx 3.57\end{aligned}}}$

Para el caso más general de poblaciones no superpuestas M, X₁ hasta X_M, y población agregada ${\displaystyle \scriptstyle X\,=\,\bigcup _{i}X_{i}}$,

${\displaystyle {\begin{aligned}\mu _{X}&={\frac {\sum _{i}N_{X_{i}}\mu _{X_{i}}}{\sum _{i}N_{X_{i}}}}\\[3pt]\sigma _{X}&={\sqrt {{\frac {\sum _{i}N_{X_{i}}\sigma _{X_{i}}^{2}}{\sum _{i}N_{X_{i}}}}+{\frac {\sum _{i<j}N_{X_{i}}N_{X_{j}}(\mu _{X_{i}}-\mu _{X_{j}})^{2}}{{\big (}\sum _{i}N_{X_{i}}{\big )}^{2}}}}}\end{aligned}}}$,

donde

${\displaystyle X_{i}\cap X_{j}=\varnothing ,\quad \forall \ i<j.}$

Si se conoce el tamaño (real o relativo entre sí), la media y la desviación estándar de dos poblaciones superpuestas para las poblaciones, así como su intersección, entonces la desviación estándar de la población general aún se puede calcular de la siguiente manera:

${\displaystyle {\begin{aligned}\mu _{X\cup Y}&={\frac {1}{N_{X\cup Y}}}\left(N_{X}\mu _{X}+N_{Y}\mu _{Y}-N_{X\cap Y}\mu _{X\cap Y}\right)\\[3pt]\sigma _{X\cup Y}&={\sqrt {{\frac {1}{N_{X\cup Y}}}\left(N_{X}[\sigma _{X}^{2}+\mu _{X}^{2}]+N_{Y}[\sigma _{Y}^{2}+\mu _{Y}^{2}]-N_{X\cap Y}[\sigma _{X\cap Y}^{2}+\mu _{X\cap Y}^{2}]\right)-\mu _{X\cup Y}^{2}}}\end{aligned}}}$

Si se agregan dos o más conjuntos de datos uno a uno, la desviación estándar del resultado se puede calcular si se conoce la desviación estándar de cada conjunto de datos y la covarianza entre cada par de conjuntos de datos:

${\displaystyle \sigma _{X}={\sqrt {\sum _{i}{\sigma _{X_{i}}^{2}}+2\sum _{i,j}\operatorname {cov} (X_{i},X_{j})}}}$

Para el caso especial donde no existe una correlación entre ningún par de conjuntos de datos, entonces la relación se reduce a la raíz de la suma de cuadrados:

${\displaystyle {\begin{aligned}&\operatorname {cov} (X_{i},X_{j})=0,\quad \forall i<j\\\Rightarrow &\;\sigma _{X}={\sqrt {\sum _{i}{\sigma _{X_{i}}^{2}}}}.\end{aligned}}}$

Las desviaciones estándar de submuestras no superpuestas (X ∩ Y = ∅) se pueden agregar de la siguiente manera si se conocen el tamaño real y las medias de cada una de ellas:

${\displaystyle {\begin{aligned}\mu _{X\cup Y}&={\frac {1}{N_{X\cup Y}}}\left(N_{X}\mu _{X}+N_{Y}\mu _{Y}\right)\\[3pt]\sigma _{X\cup Y}&={\sqrt {{\frac {1}{N_{X\cup Y}-1}}\left([N_{X}-1]\sigma _{X}^{2}+N_{X}\mu _{X}^{2}+[N_{Y}-1]\sigma _{Y}^{2}+N_{Y}\mu _{Y}^{2}-[N_{X}+N_{Y}]\mu _{X\cup Y}^{2}\right)}}\end{aligned}}}$

Para el caso más general de los conjuntos de datos no superpuestos M, X₁ hasta X_M, y el conjunto de datos agregados ${\displaystyle \scriptstyle X\,=\,\bigcup _{i}X_{i}}$,

${\displaystyle {\begin{aligned}\mu _{X}&={\frac {1}{\sum _{i}{N_{X_{i}}}}}\left(\sum _{i}{N_{X_{i}}\mu _{X_{i}}}\right)\\[3pt]\sigma _{X}&={\sqrt {{\frac {1}{\sum _{i}{N_{X_{i}}-1}}}\left(\sum _{i}{\left[(N_{X_{i}}-1)\sigma _{X_{i}}^{2}+N_{X_{i}}\mu _{X_{i}}^{2}\right]}-\left[\sum _{i}{N_{X_{i}}}\right]\mu _{X}^{2}\right)}}\end{aligned}}}$

donde

${\displaystyle X_{i}\cap X_{j}=\varnothing ,\quad \forall i<j.}$

Si se conoce el tamaño, la media y la desviación estándar de dos muestras superpuestas para cada muestra, así como su intersección, la desviación estándar de la muestra agregada aún se puede calcular. En general,

${\displaystyle {\begin{aligned}\mu _{X\cup Y}&={\frac {1}{N_{X\cup Y}}}\left(N_{X}\mu _{X}+N_{Y}\mu _{Y}-N_{X\cap Y}\mu _{X\cap Y}\right)\\[3pt]\sigma _{X\cup Y}&={\sqrt {\frac {[N_{X}-1]\sigma _{X}^{2}+N_{X}\mu _{X}^{2}+[N_{Y}-1]\sigma _{Y}^{2}+N_{Y}\mu _{Y}^{2}-[N_{X\cap Y}-1]\sigma _{X\cap Y}^{2}-N_{X\cap Y}\mu _{X\cap Y}^{2}-[N_{X}+N_{Y}-N_{X\cap Y}]\mu _{X\cup Y}^{2}}{N_{X\cup Y}-1}}}\end{aligned}}}$

• d de Cohen (tamaño del efecto).
• Distribución T² de Hotelling
• Grado de libertad agregado
• Gran media

• Killeen PR (May 2005). «An alternative to null-hypothesis significance tests». Psychol Sci 16 (5): 345-53. PMC 1473027. PMID 15869691. doi:10.1111/j.0956-7976.2005.01538.x. 

• IUPAC Gold Book - desviación estándar agrupada
• Pooled Standard Deviation
• También se refiere a la d de Cohen (en la página 6) (enlace roto disponible en Internet Archive; véase el historial, la primera versión y la última).