Qué mide realmente sigma
Sigma (σ) es la desviación estándar: una unidad de cuán dispersas están las mediciones. Decir que un resultado es de "tres sigma" significa que está a tres desviaciones estándar de lo que esperarías si no estuviera pasando nada interesante. Cuanto más lejos cae, más difícil es explicarlo como una casualidad del ruido aleatorio. El número en sí no es una probabilidad: se convierte en una cuando preguntas qué parte de la distribución normal queda más allá de ese punto, que es exactamente lo que hace el valor p.
Los valores p, y lo que no significan
El valor p es la probabilidad de ver un resultado al menos tan extremo como el tuyo suponiendo que no hay ningún efecto real. Un p de 0,05 significa que si no estuviera pasando nada, aun así obtendrías un resultado así de llamativo una de cada veinte veces. Lo que no significa es que haya un 95% de probabilidad de que tu hipótesis sea correcta: esa es la lectura equivocada más común de toda la estadística. El valor p describe los datos dada una hipótesis, no la hipótesis dados los datos.
¿Una cola o dos?
Usa dos colas cuando preguntas si algo es diferente, en cualquier dirección. Usa una cola cuando solo una dirección contaría como efecto. Los valores p de dos colas son exactamente el doble de los de una cola, así que el mismo sigma se ve menos impresionante en una prueba de dos colas. La física de partículas cita por convención valores de una cola, algo que conviene recordar al comparar un resultado de física contra un ensayo clínico.
Por qué la física espera cinco sigma
La mayoría de las disciplinas trata p < 0,05 (unos 2σ) como publicable. La física de partículas no: llama "evidencia" a 3σ y reserva el término "descubrimiento" para 5σ, un valor p cercano a 3 en 10 millones. La razón es la cantidad enorme de comparaciones. Cuando revisas millones de eventos de colisión en muchos rangos de energía, las coincidencias raras se vuelven rutina y un pico de 2σ en alguna parte está prácticamente garantizado. Ese listón tan alto no es que los físicos sean quisquillosos: es la respuesta correcta a mirar en muchísimos lugares a la vez.
Preguntas frecuentes
¿Qué significa 5 sigma?
Significa que un resultado está a cinco desviaciones estándar de lo esperado sin efecto, con un valor p de una cola de aproximadamente 1 en 3,5 millones. En física de partículas es el umbral convencional para hablar de descubrimiento y no de simple evidencia.
¿Cómo se convierte sigma en valor p?
El valor p es el área de la distribución normal más allá de esa cantidad de desviaciones estándar. A una cola, p = 1 − Φ(σ); a dos colas, p = 2(1 − Φ(σ)), donde Φ es la distribución normal acumulada. Esta calculadora lo hace en ambos sentidos.
¿El valor p es la probabilidad de que mi hipótesis sea falsa?
No. Es la probabilidad de obtener datos así de extremos si la hipótesis nula fuera cierta. Convertirlo en una probabilidad sobre la hipótesis misma requiere razonamiento bayesiano y una probabilidad previa, que el valor p no contiene.
¿Qué valor p corresponde a 3 sigma?
Alrededor de 0,00135 a una cola, o 0,0027 a dos colas, es decir aproximadamente 1 posibilidad entre 740 o 1 entre 370 respectivamente. La física llama a este nivel "evidencia", no descubrimiento.
¿Por qué 0,05 es el umbral habitual de significancia?
En buena medida por convención. Ronald Fisher lo propuso como regla práctica cómoda en los años veinte y quedó instalado. No tiene nada de fundamental, y hoy muchas disciplinas sostienen que es demasiado permisivo para la cantidad de hipótesis que realmente se ponen a prueba.
Referencias
- Particle Data Group, Review of Particle Physics — capítulo de estadística, sobre las convenciones de 3σ y 5σ.
- Lyons, L. (2013). Discovering the Significance of 5 sigma. arXiv:1310.1284.
- Wasserstein, R. y Lazar, N. (2016). The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2).