Ruido, muestras y pruebas A/B

Empecemos con una escena de C01. El equipo entrena un modelo nuevo, lo examina con 1,000 fotos etiquetadas por personas y el modelo acierta en 850: una accuracy de 85 %. Alguien pregunta en la junta: «¿entonces el modelo acierta el 85 %?».

La respuesta honesta es «más o menos». Con otras 1,000 fotos al azar habría salido 84 %, 86 % u 85.4 %, con exactamente el mismo modelo: solo cambian las fotos que tocaron. Esta lección trata de esa diferencia: de dónde sale, cuánto mide y cómo decidir sin que te engañe.

Una convención para todo lo que sigue: cuando un porcentaje cambia, la diferencia se cuenta en puntos porcentuales, o simplemente «puntos». De 85 % a 86 % hay 1 punto. Y «±» se lee «más o menos».

La población y la muestra

Lo que de verdad quieres saber es qué tan bien le va al modelo con todas las fotos que van a subir los vendedores. Ese conjunto completo es la población (population), y tiene una accuracy exacta, un número fijo. Pero nadie la puede medir: son millones de fotos, siguen llegando, y etiquetar cada una cuesta dinero y tiempo de una persona.

Por eso se mide una parte, una muestra (sample). Las 1,000 fotos del examen son una muestra, y su 85 % es una estimación del número de la población. Para que una muestra sirva, una regla manda sobre todas: que se elija al azar, con la misma oportunidad de entrar para cada foto.

Si la muestra es al azar, su error es puro ruido: a veces de más, a veces de menos, y con más fotos se achica. Si se eligió con un criterio que tiene que ver con lo que mides, el error es un sesgo: empuja siempre hacia el mismo lado y no se arregla con más fotos.

Cinco exámenes, cinco números

Hagamos el experimento que en la vida real nadie hace, porque cuesta mucho: examinar al mismo modelo cinco veces, cada vez con 100 fotos distintas al azar. Supón que en toda la población acierta exactamente el 85 %. Los cinco exámenes dan 81 %, 89 %, 85 %, 82 % y 88 %. (Son números inventados, pero del tamaño que de verdad salen; en la siguiente sección lo comprueba una simulación.)

Ninguno de los cinco está mal: cada uno midió bien sus 100 fotos. La variación entre ellos es lo que aquí llamamos ruido (noise): la parte del resultado que depende de qué fotos te tocaron y no del modelo. ¿Cuánto se dispersan? Para eso hay una cuenta.

Varianza y desviación estándar

Primero, el promedio de los cinco: (81 + 89 + 85 + 82 + 88) ÷ 5 = 425 ÷ 5 = 85. Después, qué tan lejos queda cada uno del promedio: −4, +4, 0, −3 y +3.

Si promedias esas distancias tal cual, da 0, porque las de arriba y las de abajo se cancelan: el promedio está justo en medio, siempre. Por eso se elevan al cuadrado. Así todas quedan positivas, y una distancia grande pesa más que dos chicas (4² = 16, mientras que 2² + 2² = 8). El promedio de los cuadrados es la varianza (variance). Su raíz es la desviación estándar (standard deviation), que regresa a las unidades originales: puntos de accuracy, no «puntos al cuadrado».

La desviación estándar se escribe σ (sigma) y se lee como «la distancia típica al promedio». Con ella ya contestas mejor en la junta: «85 %, y un examen de 100 fotos se mueve unos 3 puntos».

¿Por qué cuadrados y no las distancias sin signo? Por una propiedad que vas a usar en toda la lección: las varianzas de cosas independientes se suman. Si dos números se mueven cada uno por su lado (son independientes: lo que sale en uno no cambia el otro), la varianza de su suma, y también la de su resta, es la suma de sus varianzas. Con las distancias sin signo eso no pasa. Gracias a eso, en la siguiente sección se calcula el ruido de un examen sin repetirlo.

import statistics

examenes = [81, 89, 85, 82, 88]          # % de aciertos en 5 exámenes de 100 fotos
print("promedio:", statistics.mean(examenes))
print("entre n:    ", statistics.pvariance(examenes), round(statistics.pstdev(examenes), 2))
print("entre n − 1:", statistics.variance(examenes), round(statistics.stdev(examenes), 2))

promedio: 85
entre n:     10 3.16
entre n − 1: 12.5 3.54

¿Y si repites el examen no cinco veces, sino mil? Con una computadora se puede: se simula un modelo que acierta el 85 % y se le toman muchos exámenes con fotos al azar. Con exámenes de 1,000 fotos, los resultados se amontonan cerca de 85 y se vuelven raros hacia los lados, con una forma muy particular.

La forma que toman los promedios

Esa forma se llama distribución normal (normal distribution), o campana de Gauss. Una distribución dice cómo se reparten unos valores: cuáles salen seguido y cuáles casi nunca. La normal queda definida por dos números: su centro (el promedio) y su ancho (la desviación estándar).

¿Por qué aparece? El resultado de un examen es el promedio de 1,000 piezas chiquitas: cada foto vale 1 si el modelo acierta y 0 si falla, y cada una se eligió sin importar las demás. Cuando muchas piezas pequeñas e independientes se suman, los golpes de suerte para arriba y para abajo se compensan, y lo más común es quedar cerca del centro; para irse a una orilla, casi todas tendrían que salir del mismo lado. Que esa suma tome justo la forma de campana, sin importar cómo se reparta cada pieza, es el teorema del límite central. Por él, casi todo lo que se mide como promedio de muchos datos (una accuracy, una tasa de aceptación, la diferencia entre dos grupos) tiene forma de campana.

La regla 68–95–99.7

En cualquier campana, lo que cae cerca del centro se cuenta en desviaciones estándar, y siempre da lo mismo:

Para ser exactos, el 95 % queda a 1.96 desviaciones (a 2 hay 95.4 %); en la práctica se usan los dos. Con exámenes de 1,000 fotos la desviación es de 1.1 puntos (ahorita la calculamos), así que dos de cada tres exámenes caen entre 83.9 % y 86.1 %, y 19 de cada 20, entre 82.7 % y 87.3 %. Un examen que diera 80 % quedaría a más de 4 desviaciones del 85: eso ya no es mala suerte, algo cambió.

El error estándar

La desviación estándar del resultado de un examen (no de cada foto) tiene nombre propio, porque se usa muchísimo: error estándar (standard error, SE). Contesta «¿cuánto se movería este número si repitiera la medición con otra muestra?», y no hace falta repetir el examen para saberlo: sale de una cuenta en tres pasos.

1. 1

   Una foto

   Vale 1 con probabilidad p = 0.85 y 0 con probabilidad 0.15. Su promedio es 0.85, y su varianza es p × (1 − p) = 0.85 × 0.15 = 0.1275. Compruébalo con la definición: el 85 % de las veces la distancia al promedio es 0.15, y el 15 % de las veces, −0.85. Entonces 0.85 × 0.15² + 0.15 × 0.85² = 0.0191 + 0.1084 = 0.1275.

2. 2

   La suma de n fotos

   Las fotos se eligieron independientes, así que sus varianzas se suman: la cantidad de aciertos tiene varianza n × 0.1275.

3. 3

   El promedio

   El resultado del examen es esa cantidad dividida entre n. Dividir todos los números entre n divide las distancias entre n, y sus cuadrados entre n², así que la varianza queda en n × 0.1275 ÷ n² = 0.1275 ÷ n.

La raíz de eso es el error estándar de una proporción:

error estándar = √(p × (1 − p) ÷ n)

En la vida real no conoces el p verdadero, así que pones el que mediste. Con cientos de fotos, el que mediste está lo bastante cerca para que la cuenta casi no cambie.

El ruido baja con la raíz de n

Fíjate dónde quedó n: adentro de una raíz. Eso tiene una consecuencia enorme: el ruido baja con la raíz del número de datos. Para la mitad del ruido necesitas 4 veces las fotos; para la décima parte, 100 veces.

Mira la primera fila: con 100 fotos, la fórmula dice 3.6 puntos. Los cinco exámenes de la sección anterior, inventados de ese tamaño a propósito, se dispersaron 3.5 (dividiendo entre n − 1). La fórmula da ese número sin repetir nada.

Comprobémoslo en Python. El código simula 2,000 exámenes de cada tamaño con un modelo que acierta 85 % y mide cuánto se dispersan los resultados:

import random, statistics

random.seed(7)
P = 0.85                 # lo que de verdad acierta el modelo (en la vida real no lo sabes)

def examen(n):
    """Toma n fotos al azar y devuelve el % de aciertos."""
    aciertos = sum(random.random() < P for _ in range(n))
    return 100 * aciertos / n

for n in [100, 1000, 4000]:
    resultados = [examen(n) for _ in range(2000)]      # 2,000 exámenes distintos
    de = statistics.stdev(resultados)
    dentro = sum(abs(r - 85) <= 2 * de for r in resultados) / len(resultados)
    print(f"n = {n:5}  promedio = {statistics.mean(resultados):.2f} %"
          f"  desviación = {de:.2f} puntos  a menos de 2 desviaciones: {dentro:.1%}")
print("la fórmula:", [round(100 * (P * (1 - P) / n) ** 0.5, 2) for n in [100, 1000, 4000]])

n =   100  promedio = 84.99 %  desviación = 3.62 puntos  a menos de 2 desviaciones: 95.9%
n =  1000  promedio = 84.96 %  desviación = 1.14 puntos  a menos de 2 desviaciones: 94.9%
n =  4000  promedio = 85.02 %  desviación = 0.57 puntos  a menos de 2 desviaciones: 95.1%
la fórmula: [3.57, 1.13, 0.56]

La dispersión simulada coincide con la fórmula, y en los tres tamaños ≈ 95 % de los exámenes caen a menos de dos desviaciones del 85: la regla 68–95–99.7 en acción. (Con 100 fotos sale un poco más, 95.9 %, porque los resultados solo pueden ser números enteros: 81, 82, 83…)

Decir «85 %» a secas esconde el ruido. Decir «85 % ± 2.2» lo muestra. Ese rango, de 82.8 % a 87.2 %, es un intervalo de confianza (confidence interval) de 95 %, y se arma con la receta de la sección anterior:

lo que mediste ± 1.96 × el error estándar (≈ ±2 errores estándar)

En la lección «¿Aprendió de verdad?» viste que el gate de C01 (el examen que decide si un modelo nuevo reemplaza al actual) no le pide al modelo nuevo «sacar más» que el actual, sino «no sacar menos» por más de 0.3 puntos. De aquí sale ese 0.3: es el margen de un examen de 50,000 fotos. Exigir «más que el actual» al décimo de punto sería decidir con ruido.

Lo que sí significa

El 95 % no es una propiedad de un intervalo en particular: es de la receta. Si sacaras 20 muestras distintas y armaras un intervalo con cada una, ≈ 19 atraparían el valor verdadero y ≈ 1 no. Con tu única muestra no sabes si te tocó uno de los 19 o el 1; sabes que la receta acierta 19 de cada 20 veces.

Lo que no significa

Las lecturas equivocadas más comunes, de la más grave a la más fina:

1. «El modelo va a dar entre 82.8 % y 87.2 % en producción.» No. El intervalo solo cubre el azar de qué fotos entraron a la muestra. Si en producción llegan otras fotos (es temporada de regreso a clases y suben mochilas), la población cambió: es drift, y el intervalo no dice nada de eso.
2. «El intervalo cubre todos los errores.» No. Si la muestra está sesgada (solo fotos de web) o las etiquetas tienen errores (ruido en las etiquetas), el intervalo sale igual de angosto y está mal. Solo mide el ruido; el sesgo hay que buscarlo aparte.
3. «El 95 % de las fotos están entre 82.8 % y 87.2 %.» No tiene sentido: cada foto es acierto o fallo. El intervalo habla del promedio, no de las fotos.
4. «Si los intervalos de dos modelos se enciman, no hay diferencia.» No necesariamente. Comparar dos intervalos no es la forma correcta de comparar dos modelos, y menos si los examinaron con las mismas fotos; eso lo arregla la prueba pareada, en la sección extra «¿Es real una mejora de 0.2 puntos?».
5. «Hay 95 % de probabilidad de que el valor verdadero esté en este intervalo.» En sentido estricto, tampoco. El valor verdadero no se mueve: está adentro o afuera de tu intervalo, y no lo sabes. El 95 % habla de la receta, como en la figura. Mucha gente lo dice así sin causar daño; los que sí lo causan son los cuatro de arriba.

Hasta aquí medimos al modelo con fotos etiquetadas, sin que nadie lo use: es lo que hace el gate de C01. Pero al negocio le importa que los vendedores acepten las sugerencias: la tasa de aceptación, la fracción de publicaciones en que el vendedor eligió una de las categorías sugeridas, hoy ≈ 70 %. Eso solo se ve con gente real. En la lección «¿Aprendió de verdad?» viste un caso de la Ronda: un modelo nuevo gana 1.5 puntos de top-5 en el golden set y, con vendedores reales, la tasa de aceptación baja 0.4 puntos.

¿Por qué no comparar antes y después?

Lo obvio sería poner el modelo nuevo el lunes y comparar la aceptación de esta semana con la de la pasada. Pero entre una semana y otra cambian muchas cosas además del modelo: empieza el regreso a clases o el Buen Fin, sale una campaña, la app cambia un botón, cae un puente. Si la aceptación sube, no hay forma de saber cuánto fue el modelo.

Dos grupos al mismo tiempo, repartidos al azar

Una prueba A/B (A/B test) reparte al azar a los usuarios en dos grupos, que funcionan al mismo tiempo:

• A, el control: recibe lo de siempre, el modelo actual.
• B, el tratamiento: recibe el cambio, el modelo nuevo.

Cada grupo se llama brazo (arm). Como los dos corren la misma semana, el regreso a clases y la campaña les tocan a los dos. Y como el reparto es al azar, todo lo demás (vendedores grandes y chicos, de celular y de web, de Monterrey y de Mérida) queda repartido parejo, incluso lo que no se te ocurrió medir. La única diferencia sistemática entre A y B es el modelo. Por eso, si B acepta más, el modelo causó la diferencia, y no solo coincidió con ella. Lo que queda es el ruido, y de eso se encarga la siguiente sección.

Supón que el A/B de C01 junta 33,000 publicaciones por brazo, el mínimo que pide su cuenta de tamaño (la ves en la siguiente sección). En A, los vendedores aceptaron la sugerencia en 23,100 (70.0 %); en B, en 23,430 (71.0 %). Un punto de diferencia. ¿Es el modelo, o es ruido?

Suponer que no pasó nada

La estadística contesta con un truco que parece al revés. En lugar de demostrar que B es mejor, supone lo contrario: que los dos modelos son igual de buenos y el punto de diferencia salió por azar. Esa suposición es la hipótesis nula (null hypothesis), y se escribe H0 («hache cero»). Después pregunta: si H0 fuera cierta, ¿qué tan raro sería ver una diferencia así de grande? Si sería rarísimo, se descarta H0: la diferencia es real.

La cuenta: cuántos errores estándar mide la diferencia

Si H0 fuera cierta, los dos brazos tendrían la misma tasa, y su mejor estimación es juntarlos: 70.5 %. La tasa de cada brazo es un promedio de 33,000 publicaciones, con varianza p × (1 − p) ÷ n, y como los brazos son independientes, la varianza de su diferencia es la suma de las dos. La diferencia dividida entre su error estándar se llama z: cuántos errores estándar mide.

Qué es el p-value, y qué no

Ese último número es el p-value (p-value, o valor p): si no hubiera ningún efecto, la probabilidad de ver una diferencia al menos tan grande como la que viste, solo por azar. Se cuentan las dos orillas de la campana porque, antes de ver los datos, B podía salir mejor o peor; a eso se le llama una prueba de dos colas.

El p-value es una de las ideas que más se leen mal en todo el oficio. Con p = 0.005:

• No es «hay 0.5 % de probabilidad de que B no sirva», ni «hay 99.5 % de probabilidad de que B sea mejor».
• No es la probabilidad de que H0 sea cierta, ni la de que «el resultado sea por azar».
• No dice qué tan grande es el efecto. Un efecto diminuto, con muchísimos datos, da un p-value chiquito.

Lo que sí dice es qué tan sorprendentes serían los datos si no pasara nada. ¿Por qué no es lo mismo que «la probabilidad de que B funcione»? Porque eso depende también de qué tan probable era que B funcionara antes de probarlo.

La significancia: el corte se fija antes

Falta decidir qué tan chico tiene que ser el p-value. Ese corte es la significancia (significance level), se escribe α (alfa) y casi siempre vale 0.05. Si el p-value queda abajo, el resultado es estadísticamente significativo y se rechaza H0. Con 0.005 < 0.05, B le gana a A.

α es también la tasa de falsas alarmas que aceptas. Si no hay ningún efecto, el 5 % de los experimentos lo «encuentra» de todas formas. Pasa hasta en un A/A, con el mismo modelo en los dos brazos. Una prueba es, en el fondo, un clasificador de experimentos: dice «hay efecto» o «no hay efecto», y se equivoca de las dos formas que ya conoces de la lección «¿Aprendió de verdad?». Declarar un efecto que no existe es un falso positivo (en estadística, error tipo I); no ver uno que sí existe, un falso negativo (error tipo II).

Ninguno de estos errores truena: la cuenta corre y el número sale. El daño es una decisión equivocada, tomada con mucha seguridad.

Leer el p-value como «la probabilidad de que funcione»

Qué pasa: el A/B da p = 0.03 y alguien reporta «97 % de seguridad de que el modelo nuevo es mejor». El p-value se calculó suponiendo que no hay efecto; no dice qué tan probable es que lo haya. Si casi ninguna idea funciona, buena parte de las «ganadoras» son falsas alarmas.

Cómo evitarlo: dilo completo: «si no hubiera diferencia, una así de grande saldría 3 % de las veces». Reporta el efecto con su intervalo, no solo el p-value.

Parar el A/B cuando se ve bien

Qué pasa: se revisa el experimento cada mañana y se para el día que p baja de 0.05: es el peeking. Con 14 miradas, las falsas alarmas pasan de 5 % a más de 20 %.

Cómo evitarlo: fija la muestra y la duración antes, con la cuenta de potencia, y decide solo al final. Los guardrails (las métricas que no pueden empeorar, como la latencia) se miran a diario para detener un daño, nunca para declarar victoria.

Medir 20 métricas y quedarte con la que salió

Qué pasa: la métrica primaria no se movió, pero «el tiempo en la página subió en celulares Android de noche». Son comparaciones múltiples. Con 20 métricas sin efecto, lo raro sería que ninguna saliera: hay 64 % de probabilidad de al menos una.

Cómo evitarlo: una métrica primaria escrita antes, que es la que decide. Las demás son pistas que se confirman con otro experimento. Si decides con varias, corrige el corte (Bonferroni o Holm).

Sortear por request cuando la unidad es el vendedor

Qué pasa: el experimento reparte cada request al azar. Ana ve sugerencias de dos modelos en la misma publicación y su comportamiento mezcla los dos. Y si se sortean vendedores pero se analizan publicaciones como independientes, la varianza sale más chica de lo que es y aparecen «ganadores» que no existen.

Cómo evitarlo: sortea por la unidad que vive la experiencia (en C01, el vendedor), con un sorteo que siempre da lo mismo para cada vendedor y cambia en cada experimento, y calcula la varianza agrupando por esa unidad.

Correr tres días e ignorar el efecto novedad

Qué pasa: la muestra se juntó en horas, el efecto se ve enorme y se lanza. A las dos semanas desaparece: era curiosidad por lo nuevo, o era un martes.

Cómo evitarlo: semanas completas (en C01, una o dos), aunque la muestra se junte antes. Mira el efecto día por día: si se va achicando, espera a que se estabilice.

Leer «no significativo» como «no hay efecto»

Qué pasa: un A/B con 5,000 publicaciones por brazo sale p = 0.27 y se concluye «el modelo nuevo no sirve». Con esa muestra, la potencia para un efecto de 1 punto era ≈ 20 %: el experimento casi no podía ver nada.

Cómo evitarlo: haz la cuenta de potencia antes. Si no se rechaza H0, reporta el intervalo del efecto: «entre −0.8 y +2.8 puntos» dice mucho más que «no significativo».

Comparar dos intervalos cuando las fotos son las mismas

Qué pasa: el modelo nuevo saca 85.2 % ± 0.3 y el actual 85.0 % ± 0.3 en el mismo golden set. Los intervalos se enciman y se concluye «empate». Pero son las mismas fotos, y foto por foto pueden ser claramente distintos.

Cómo evitarlo: compara foto por foto con una prueba pareada (McNemar o bootstrap pareado), que es lo que hace el gate de C01.

Resuélvelos con lápiz antes de abrir la solución. Los primeros cuatro son directos; los dos últimos piden juntar varias ideas.

1. 1Fácil

   Calcula la varianza y la desviación estándar de 4, 8, 6, 5 y 7, primero dividiendo entre n y después entre n − 1.

   Ver la solución paso a paso

   Promedio: 30 ÷ 5 = 6. Distancias: −2, 2, 0, −1 y 1. Cuadrados: 4, 4, 0, 1 y 1, que suman 10.

   • Entre n: 10 ÷ 5 = 2, y la desviación es √2 ≈ 1.41.
   • Entre n − 1: 10 ÷ 4 = 2.5, y la desviación es √2.5 ≈ 1.58.
2. 2Fácil

   Un modelo acierta 90 % en un examen de 400 fotos. ¿Cuál es el error estándar y cuál el intervalo de 95 %?

   Ver la solución paso a paso

   Varianza de una foto: 0.9 × 0.1 = 0.09. Entre n: 0.09 ÷ 400 = 0.000225. Raíz: √0.000225 = 0.015, o sea 1.5 puntos.

   Margen de 95 %: 1.96 × 1.5 ≈ 2.9 puntos. Intervalo: de 87.1 % a 92.9 %.

3. 3Fácil

   Un examen de 2,500 fotos da un margen de ±1.4 puntos. ¿Cuántas fotos necesitas para ±0.7? ¿Y para ±0.35?

   Ver la solución paso a paso

   El margen baja con la raíz de n: para la mitad del margen hacen falta 4 veces las fotos.

   • ±0.7 es la mitad de ±1.4: 4 × 2,500 = 10,000 fotos.
   • ±0.35 es la mitad otra vez: 4 × 10,000 = 40,000 fotos, 16 veces el examen original.
4. 4Fácil

   El dashboard de un A/B muestra 8 métricas, cada una con su prueba a α = 0.05, y el modelo nuevo no cambia nada. ¿Cuántas falsas alarmas esperas? ¿Qué probabilidad hay de al menos una? ¿Qué corte usarías con Bonferroni?

   Ver la solución paso a paso

   • Falsas alarmas esperadas: 8 × 0.05 = 0.4.
   • Ninguna falsa alarma: 0.95⁸ ≈ 0.663. Al menos una: 1 − 0.663 ≈ 34 %, una de cada tres veces.
   • Bonferroni: 0.05 ÷ 8 = 0.00625 en cada métrica.
5. 5Medio

   Un A/B termina con 2,000 usuarios por brazo. En A aceptan 1,400 (70 %) y en B 1,460 (73 %). ¿Es significativo a α = 0.05? ¿Qué tan grande puede ser el efecto?

   Ver la solución paso a paso

   Tasa juntando los brazos

   2,860 ÷ 4,000

   =0.715

   Error estándar de la diferencia

   √(0.715 × 0.285 × 2 ÷ 2,000) ≈ 0.0143

   =1.43 puntos

   z

   3 ÷ 1.43

   ≈ 2.1

   p-value

   dos colas, más allá de 2.1

   ≈ 0.036

   Resultado

   p < 0.05: es significativo, aunque no por mucho.

   El intervalo de 95 % del efecto es 3 ± 1.96 × 1.43 ≈ 3 ± 2.8: de +0.2 a +5.8 puntos. B es mejor, pero no se sabe si por casi nada o por mucho. Si al negocio solo le sirve una mejora de 2 puntos o más, todavía no está claro que la tenga.

6. 6Medio

   Configuraste un A/B con 10 % del tráfico en el tratamiento. De 200,000 publicaciones, al tratamiento llegaron 19,400. ¿Es azar? ¿Qué haces?

   Ver la solución paso a paso

   Al tratamiento llegó 19,400 ÷ 200,000 = 9.7 %. Si el reparto funcionara, sería 10 %, con un error estándar de √(0.1 × 0.9 ÷ 200,000) ≈ 0.00067, o 0.067 puntos.

   La diferencia, 0.3 puntos, son 0.3 ÷ 0.067 ≈ 4.5 errores estándar: p ≈ 0.00001. No es azar, aunque 9.7 % parezca casi 10 %.

   Es un sample ratio mismatch: algo pierde publicaciones del tratamiento (por ejemplo, el modelo nuevo es más lento y más requests se cortan antes de quedar en el log). Las que se pierden no son al azar, así que la métrica primaria no se lee hasta encontrar la causa.

7. 7Medio

   Un A/B da p = 0.03. ¿Cuáles de estas frases son correctas? (a) Hay 3 % de probabilidad de que el modelo nuevo no sirva. (b) Hay 97 % de probabilidad de que el modelo nuevo sea mejor. (c) Si no hubiera ninguna diferencia, una al menos así de grande saldría ≈ 3 % de las veces. (d) El efecto es grande.

   Ver la solución paso a paso

   Solo la (c) es correcta: es la definición del p-value.

   • (a) y (b) dan la vuelta a la pregunta. El p-value se calcula suponiendo que no hay efecto; no dice qué tan probable es que lo haya, y eso depende también de qué tan probable era antes de probar.
   • (d) No: el p-value mezcla el tamaño del efecto con la cantidad de datos. Con millones de usuarios, un efecto diminuto da p chiquito. El tamaño se lee en la diferencia y su intervalo.
8. 8Medio

   Una página de registro convierte 20 % de las visitas. Quieres detectar una subida a 22 % con α = 0.05 y potencia de 80 %. ¿Cuántas visitas por brazo pide la regla de bolsillo? ¿Y para ver de 20 % a 21 %?

   Ver la solución paso a paso

   Varianza de una visita: 0.20 × 0.80 = 0.16. MDE: 2 puntos = 0.02, al cuadrado 0.0004.

   Regla de bolsillo: 16 × 0.16 ÷ 0.0004 = 6,400 visitas por brazo (la fórmula completa da 6,510).

   Para 20 % → 21 %, el MDE es la mitad, así que la muestra es 4 veces más: 16 × 0.16 ÷ 0.0001 = 25,600 por brazo (la completa, 25,583).

9. 9Reto

   En el golden set de 50,000 fotos, el modelo nuevo acierta solo él en 600 fotos y el actual solo él en 500. ¿Cuánto mejora el nuevo? ¿Es significativo con una prueba pareada? ¿Pasa el gate de C01? Compáralo con el caso de 1,050 contra 950.

   Ver la solución paso a paso

   La mejora es (600 − 500) ÷ 50,000 = 100 ÷ 50,000 = +0.2 puntos, igual que en el caso de 1,050 contra 950.

   Discrepancias

   600 + 500

   =1,100

   z

   (600 − 500) ÷ √1,100 = 100 ÷ 33.2

   ≈ 3.0

   p-value

   dos colas, más allá de 3.0

   ≈ 0.003

   Error estándar de la diferencia

   √1,100 ÷ 50,000

   ≈ 0.066 puntos

   Intervalo de 95 %

   0.2 ± 1.96 × 0.066

   =+0.07 a +0.33

   Resultado

   Significativo, y el extremo de abajo, +0.07, queda muy por encima de −0.3: pasa el gate.

   Con 1,050 contra 950 la mejora era la misma, pero con 2,000 discrepancias: z ≈ 2.24 y p ≈ 0.025. Con casi la mitad de discrepancias, la misma diferencia se distingue mejor. Comparadas como muestras independientes (con accuracies de ≈ 85 %), las dos darían el mismo z ≈ 0.89 y p ≈ 0.38.

10. 10Reto

    Tu jefa quiere un A/B de C01 que vea 0.5 puntos de mejora sobre la aceptación de 70 % (α = 0.05, potencia de 80 %), con solo 10 % del tráfico en el tratamiento, y propone lanzar el modelo la primera mañana que p < 0.05. (a) ¿Cuántas publicaciones por brazo pide la fórmula, sin y con el design effect de 1.4 de la sección de trampas? (b) ¿En cuánto tiempo las junta el tratamiento? (c) ¿Qué le contestas sobre revisarlo cada mañana, y cuánto debe durar?

    Ver la solución paso a paso

    (a) Con MDE de 0.5 puntos, la fórmula completa da 131,229 publicaciones por brazo (la regla de bolsillo, 16 × 0.21 ÷ 0.005² = 134,400). Con el design effect de 1.4: 131,229 × 1.4 ≈ 183,700.

    Esa fórmula supone brazos iguales. Con un control 9 veces más grande, su ruido casi no pesa y al tratamiento le basta algo más de la mitad: ≈ 73,000 (≈ 102,000 con el design effect). Usar el número de brazos iguales es ir a la segura.

    (b) El tratamiento recibe 10 % de ≈ 2.5 M publicaciones al día: 250,000. 131,229 ÷ 250,000 ≈ 0.52 días ≈ 12.6 horas; con el design effect, 183,700 ÷ 250,000 ≈ 0.73 días ≈ 18 horas. Con brazos desiguales, ≈ 7 y ≈ 10 horas. El control, con 90 % del tráfico, termina antes.

    (c) Parar en el primer p < 0.05 es peeking: con 14 miradas, las falsas alarmas pasan de 5 % a más de 20 %. La propuesta: fijar desde hoy dos semanas completas, aunque la muestra se junte en un día, por el ciclo semanal, el efecto novedad y las recategorizaciones que llegan tarde. Cada mañana sí se miran el reparto y los guardrails, para detener un daño, no para declarar victoria.

En la Ronda:

• M10 · MLOps arma el gate de C01 con lo de las secciones extra: comparación pareada sobre el golden set (McNemar, con 1,100 contra 900), no inferioridad con margen de −0.3 puntos, otra comparación contra el modelo de hace 3 meses, McNemar por categoría con Holm sobre 100 y la dispersión entre semillas (≈ 0.09 puntos) para definir «reproducible».
• M11 · Despliegue seguro dedica una sección al A/B: la unidad de aleatorización, la métrica primaria y sus guardrails, las ≈ 33,000 publicaciones por brazo, por qué dura semanas, el peeking (21.5 % en su simulación), el sample ratio mismatch y la interferencia entre brazos. También trae dos alternativas: interleaving, que compara dos rankings dentro de la misma lista, y bandits.
• M12 · Monitoreo usa los intervalos para elegir ventanas (en C04, una tasa de 10 % medida con una semana de laminillas de un laboratorio trae ±1.1 puntos; con cuatro semanas, ±0.56) y explica la fatiga de alertas con las comparaciones múltiples.
• Los casos C01 (gate y A/B por vendedor) y C15 (A/B por persona con presupuestos separados) hacen las cuentas en grande.

En el Dojo: la estación 4, «Gate de evaluación y registry», va a armar la comparación pareada sobre el golden set, y la 10, «Rollout seguro», el camino de shadow, canary y A/B. Las dos están en preparación.

En Sensei: la siguiente lección, «Comparar distribuciones: cómo se mide el drift», usa la prueba chi-cuadrado y otras parecidas para decidir si las fotos de hoy se parecen a las de antes, y explica por qué en monitoreo se alerta por el tamaño del cambio y no por el p-value. Después, las estaciones «Gate de evaluación y registry» y «Rollout seguro» lo llevan a la práctica con C01.

Estos son los conceptos que presentó esta lección. Cada uno tiene su tarjeta con la definición completa.

Intenta responder en tu cabeza antes de abrir cada respuesta.

1. 1Un modelo saca 85 % en 1,000 fotos. ¿Por qué con otras 1,000 podría haber sacado 83 %?Ver respuesta

   Porque son una muestra, y otra muestra trae otras fotos fáciles y difíciles. El error estándar es √(0.85 × 0.15 ÷ 1,000) ≈ 1.1 puntos: un resultado a 2 puntos del 85 cabe en el ±2.2 del intervalo de 95 %.

2. 2Quieres medir con la mitad de ruido. ¿Cuántas fotos más necesitas?Ver respuesta

   Cuatro veces las fotos, porque el ruido baja con la raíz de n: √4 = 2.

3. 3¿Qué dice un p-value de 0.03?Ver respuesta

   Que si no hubiera ninguna diferencia, una al menos así de grande saldría ≈ 3 % de las veces, solo por azar. No es la probabilidad de que el tratamiento funcione, ni dice qué tan grande es el efecto.

4. 4¿Por qué el A/B de C01 sortea vendedores y no requests?Ver respuesta

   Para que cada vendedor vea siempre el mismo modelo: por request, Ana vería sugerencias de dos modelos en la misma publicación. Además, el análisis tiene que tomar en cuenta que las publicaciones de un mismo vendedor se parecen entre sí.

5. 5¿Por qué no se para el A/B el primer día que p baja de 0.05?Ver respuesta

   Porque cada mirada es otra oportunidad de que el ruido cruce la raya. Mirando 14 días, las falsas alarmas pasan de 5 % a más de 20 %. La duración se fija antes y se decide al final.

6. 6Con 20 métricas a α = 0.05 y ningún efecto real, ¿cuántas falsas alarmas esperas?Ver respuesta

   Una (20 × 0.05), y hay ≈ 64 % de probabilidad de ver al menos una (1 − 0.95²⁰). Por eso decide una métrica primaria fijada antes.

7. 7¿Por qué el gate de C01 compara los modelos foto por foto y no con dos intervalos?Ver respuesta

   Porque los dos modelos se examinan con las mismas fotos, y el ruido de qué fotos tocaron se cancela en la diferencia. Solo cuentan las fotos donde discrepan. Así, 0.4 puntos dan p ≈ 8 × 10⁻⁶ pareados y p ≈ 0.08 por separado.