Comparar distribuciones: cómo se mide el drift

En C01 llegan ≈ 10 M fotos al día: ≈ 2.5 M publicaciones nuevas con ≈ 3 fotos cada una, más las que mandan otros equipos. La ResNet-50 aprendió con fotos del pasado. Las etiquetas buenas de las fotos de hoy (las correcciones de moderadores, las fotos revisadas a mano) llegan días o semanas después.

Mientras tanto, hay una pregunta que no puede esperar: ¿las fotos de hoy se parecen a las de antes? Si no se parecen, el modelo puede estar fallando más sin que salga un solo error. Es el drift de la primera lección. Esta lección trata de cómo se mide.

La primera idea es comparar promedios: el brillo promedio de las fotos de hoy contra el de octubre. Es barato. Y no basta.

Mismo promedio, grupos distintos

Piensa en dos grupos de la prepa con el mismo promedio, 7, en el mismo examen. En el primero, todos sacaron entre 6 y 8. En el segundo, la mitad sacó 4 y la otra mitad 10. El promedio es idéntico y los grupos no se parecen en nada: al maestro del segundo le urge hacer algo, y el promedio no se lo dice.

Lo que hay que comparar es la distribución: qué valores aparecen y qué tan seguido. La forma más simple de verla es un histograma. Partes los valores posibles en intervalos, que se llaman bins (en Prometheus, el programa que guarda las métricas, les dicen buckets), y cuentas cuántos datos caen en cada uno.

Para las fotos de C01, un número fácil de sacar es el brillo: el promedio de todos los píxeles de la foto, de 0 (negro) a 255 (blanco). Con 5 bins de ≈ 51 niveles cada uno queda así:

Un detalle importa. No todos los días llega la misma cantidad de fotos (un día pueden ser 10 M y otro la mitad), así que no se comparan conteos: cada conteo se divide entre el total del día. Quedan proporciones que suman 1 (o 100 %). Un histograma en proporciones ya es una distribución, y dos distribuciones se comparan bin por bin aunque una tenga el doble de datos.

Para el modelo, una foto muy oscura y una casi blanca son dos problemas distintos, y en la semana de abajo son el 60 % de todo lo que llega. El promedio dice que todo sigue igual. La desviación estándar ayuda un poco (pasa de ≈ 56 a ≈ 84 niveles), pero hay distribuciones muy distintas con el mismo promedio y la misma desviación.

La salida general es comparar los histogramas completos, bin por bin, y resumir la diferencia en un solo número. Toda esta lección trata de ese número: cómo se calcula, qué tan grande tiene que ser para preocuparse y qué hacer cuando lo es.

Qué se compara en C01

Nada de esto necesita etiquetas. Se compara lo que ya tienes en el momento:

• Lo que entra. Estadísticas de cada foto: brillo, tamaño en bytes, resolución, formato. Cambian cuando cambia cómo se toman o se suben las fotos.
• Lo que sale. La categoría que predice el modelo y su confianza (el score top-1). Cambian cuando cambia lo que la gente vende, o cuando el modelo empieza a dudar.
• Lo que el modelo «ve». Los embeddings, los 2,048 números que la ResNet-50 calcula antes de su última capa. Atrapan cambios de contenido que el brillo no ve. Hay una sección extra al final.
• Las etiquetas, cuando llegan. Son lo único que prueba que el modelo empeoró. Las demás señales son alarmas tempranas.

La referencia y la ventana actual

Comparar siempre es comparar dos cosas. La referencia es una muestra de datos «normales»: los datos con los que se entrenó el modelo, o un periodo reciente que se portó bien. La ventana actual es el pedazo de datos que revisas ahora: el día de ayer, la última semana, la última hora.

C01 lo hace con un job (un programa que corre, termina y se apaga) una vez al día:

Fíjate en tres decisiones del diagrama, porque se repiten en todo el monitoreo:

1. El job no está en el camino de Ana. Lee los registros después, en lote. Medir no puede volver lenta la respuesta.
2. La alerta pide tres días seguidos. Un día raro (una campaña, un día festivo) no basta. En una sección extra ves con números por qué esto quita casi todas las falsas alarmas.
3. La alerta es un ticket, no una llamada a medianoche. Un histograma movido no tumba el servicio; se analiza con calma.

Elegir la ventana es un intercambio (un trade-off). Una ventana corta (una hora) avisa rápido, pero tiene pocos datos y mucho ruido. Una larga (una semana) es estable, pero avisa tarde. Eso, la estacionalidad y la elección de los bins están en una sección extra, con números.

Casi todas las medidas de esta lección llevan un logaritmo adentro. Ya los viste de pasada en el logit y en la entropía cruzada. Aquí van desde cero, porque sin ellos el PSI es una fórmula mágica.

Una potencia al revés

Una potencia repite una multiplicación: 2³ = 2 × 2 × 2 = 8. El logaritmo hace la pregunta al revés: ¿cuántas veces hay que multiplicar el 2 para llegar a 8? Tres. Se escribe log2 8 = 3 y se lee «logaritmo base 2 de 8».

• log2 1,024 = 10, porque 2¹⁰ = 1,024. En base 2, el logaritmo cuenta duplicaciones.
• log10 1,000 = 3, porque 10³ = 1,000. En base 10, cuenta ceros.
• ln es el logaritmo natural, en base e ≈ 2.718, el número que usa el softmax. ln 2 ≈ 0.693 y ln 10 ≈ 2.303. Es el de casi todas las fórmulas de ML y el de la tecla «ln» de la calculadora.

Las cinco reglas que vas a usar

1. El logaritmo de 1 es 0, en cualquier base (ln 1 = 0, log2 1 = 0): para llegar a 1 hay que multiplicar cero veces.
2. Un número entre 0 y 1 tiene logaritmo negativo. log2 0.5 = −1: para ir de 1 a 0.5 no multiplicas por 2, divides entre 2 una vez. Con ln pasa lo mismo: ln 0.5 = −0.693.
3. ln 0 no existe. Por más veces que dividas, nunca llegas a 0; el logaritmo de un número cada vez más cercano a 0 baja sin fondo, hacia menos infinito. Va a importar con los bins vacíos.
4. Productos en sumas y cocientes en restas. ln(a × b) = ln a + ln b, y ln(a ÷ b) = ln a − ln b. Por eso ln(b ÷ a) = −ln(a ÷ b): voltear el cociente solo cambia el signo.
5. Cambiar de base es dividir. log2 x = ln x ÷ ln 2.

Por qué un logaritmo mide cocientes

Piensa en la proporción de fotos de un bin. Si pasa de 10 % a 20 %, se duplicó; si pasa de 20 % a 40 %, también. Las diferencias son de 10 y de 20 puntos, pero los dos cocientes valen 2 y los dos logaritmos valen ln 2 = 0.693. Y si regresa de 20 % a 10 %, el logaritmo da −0.693: el mismo tamaño, con el signo contrario.

Eso es justo lo que necesitamos para comparar distribuciones. Cuatro puntos de diferencia no significan lo mismo en todos lados:

• Una categoría que pasa de 1 % a 5 % se quintuplicó: ln 5 = 1.609.
• Una que pasa de 40 % a 44 % creció 10 %: ln 1.1 = 0.095.

Los mismos 4 puntos, y el logaritmo le da 17 veces más peso al primero. Una categoría rara que se quintuplica es una noticia; una grande que crece un poco, no tanto.

El PSI (Population Stability Index, índice de estabilidad de la población) es una de las medidas de drift más usadas en la industria. Viene de los bancos: lo usan para vigilar si la gente que pide un crédito hoy se parece a aquella con la que se construyó el modelo de riesgo. Su fórmula es una suma, bin por bin:

PSI = la suma de (actual − esperado) × ln(actual ÷ esperado)

«Esperado» es la proporción de la referencia en ese bin; «actual», la de la ventana actual. Cada término tiene dos piezas:

• La diferencia, actual − esperado: cuántos puntos se movió el bin.
• El logaritmo del cociente, ln(actual ÷ esperado): cuántas veces se multiplicó.

Las dos tienen siempre el mismo signo. Si el bin creció, las dos son positivas. Si se encogió, las dos son negativas, y negativo por negativo es positivo. Por eso cada bin aporta algo mayor o igual a 0, crezca o se encoja, y el PSI solo vale 0 si los dos histogramas son idénticos.

Una semana de fotos de noche

Llega noviembre. Oscurece más temprano y muchos vendedores toman la foto en casa, de noche. Nadie tocó el modelo. El brillo de esta semana contra el de octubre (los porcentajes son de ejemplo):

Mira los bins 4 y 5. Los dos se encogieron a 0.6 veces lo que eran (el mismo logaritmo, −0.511), pero el 4 aporta el doble porque perdió el doble de puntos. El logaritmo pone el peso por cociente; la diferencia, por tamaño. El PSI necesita las dos cosas para que un bin grande que se mueve poco y uno chico que se dispara cuenten lo que deben.

Cómo se lee un PSI

Estos cortes son costumbre, no ley: vienen de la práctica de los bancos y se repiten como punto de partida. Muchos equipos actúan desde 0.2, como C01: más de 0.2 tres días seguidos abre un ticket. Lo correcto es calibrarlo: mirar cuánto se mueve el PSI en semanas normales y poner el umbral arriba de eso. El número también depende de cuántos bins uses y de cuántos datos tengas, así que un umbral no se copia de un sistema a otro.

Para las categorías se hace igual: cada categoría es un bin. C01 calcula cada día el PSI de la mezcla de categorías que predice. Si «Celulares» era el 10 % de las predicciones y hoy es el 14 %, ese bin aporta (0.14 − 0.10) × ln 1.4 = 0.04 × 0.336 ≈ 0.013.

En Python

import math

def psi(esperado, actual, eps=1e-4):
    """PSI de dos histogramas, cada uno en proporciones que suman 1."""
    total = 0.0
    for e, a in zip(esperado, actual):
        e, a = max(e, eps), max(a, eps)   # un bin en 0 haría ln(0)
        total += (a - e) * math.log(a / e)
    return total

ref    = [0.10, 0.20, 0.40, 0.20, 0.10]   # brillo: 4 semanas de octubre
normal = [0.11, 0.19, 0.41, 0.19, 0.10]   # una semana cualquiera
noche  = [0.22, 0.30, 0.30, 0.12, 0.06]   # una semana de noviembre
print("semana normal:  ", round(psi(ref, normal), 4))
print("semana de noche:", round(psi(ref, noche), 4))

vacio = [0.00, 0.25, 0.45, 0.20, 0.10]    # nadie cayó en el bin 1
for eps in [1e-3, 1e-4, 1e-6]:
    print(f"bin vacío con eps = {eps:g}:", round(psi(ref, vacio, eps), 2))

semana normal:   0.0022
semana de noche: 0.2252
bin vacío con eps = 0.001: 0.47
bin vacío con eps = 0.0001: 0.71
bin vacío con eps = 1e-06: 1.17

Mira las últimas tres líneas. Con un bin vacío, el PSI depende del piso que elegiste para no calcular ln(0): 0.47, 0.71 o 1.17, con los mismos datos. Ese número dice más de qué tan chico pusiste el piso que de qué tanto cambió el mundo. Cómo se evita está en «Errores comunes».

El PSI mide cuánto cambió. Las pruebas estadísticas de la lección de ruido responden otra pregunta: ¿hay evidencia de que cambió? Para un número como el brillo, la que más vas a oír en monitoreo es la prueba KS. Sirve, y tiene una trampa que hay que conocer antes de colgarle una alerta.

La curva acumulada

Para un número como el brillo hay una forma de comparar sin elegir bins: la curva acumulada (en inglés, CDF, de cumulative distribution function). Para cada valor x, dice qué fracción de los datos es menor o igual a x. Empieza en 0, termina en 1 y sube un escalón por cada dato.

Con 5 fotos de la referencia, de brillo 60, 95, 120, 140 y 175: hasta 59 vale 0, porque ninguna foto tiene ese brillo o menos. En 60 sube a 0.2 (1 de 5). En 95, a 0.4. En 120, a 0.6. En 140, a 0.8. En 175, a 1: ya pasaron todas. Cada dato es su propio escalón; no hay bins que elegir.

La prueba KS: la distancia más grande

La prueba de Kolmogorov–Smirnov (KS) pone juntas dos curvas acumuladas, la de la referencia y la de la ventana actual, y busca dónde se separan más. Esa distancia vertical máxima se llama D. Va de 0 (curvas idénticas) a 1 (todos los datos de una muestra quedan antes que todos los de la otra).

Las 5 fotos de esta semana tienen brillo 20, 40, 55, 100 y 125: son más oscuras. Basta revisar cada valor que aparece en alguna de las dos muestras, porque entre dos valores seguidos ninguna curva cambia.

¿Una D de 0.6 es mucho? Con 5 fotos por lado, no tanto. La prueba pregunta: si las dos muestras salieran de la misma distribución, ¿qué tan seguido saldría una D así de grande por pura suerte? Con muestras chicas se puede contar. Hay 252 formas de repartir 10 fotos en dos grupos de 5, todas igual de probables si nada cambió, y 90 dan D ≥ 0.6. El p-value es 90 ÷ 252 ≈ 0.36: pasa más de una vez de cada tres sin que nada cambie. Con 5 por lado, solo una separación total (D = 1, que sale en 2 de las 252 formas, p ≈ 0.008) pasaría el corte de 0.05 de la lección de ruido.

La trampa del n enorme

Con muestras grandes no se cuenta: hay una fórmula. La D mínima para que la prueba diga «significativo» al 5 % es ≈ 1.36 × √(2 ÷ n), con n datos en cada lado:

El umbral se encoge como 1 ÷ √n: cien veces más datos, un umbral diez veces más chico. Y C01 recibe ≈ 10 M fotos al día.

Con 1 millón de fotos por lado, una corrida del promedio de 0.02 desviaciones estándar (en el brillo, ≈ 1 nivel de 255: nadie lo notaría, y al modelo no le hace nada) da D ≈ 0.008, cuatro veces el umbral, con un p-value de ≈ 8 × 10⁻²⁹. Significativo e irrelevante. Con 1,000 por lado, la misma corrida da D ≈ 0.045, debajo del umbral de 0.061: ruido.

import math, random

def ks(a, b):
    """D: la distancia vertical más grande entre las dos curvas acumuladas."""
    a, b = sorted(a), sorted(b)
    i = j = 0
    d = 0.0
    while i < len(a) and j < len(b):
        x = min(a[i], b[j])                    # el siguiente valor, de cualquiera de las dos
        while i < len(a) and a[i] <= x: i += 1
        while j < len(b) and b[j] <= x: j += 1
        d = max(d, abs(i / len(a) - j / len(b)))
    return d

print("5 fotos contra 5:", ks([60, 95, 120, 140, 175], [20, 40, 55, 100, 125]))

random.seed(7)
for n in [1_000, 1_000_000]:
    ref = [random.gauss(0, 1) for _ in range(n)]
    hoy = [random.gauss(0.02, 1) for _ in range(n)]   # la media se corre 0.02 σ: nada
    umbral = 1.36 * math.sqrt(2 / n)                  # D mínima para «significativo»
    print(f"n = {n:>9,}   D = {ks(ref, hoy):.4f}   umbral = {umbral:.4f}")

5 fotos contra 5: 0.6
n =     1,000   D = 0.0450   umbral = 0.0608
n = 1,000,000   D = 0.0081   umbral = 0.0019

El p-value mide cuánta evidencia tienes de que hay una diferencia, y con n enorme casi siempre la hay: el mundo nunca es idéntico de un día a otro. Lo que importa para decidir es cuánto cambió. Por eso en monitoreo se usa D (o el PSI) como tamaño del cambio, con un umbral calibrado en semanas normales, y no el p-value.

Las categorías tienen su propia prueba, la chi-cuadrado, con la misma trampa. Y hacer muchas pruebas a la vez trae otra: falsas alarmas todos los días. Las dos están en la sección extra que sigue; para la primera pasada basta la regla de esta: se alerta por el tamaño del cambio, no por el p-value.

Casi todos tienen algo en común: el número sale, con decimales y todo, y no significa lo que crees.

Alertar por significancia estadística con n enorme

Qué pasa: se pone una alerta «si el p-value de KS es menor que 0.05». Con ≈ 10 M fotos al día, el p-value sale minúsculo casi todos los días, porque el mundo nunca es idéntico de un día a otro. La alerta suena siempre y el equipo la silencia.

Cómo evitarlo: alerta por el tamaño del cambio (PSI, D, una distancia) con un umbral calibrado mirando semanas normales. Si quieres un p-value, calcúlalo sobre una muestra de unos miles, no sobre todo el día.

Bins con cero

Qué pasa: un bin de la ventana actual queda vacío, ln(0) no existe y el código truena, o le pone un piso cualquiera y el PSI sale 0.47, 0.71 o 1.17 según el piso. Y si el que queda vacío es un bin de la referencia, cualquier dato que hoy caiga ahí vuelve la cuenta infinita.

Cómo evitarlo: bordes por cuantiles de la referencia (los cortes que la parten en pedazos con la misma cantidad de datos, como los percentiles; así ninguno queda vacío de ese lado), agrupar los bins raros, y un epsilon fijo y anotado para el lado actual. Para categorías, la divergencia de Jensen–Shannon (la prima simétrica de la KL, en la sección extra) no se rompe con ceros.

Comparar contra una referencia vieja o equivocada

Qué pasa: la referencia se armó con los datos del primer modelo, hace un año. Desde entonces se reentrenó tres veces con datos nuevos, y el PSI sale alto todos los días contra un mundo que ya no existe. O pasa lo contrario: solo se compara contra la semana anterior y un drift lento no se ve nunca.

Cómo evitarlo: versiona la referencia de entrenamiento con el modelo (modelo nuevo, referencia nueva) y usa dos referencias: la del entrenamiento y una ventana reciente.

Tratar una categoría nueva como drift

Qué pasa: el negocio agrega «bolsas», el modelo las manda a la categoría más parecida que conoce, el PSI de las predicciones sube y alguien reentrena con las fotos de siempre. No sirve: el modelo sigue sin tener esa respuesta.

Cómo evitarlo: una categoría nueva es un cambio en las respuestas posibles, no un drift. Se etiquetan ejemplos de la clase nueva, se reentrena con ella y se crea una referencia nueva que la incluya.

Recalcular los bordes de los bins cada día

Qué pasa: el job arma los bins con los cuantiles de los datos de hoy. Cada día los bordes son otros y el PSI compara cosas distintas; un cambio real puede quedar escondido porque los bins se movieron con él.

Cómo evitarlo: los bordes se calculan una vez, con la referencia, y se guardan junto con ella.

Muchos bins con pocos datos

Qué pasa: se calcula el PSI de las 500 categorías con una hora de datos. El ruido solo ya da ≈ 0.14, arriba del umbral, y el canary (la versión nueva que recibe una parte del tráfico) se revierte de noche por azar.

Cómo evitarlo: agrupa (500 → ≈ 30 categorías padre), exige un mínimo de datos por ventana (C01 pide 5,000) y revisa el ruido esperado: ≈ (K − 1) ÷ n.

Reentrenar «porque hubo drift»

Qué pasa: el PSI pasa de 0.2 y se lanza un reentrenamiento automático. Pero el cambio era skew (un bug que el modelo nuevo aprende a tolerar hasta que alguien lo arregla) o era inofensivo (fotos mejor iluminadas).

Cómo evitarlo: el drift abre un ticket, no un deploy. Primero se descarta el skew con la paridad, luego se etiqueta una muestra, y el modelo nuevo pasa por el mismo examen que cualquier otro.

Resuélvelos con lápiz antes de abrir la solución. Los cuatro primeros son directos; los dos últimos juntan varias ideas.

1. 1Fácil

   Calcula sin calculadora, con ln 2 ≈ 0.693 y ln 3 ≈ 1.099: (a) log2 16, (b) log2 (1/4), (c) ln(0.3 ÷ 0.1) y (d) ln(0.1 ÷ 0.3).

   Ver la solución paso a paso

   (a) 2 × 2 × 2 × 2 = 16: cuatro multiplicaciones, así que log2 16 = 4.

   (b) 1/4 es dividir dos veces entre 2, así que log2 (1/4) = −2.

   (c) ln(0.3 ÷ 0.1) = ln 3 ≈ 1.099.

   (d) Es el cociente al revés: −ln 3 ≈ −1.099. Triplicar y dividir entre 3 miden lo mismo con signo contrario.

2. 2Fácil

   Una moneda cae águila el 75 % de las veces. ¿Cuál es su entropía? ¿Es más o menos que la de una moneda justa, y por qué? (La entropía es la suma de p × log2(1 ÷ p); log2 (1/0.75) ≈ 0.415 y log2 4 = 2.)

   Ver la solución paso a paso

   Águila

   0.75 × log2(1 ÷ 0.75) = 0.75 × 0.415

   =0.311

   Sol

   0.25 × log2(1 ÷ 0.25) = 0.25 × 2

   =0.500

   Entropía

   0.311 + 0.500

   =0.811 bits

   Es menos que 1 bit, el de la moneda justa. Como el águila sale más seguido, el resultado es más predecible y cada volado trae menos sorpresa. La entropía es máxima cuando los resultados son parejos.

3. 3Fácil

   En C01, «Celulares» era el 10 % de las predicciones en la referencia. ¿Cuánto aporta al PSI si hoy es el 14 %? ¿Y si fuera el 6 %? ¿Por qué no aportan lo mismo, si en los dos casos se movió 4 puntos? (ln 1.4 ≈ 0.336; ln 0.6 ≈ −0.511.)

   Ver la solución paso a paso

   Subir a 14 %: (0.14 − 0.10) × ln(0.14 ÷ 0.10) = 0.04 × 0.336 ≈ 0.013.

   Bajar a 6 %: (0.06 − 0.10) × ln(0.06 ÷ 0.10) = (−0.04) × (−0.511) ≈ 0.020.

   Los dos movieron 4 puntos, pero no se multiplicaron igual: subir a 14 % es × 1.4, y bajar a 6 % es × 0.6, que como cociente es más grande (al revés, 10 ÷ 6 ≈ 1.67). El logaritmo mide cocientes, así que bajar a 6 % pesa más.

4. 4Fácil

   La referencia tiene los valores 10, 20, 30 y 40; la ventana actual, 25, 35, 45 y 55. Calcula D, la distancia más grande entre las dos curvas acumuladas.

   Ver la solución paso a paso

   Revisa cada valor que aparece en alguna de las dos (cuántos de 4 tienen ese valor o menos):

   • En 10: referencia 1 de 4, actual 0 de 4 → 0.25.
   • En 20: 2 de 4 y 0 → 0.5.
   • En 25: 2 y 1 → 0.25.
   • En 30: 3 y 1 → 0.5.
   • En 35: 3 y 2 → 0.25.
   • En 40: 4 y 2 → 0.5.
   • En 45: 4 y 3 → 0.25.
   • En 55: 4 y 4 → 0.

   D = 0.5, y se alcanza en tres lugares (20, 30 y 40). Los valores de la ventana actual son 15 más altos, así que su curva acumulada sube más tarde.

5. 5Medio

   La referencia reparte 25 % en cada uno de 4 bins. Esta semana: 40 %, 30 %, 20 % y 10 %. Calcula el PSI. ¿Qué dice la tabla de lectura, y qué haría C01? (ln 1.6 ≈ 0.470, ln 1.2 ≈ 0.182, ln 0.8 ≈ −0.223, ln 0.4 ≈ −0.916.)

   Ver la solución paso a paso

   Bin 125 % → 40 %

   0.15 × ln 1.6 = 0.15 × 0.470

   =0.0705

   Bin 225 % → 30 %

   0.05 × ln 1.2 = 0.05 × 0.182

   =0.0091

   Bin 325 % → 20 %

   (−0.05) × ln 0.8 = (−0.05) × (−0.223)

   =0.0112

   Bin 425 % → 10 %

   (−0.15) × ln 0.4 = (−0.15) × (−0.916)

   =0.1374

   PSI

   la suma

   =0.2282

   Entre 0.1 y 0.25: cambio moderado, hay que mirar. Pasa de 0.2, así que si se sostiene 3 días, C01 abre un ticket. El bin que más aporta es el 4, que cayó a menos de la mitad. Compáralo con el 1: los dos se movieron 15 puntos, pero el 1 se multiplicó por 1.6 (aporta 0.071) y el 4 por 0.4 (aporta 0.137). Encogerse a menos de la mitad es un cociente más grande que crecer 60 %.

6. 6Medio

   P es una moneda justa (0.5, 0.5) y Q una cargada (0.9, 0.1). Calcula KL(P ‖ Q) y KL(Q ‖ P) con ln, y el PSI entre las dos. (KL(P ‖ Q) es la suma de p × ln(p ÷ q); ln(5/9) ≈ −0.588, ln 5 ≈ 1.609.)

   Ver la solución paso a paso

   KL(P ‖ Q)

   0.5 × ln(0.5 ÷ 0.9) + 0.5 × ln(0.5 ÷ 0.1) = 0.5 × (−0.588) + 0.5 × 1.609

   =0.511

   KL(Q ‖ P)

   0.9 × ln(0.9 ÷ 0.5) + 0.1 × ln(0.1 ÷ 0.5) = 0.9 × 0.588 + 0.1 × (−1.609)

   =0.368

   PSI

   la suma de las dos

   =0.879

   No son iguales. KL(P ‖ Q) es más grande: si de verdad la moneda es justa y te preparaste para una que casi siempre cae águila, cada sol te sorprende mucho, y con la moneda justa el sol sale la mitad de las veces. Al revés, el sol solo sale 10 % y la sorpresa pesa poco. El PSI suma las dos, así que no depende de cuál llames referencia.

7. 7Medio

   En la semana rara de la primera figura, el brillo de octubre era 10, 20, 40, 20 y 10 % y el de esa semana 30, 15, 10, 15 y 30 %. Los dos tienen el mismo promedio. ¿El PSI también lo deja pasar? (ln 3 ≈ 1.099, ln 0.75 ≈ −0.288, ln 0.25 ≈ −1.386.)

   Ver la solución paso a paso

   Bin 1 y bin 510 % → 30 % cada uno

   2 × 0.20 × ln 3 = 2 × 0.20 × 1.099

   =0.4394

   Bin 2 y bin 420 % → 15 % cada uno

   2 × (−0.05) × ln 0.75 = 2 × (−0.05) × (−0.288)

   =0.0288

   Bin 340 % → 10 %

   (−0.30) × ln 0.25 = (−0.30) × (−1.386)

   =0.4159

   PSI

   la suma

   =0.884

   No: el PSI sale ≈ 0.88, más de tres veces el corte de «cambio grande». El promedio no ve nada porque los cambios de los dos extremos se compensan; el PSI no compensa nada, porque cada bin suma algo positivo. Para eso se comparan distribuciones completas.

8. 8Medio

   ¿Qué tipo de cambio es cada uno: data drift, label shift, concept drift, skew o ninguno? (a) En el Buen Fin, en C09, los tickets son más altos y hay muchas tarjetas nuevas, pero la proporción de fraude por tipo de compra no cambió. (b) En C01, desde el deploy del lunes la accuracy de la muestra etiquetada baja y la prueba de paridad falla. (c) En diciembre, en C01, «Juguetes» pasa de 1 % a 10 % de las predicciones y cada categoría se ve como siempre. (d) Moderación decide que las fundas de celular van en otra categoría. (e) El negocio agrega la categoría «bolsas».

   Ver la solución paso a paso

   • (a) Data drift. Cambiaron las entradas, p(x); la regla que separa fraude de no fraude es la misma.
   • (b) Skew. Empezó con un deploy y la paridad falla: tu código prepara los datos distinto. Se arregla el código, no se reentrena.
   • (c) Label shift. Cambió p(y), cuánto hay de cada clase, y no cómo se ve cada una. Se revisan umbrales y calibración.
   • (d) Concept drift. La misma foto ahora tiene otra respuesta correcta: cambió p(y | x). Se reetiqueta y se reentrena.
   • (e) Ninguno. Es una respuesta nueva que el modelo no tiene. Hace falta reentrenar con la clase nueva.
9. 9Reto

   La referencia de brillo es 10, 20, 40, 20 y 10 %, y esta semana nadie cayó en el bin 1: 0, 25, 45, 20 y 10 %. (a) Calcula lo que aporta el bin 1 si reemplazas el 0 por un piso de 0.001, y luego por 0.000001. (b) Los otros cuatro bins suman 0.017. ¿Qué PSI sale en cada caso? (c) ¿Qué harías para que el número signifique algo? (ln 0.01 ≈ −4.605, ln 0.00001 ≈ −11.513.)

   Ver la solución paso a paso

   (a) Con piso 0.001: (0.001 − 0.10) × ln(0.001 ÷ 0.10) = (−0.099) × ln 0.01 = (−0.099) × (−4.605) ≈ 0.456.

   Con piso 0.000001: (0.000001 − 0.10) × ln(0.00001) ≈ (−0.1) × (−11.513) ≈ 1.151.

   (b) PSI ≈ 0.456 + 0.017 ≈ 0.47, o ≈ 1.151 + 0.017 ≈ 1.17. Son los mismos datos: el «cambio» depende de un número que elegiste tú. (El código de la lección da 0.47 y 1.17.)

   (c) Arma los bordes con cuantiles de la referencia: con 5 bins, cada uno guarda el 20 % de ella, así que nunca queda vacío de ese lado y es más difícil que se vacíe el de hoy. Agrupa el bin 1 con el 2 si se vacía seguido. Fija un epsilon, anótalo y no lo cambies, para que el número de hoy se compare con el de ayer. Y si es una variable de categorías, considera la divergencia de Jensen–Shannon, que no se rompe con ceros.

10. 10Reto

    El canary de C01 (la versión nueva que recibe solo una parte del tráfico mientras se prueba) compara la mezcla de categorías predichas contra la versión estable, con umbral 0.1. (a) Con las 500 categorías y 3,600 predicciones en una hora, ¿qué PSI esperas de pura suerte? (b) ¿Y con 5,000? (c) ¿Y con las ≈ 30 categorías padre y 3,600? (d) Explica por qué C01 compara categorías padre y pide al menos 5,000 predicciones. Usa PSI de ruido ≈ (K − 1) ÷ n.

    Ver la solución paso a paso

    (a) 499 ÷ 3,600 ≈ 0.14: arriba del umbral de 0.1 sin que nada cambie.

    (b) 499 ÷ 5,000 ≈ 0.10: justo en el umbral. El puro ruido lo rozaría cada hora y sonaría muy seguido.

    (c) 29 ÷ 3,600 ≈ 0.008: más de diez veces por debajo del umbral.

    (d) Con 500 categorías, la mayoría tiene pocas predicciones por hora, y cada bin chico mete ruido. El canary se revertiría por azar, sobre todo de noche, cuando hay menos tráfico. Agrupar en ≈ 30 padres baja el ruido a casi nada, y pedir un mínimo de 5,000 predicciones evita decidir con una ventana demasiado chica. Las categorías finas se revisan después, con más datos, en el job diario.

En la Ronda:

• M12 · Monitoreo usa todo esto. La sección «Data drift, concept drift y label shift» tiene la tabla de los tres tipos con la notación p(x), p(y | x) y p(y), y su trampa: el skew no es drift. «Detectar drift: PSI, KS, embeddings y el problema de las muchas alertas» trae un PSI de 5 bins con números (el color de unos escáneres de laboratorio en C04, con PSI ≈ 0.215), los umbrales 0.1 y 0.25 con la nota de que C01 actúa desde 0.2, la trampa de KS con 1 M de datos por lado, el chi-cuadrado y Jensen–Shannon para categorías, el clasificador de dominio para embeddings, la tabla de referencias y ventanas, y las ≈ 18 falsas alarmas al mes de 12 pruebas diarias.
• M09 · Datos y features separa el skew del drift y valida cada dataset nuevo comparando su mezcla de categorías contra la del anterior con un PSI.
• C01 calcula cada día el PSI de las categorías predichas contra las 4 semanas previas (ticket si pasa de 0.2 tres días), y su canary compara ≈ 30 categorías padre contra la versión estable con un mínimo de 5,000 predicciones. C09 vigila scores, rechazos y la acumulación debajo de cada corte mientras esperan los contracargos. C14 vigila el sesgo del pronóstico por categoría.

En el Dojo: la estación 1, «Datos y etiquetas», ya te pone frente a una categoría nueva, «bolsas»: no es drift, es una respuesta que el modelo no tiene. La estación 12, «Monitoreo y reentrenamiento» (todavía no está lista), calcula estas medidas sobre los registros de predicciones.

En Sensei: la siguiente lección, «Cómo guarda números una computadora», explica float32 e int8, y por qué un número en float32 ocupa 4 bytes. Más adelante, la lección de la estación 12, «Monitoreo, drift y reentrenamiento», junta esta lección con las alertas, las guías de qué hacer cuando una suena (runbooks) y la decisión de reentrenar.

Estos son los conceptos que presentó esta lección. Cada uno tiene su tarjeta con la definición completa.

Intenta responder en tu cabeza antes de abrir cada respuesta.

1. 1¿Por qué no basta comparar el promedio de hoy contra el de la referencia?Ver respuesta

   Porque dos distribuciones muy distintas pueden tener el mismo promedio: una con todo en medio y otra con todo en los extremos. Los cambios de un lado y del otro se compensan en el promedio. Hay que comparar los histogramas completos, bin por bin.

2. 2Un PSI da 0.05; otro, 0.15; otro, 0.30. ¿Qué dice cada uno?Ver respuesta

   0.05: estable, ruido normal. 0.15: cambio moderado, hay que mirar. 0.30: cambio grande. Son convenciones, no leyes: el umbral real se calibra con semanas normales, y C01 actúa desde 0.2 sostenido 3 días.

3. 3¿Por qué con 10 M predicciones al día casi cualquier prueba sale «significativa»?Ver respuesta

   Porque el umbral de la prueba se encoge con la cantidad de datos (en KS, como 1 ÷ √n), y el mundo nunca es idéntico de un día a otro. Con millones de datos, hasta un cambio que nadie notaría tiene un p-value minúsculo. Por eso se alerta por el tamaño del cambio, no por el p-value.

4. 4¿Qué es la D de la prueba KS?Ver respuesta

   La distancia vertical más grande entre las curvas acumuladas de las dos muestras. Va de 0 (iguales) a 1 (todos los datos de una quedan antes que todos los de la otra).

5. 5Las entradas no se movieron y la mezcla de predicciones tampoco, pero la muestra etiquetada dice que el modelo acierta menos. ¿Qué tipo de cambio es y qué haces?Ver respuesta

   Concept drift: cambió la regla, p(y | x), y la misma entrada ahora tiene otra respuesta correcta. Las etiquetas viejas quedan mal: se reetiqueta con la regla nueva y se reentrena. (Antes conviene descartar el skew con una prueba de paridad.)

6. 6¿Por qué un bin vacío rompe el PSI?Ver respuesta

   Porque el PSI usa ln(actual ÷ esperado), y ln 0 no existe. Con un piso, el resultado depende del piso que elegiste (0.47 o 1.17 con los mismos datos). Se evita con bins por cuantiles de la referencia, agrupando bins raros y con un epsilon fijo.

7. 7¿Contra qué referencia compararías las ventas de diciembre en C14, el pronóstico de demanda de una cadena de supermercados?Ver respuesta

   Contra diciembres anteriores, no contra noviembre: diciembre siempre se ve distinto por Navidad y el aguinaldo. La pregunta útil es «¿este diciembre es raro para un diciembre?». Y además, contra los datos de entrenamiento, para saber si el modelo está viendo algo que no aprendió.