¿Aprendió de verdad?

En la lección anterior viste cómo aprende un modelo: adivina, mide qué tanto se equivocó con la pérdida y mueve sus parámetros para equivocarse menos. Pero fíjate en lo que eso promete: se equivoca menos en las fotos con las que entrena. A nosotros nos importa otra cosa: que acierte con la foto de Ana, que nunca vio.

A esa capacidad se le llama generalización: acertar en ejemplos nuevos, parecidos a los del entrenamiento pero no iguales.

Por eso las fotos se reparten desde el principio en grupos que no se mezclan:

En C01 hay además un examen especial que no cambia de un mes a otro: el golden set, unas 50,000 fotos revisadas a mano y congeladas. Como siempre es el mismo, sirve para comparar el modelo de este mes contra el del mes pasado con las mismas preguntas.

Overfitting y underfitting

Hay dos formas de fallar, y son opuestas.

• Underfitting (subajuste): el modelo es demasiado simple, o entrenó muy poco, y ni siquiera aprende bien las fotos del entrenamiento. Se equivoca en todas partes.
• Overfitting (sobreajuste): el modelo aprendió demasiado bien el entrenamiento, incluidos detalles que solo son casualidad (el fondo de cierta foto, una marca de agua), y empeora con fotos nuevas. Es el estudiante que memorizó.

¿Cómo sabes cuál te está pasando? Midiendo la loss en dos grupos al final de cada época: en entrenamiento y en validación. Las dos líneas, época tras época, forman la curva de aprendizaje.

¿Qué se hace con eso?

• Quedarse con el mejor momento. Se guarda un checkpoint (una copia de los parámetros) al final de cada época y se usa el de la época 8, no el de la 20. Parar cuando la validación deja de mejorar se llama early stopping (parada temprana).
• Más datos, o datos más variados. Con más fotos distintas, memorizarlas todas es más difícil. Si no hay más, se inventan variaciones de las que hay: voltearlas, recortarlas, cambiarles la luz. Eso es data augmentation.
• Ponerle trabas a la memoria. A esas trabas se les llama regularización. Una es el dropout: mientras entrena, el modelo apaga al azar una parte de sus piezas en cada paso, así que no puede depender de unas pocas que se aprendieron algo de memoria. Lo ves con calma en la siguiente lección.
• Si es underfitting, lo contrario: un modelo más capaz o entrenar más tiempo.

Ya sabes que hay que medir en fotos nuevas. Ahora, ¿medir qué? La primera idea es la accuracy (exactitud): de todas las fotos, qué fracción acertó.

En el resto de la lección vamos a usar un solo ejemplo. Tenemos 1,000 fotos de prueba. De ellas, 100 son de tenis y 900 de otras cosas (botas, playeras, bicicletas…). Por ahora hacemos una sola pregunta: ¿esta foto es de tenis, sí o no?

Por qué la accuracy miente

Imagina un modelo flojísimo que siempre contesta «no es tenis», sin ver la foto. Acierta en las 900 que no son tenis y falla en las 100 que sí:

accuracy = 900 / 1,000 = 90 %

Un 90 % que no sirve para nada: nunca encuentra un tenis.

Cuando las clases están más disparejas es peor. Si 1 de cada 100 compras es fraude, un modelo que siempre dice «no es fraude» saca 99 % de accuracy y no atrapa ni un fraude. En el caso de fraude de la Ronda (C09) es más extremo: el fraude es ≈ 0.08 % de las compras, así que no hacer nada saca 99.92 %. Cuando una clase es mucho más común que otra hay desbalance de clases, y ahí la accuracy sola engaña.

La tabla que no miente

Para ver en qué se equivoca el modelo se cuenta cada combinación de «lo que era» y «lo que dijo». Esa tabla es la matriz de confusión (confusion matrix). Para una pregunta de sí o no tiene 2 × 2 casillas. Esta es la de un modelo de verdad, no la del flojo:

Las cuatro casillas tienen nombre, y conviene aprendérselos porque se usan en todas partes:

«Positivo» es la clase que buscas (tenis) y «negativo» es todo lo demás. «Verdadero» o «falso» dice si el modelo acertó. Así, un falso positivo es un «sí» equivocado: dijo tenis y era una bota. Un falso negativo es un «no» equivocado: era tenis y no lo vio.

La accuracy sale de la diagonal: (80 + 860) / 1,000 = 940 / 1,000 = 94 %. Suena muy bien. Pero la tabla cuenta algo que el 94 % esconde: de los 100 tenis, al modelo se le escaparon 20, y además le dijo «tenis» a 40 cosas que no lo eran.

Qué cuesta cada error

Los dos errores no cuestan lo mismo, y eso lo decide el negocio, no el modelo.

• Un falso positivo en C01: Ana sube unas botas y la app le sugiere «Tenis». Si no se da cuenta y acepta, la publicación queda en la categoría equivocada: quien busca botas no la encuentra, y alguien de moderación la tiene que mover. En la Ronda, el porcentaje de publicaciones que moderación recategoriza es justo una de las métricas que no pueden empeorar.
• Un falso negativo en C01: Ana sube unos tenis y «Tenis» no aparece entre las sugerencias. Tiene que buscar la categoría a mano. Es una molestia; si pasa mucho, más gente deja la publicación a medias.

En fraude la balanza cambia: un falso negativo es dinero robado y un falso positivo es un cliente honesto con la compra rechazada. Decidir qué error duele más es de lo primero que pide la Ronda en M01, porque de ahí sale cómo se configura el modelo, como verás en la sección del umbral.

Precision y recall

Con las cuatro casillas se arman las dos métricas más importantes de la clasificación. Cada una responde una pregunta distinta.

Precision (precisión): cuando el modelo dice «tenis», ¿qué tan seguido es verdad?

precision = TP / (TP + FP) = 80 / (80 + 40) = 80 / 120 ≈ 66.7 %

De cada 3 veces que dijo «tenis», acertó 2.

Recall (exhaustividad o sensibilidad): de todos los tenis que había, ¿cuántos encontró?

recall = TP / (TP + FN) = 80 / (80 + 20) = 80 / 100 = 80 %

De cada 10 tenis, encontró 8.

Las dos ponen arriba los mismos 80 aciertos, pero dividen entre cosas distintas: la precision, entre todo lo que el modelo dijo que era tenis (la columna de la izquierda); el recall, entre todo lo que era tenis (la fila de arriba).

¿Por qué no basta con una? Porque cada una sola se puede inflar sacrificando a la otra. Un modelo que dice «tenis» a las 1,000 fotos tiene recall de 100 % (encontró los 100) y precision de 100 / 1,000 = 10 %. Uno que solo dice «tenis» a la foto más obvia, y acierta, tiene precision de 100 % y recall de 1 / 100 = 1 %.

F1: las dos en un número

Cuando necesitas un solo número que salga bajo si cualquiera de las dos es mala, se usa el F1: la media armónica de precision y recall, F1 = 2 × precision × recall / (precision + recall).

Da menos que el promedio simple, (66.7 + 80) / 2 ≈ 73.3 %: la media armónica se carga hacia el número más chico. Con el modelo que dice «tenis» a todo se nota más: F1 = 2 × 0.10 × 1.00 / (0.10 + 1.00) ≈ 0.18, cuando el promedio simple le habría regalado 55 %. Y fíjate en que TN, los 860 aciertos de «no es tenis», no aparece en precision, ni en recall, ni en F1: las tres no se dejan impresionar por la clase grande, y por eso se usan cuando hay desbalance.

Las mismas cuentas en Python

Las cuatro casillas se cuentan directo de dos listas: lo que era cada foto y lo que dijo el modelo. Con 20 fotos:

# 1 = «tenis», 0 = «no es tenis». Una posición por foto.
reales    = [1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 1, 0]
predichas = [1, 1, 0, 1, 1, 0, 0, 0, 0, 0, 1, 0, 1, 1, 0, 1, 0, 0, 0, 0]

pares = list(zip(reales, predichas))
tp = pares.count((1, 1))   # era tenis y dijo tenis
fp = pares.count((0, 1))   # no era y dijo tenis
fn = pares.count((1, 0))   # era tenis y no lo vio
tn = pares.count((0, 0))   # no era y dijo que no

accuracy  = (tp + tn) / len(pares)
precision = tp / (tp + fp)
recall    = tp / (tp + fn)
f1        = 2 * precision * recall / (precision + recall)

print(f"TP={tp}  FP={fp}  FN={fn}  TN={tn}")
print(f"accuracy  = {accuracy:.3f}")
print(f"precision = {precision:.3f}")
print(f"recall    = {recall:.3f}")
print(f"F1        = {f1:.3f}")

TP=5  FP=3  FN=2  TN=10
accuracy  = 0.750
precision = 0.625
recall    = 0.714
F1        = 0.667

Si escribes 5, 3, 2 y 10 en la calculadora, sale lo mismo. Las librerías de ML traen estas funciones hechas, pero por dentro cuentan exactamente así.

C01 no pregunta «¿es tenis?»: elige entre 500 categorías. Su matriz de confusión es la misma idea, pero de 500 × 500: 250,000 casillas, con los aciertos en las 500 casillas de la diagonal. Nadie la lee completa: se buscan las casillas grandes fuera de la diagonal, como «botas que dijo tenis: 30», que dicen dónde se confunde el modelo y muchas veces destapan dos categorías que ni las personas distinguen bien. Y para cualquier categoría, todo lo demás se junta como «negativo» y vuelves a tener su propio 2 × 2.

Una métrica por categoría

Con 500 categorías, cada una tiene su precision y su recall, sacados de su propio 2 × 2. Esa es la métrica por clase. Luego hay que resumir 500 números en uno, y hay dos formas que dan resultados muy distintos:

• Contar fotos. Juntas todas las fotos y cuentas cuántas acertó. Es la accuracy de siempre (también se le dice micro-promedio). Cada foto pesa lo mismo, así que las categorías con muchas fotos mandan.
• Promediar categorías. Sacas el recall de cada categoría y promedias los 500 números. Es el macro-promedio: cada categoría pesa lo mismo, tenga 10,000 fotos o 15.

¿Por qué importa? Porque en un marketplace las categorías tienen un long tail (cola larga): unas pocas, como tenis o celulares, tienen muchísimas fotos, y cientos de categorías raras (patines de hielo, refacciones de máquinas de coser) tienen poquitas. Un modelo puede mejorar en las grandes, empeorar en todas las chicas, y la accuracy casi ni se mueve.

Por eso el examen de C01 en la Ronda no se queda con la accuracy: exige que ninguna de las 100 categorías con más tráfico (las que más publicaciones reciben) pierda más de 5 puntos de recall, con una prueba que descarta que la caída sea ruido, y que el macro-recall del long tail no empeore. Y su golden set, en vez de tomar fotos al azar, le da a cada categoría un piso de ≈ 50 fotos, para que las chicas tengan con qué medirse.

Top-1 y top-5

Hasta aquí, «acertar» quería decir que la respuesta número uno del modelo era la correcta. Pero el modelo da una probabilidad para cada una de las 500 categorías, y se pueden ordenar de mayor a menor. Eso abre otra forma de medir, la top-k accuracy:

• Top-1 accuracy: la categoría correcta es la primera de la lista.
• Top-5 accuracy: la categoría correcta está entre las 5 primeras.

¿Cuál importa? La que se parece a cómo se usa el modelo. En C01 la app le muestra a Ana 5 sugerencias y ella elige. Por eso la métrica offline principal de C01 en la Ronda es la top-5 (offline quiere decir que se mide con fotos guardadas, antes de que el modelo le responda a nadie). El modelo de C01 saca ≈ 85 % de top-1 y ≈ 96 % de top-5: en nuestras 1,000 fotos, la primera sugerencia es la correcta en 850, y la correcta aparece entre las cinco en 960.

El modelo no dice «sí» o «no»: dice un número, por ejemplo «tenis: 0.70». Para convertir ese número en una decisión se elige un umbral (threshold): si el número es igual o mayor que el umbral, cuenta como «sí».

Para ver qué pasa al moverlo, tomemos 10 fotos, 4 de tenis y 6 de otras cosas, con el número que el modelo le dio a «tenis», ordenadas de mayor a menor:

Probemos tres umbrales:

Subir el umbral vuelve al modelo más exigente: dice «sí» menos veces, suele equivocarse menos cuando lo dice (la precision tiende a subir) y se le escapan más (el recall baja o se queda igual; nunca sube). Bajarlo hace lo contrario. De cerca, la precision va a saltos: con el umbral en 0.70 dice «tenis» a las fotos 1 a 3 (precision 2 / 3 ≈ 66.7 %, recall 50 %); al bajarlo a 0.60 entra la foto 4, que sí era tenis, y suben las dos (75 % y 75 %). Pero en todo el recorrido no puedes tener lo mejor de las dos: el umbral se elige según qué error duele más.

Cómo se elige

En C01 el modelo no usa un umbral para decidir solo: siempre muestra sus 5 sugerencias. Pero imagina que el negocio quiere preseleccionar la categoría sin preguntarle a Ana. Ahí sí hace falta un umbral, y uno alto, porque preseleccionar mal es un falso positivo que Ana quizá ni note. Ese umbral se guarda en la configuración, con su versión, porque moverlo cambia lo que hace el sistema tanto como cambiar el modelo. En fraude la Ronda lo dice sin rodeos: el umbral sale del dinero, no de un F1 (la cuenta está en «En la vida real»).

Si en lugar de unos cuantos umbrales pruebas todos, sale una curva que resume al modelo completo: la curva ROC. Su área, el AUC, es un número de 0 a 1 para comparar modelos antes de elegir umbral: 0.5 es adivinar al azar y 1 es perfecto. Las dos están en la sección siguiente, junto con la curva que conviene cuando los positivos son rarísimos.

Ahora junta todo. Antes de que un modelo nuevo reemplace al que está en producción, pasa por un examen automático que en la Ronda se llama gate de evaluación (la compuerta). Ya tienes todas sus piezas:

1. 1

   Se compara contra el modelo actual, con las mismas fotos

   No basta con que el nuevo saque «85 %». Tiene que no ser peor que el que ya está, en el mismo golden set y en los mismos grupos de fotos.

2. 2

   Las reglas se escriben antes de entrenar

   Qué métricas y con qué límite. Si se decide después de ver los resultados, siempre aparece una excusa para aprobar.

3. 3

   Ningún número solo basta

   Una top-5 alta con el long tail roto, con un slice roto o con la seguridad inflada, no pasa.

Los slices del gate son grupos de fotos, y detrás de un grupo de fotos muchas veces hay un grupo de personas: en «Datos, ejemplos, features y etiquetas» viste que las fotos con poca luz suelen venir de celulares baratos. Cuando el modelo decide algo sobre personas (un crédito, una contratación, una identificación), medir las mismas métricas por grupo de personas es obligatorio y tiene nombre: equidad (fairness). Que el modelo no le falle mucho más a un grupo que a otro. El caso real más famoso está en «En la vida real».

La métrica del modelo no es la del negocio

Nadie en la empresa quiere «top-5 alta» por sí misma. C01 existe para que más gente termine de publicar. Ese número, el que dice si el sistema le sirve a la empresa y a la gente, es la métrica de negocio. Entre ella y el golden set hay una cadena:

Cada nivel es una aproximación (un proxy) del que sigue en la tabla: la top-5 aproxima la aceptación, y la aceptación, las publicaciones completadas. Se mide el de más arriba porque es más rápido y más barato. Los dos de abajo, online y negocio, se miden con un A/B test: a una parte de los vendedores, elegidos al azar, le toca el modelo nuevo; al resto, el actual, y se compara cómo le va a cada grupo. Además hay guardrails: métricas que no tienen que mejorar, pero no pueden empeorar. En C01 son el p99 de latencia (el tiempo que solo 1 de cada 100 respuestas supera), la tasa de errores, el porcentaje de publicaciones que moderación recategoriza y el tiempo para llenar el formulario.

La cadena se puede romper. La Ronda (M11) trae un ejemplo con los números de C01: un modelo nuevo gana 1.5 puntos de top-5 en el golden set, y en un A/B de dos semanas la tasa de aceptación baja 0.4 puntos. Hay tres razones y ninguna es un bug: ganó en los lugares 4 y 5 de la lista y perdió un poco en el 1, y la gente casi siempre elige el primero o el segundo; el golden set tenía 8 meses y la ganancia estaba en categorías que hoy casi no se usan, y el modelo era más pesado, así que en el pico más vendedores se quedaban sin sugerencias a tiempo.

En fraude (C09) la cadena es más corta, porque la métrica de negocio es dinero: lo que se pierde por fraude contra lo que cuesta molestar a clientes buenos. La cuenta completa está en «En la vida real».

1. Creerle a la accuracy cuando una clase domina. Con 0.08 % de fraude, no hacer nada saca 99.92 %. Cómo evitarlo: compara siempre contra el baseline de decir la clase más común, y mira la matriz de confusión y el recall de la clase rara.

2. Medir con datos que el modelo ya vio. Copias de la misma foto, el mismo vendedor en los dos lados, datos del futuro: el número sale bonito y es mentira. Cómo evitarlo: quita copias antes de repartir, reparte por vendedor y por tiempo, y nunca entrenes con el golden set.

3. Decidir con el examen final. Si miras el test, cambias algo y lo vuelves a mirar, el test se volvió validación. Cómo evitarlo: decide con validación (o con validación cruzada si hay pocos datos), usa el test una sola vez y escribe las reglas del gate antes de entrenar.

4. Llamar «mejora» a una diferencia más chica que el ruido. Con 50 fotos de examen y un modelo que acierta 85 %, el resultado puede moverse ≈ ±10 puntos por pura suerte; con 50,000, ≈ ±0.3. Cómo evitarlo: estima el ruido antes de celebrar y compara los dos modelos en las mismas fotos, foto por foto o vuelta por vuelta.

5. Dejar el umbral en 0.5 «porque sí». El 0.5 solo sería el mejor si los dos errores costaran lo mismo y el modelo estuviera calibrado (es la cuenta del fraude en «En la vida real», con costos iguales). Cómo evitarlo: elígelo en validación con el costo de cada error, guárdalo con la versión del modelo y revísalo cada vez que el modelo cambie, porque cada versión reparte su seguridad distinto.

6. Leer la confianza como si fuera una probabilidad honesta. Las redes modernas tienden a decir «90 %» cuando aciertan menos. Cómo evitarlo: mide el ECE, mira también la tabla por grupos de confianza y corrige con temperature scaling antes de usar el número para decidir.

7. Quedarse con un solo número. Una accuracy que sube puede esconder 300 categorías que empeoraron o un grupo de personas al que el modelo le falla, y una top-5 que sube puede bajar la aceptación. Cómo evitarlo: mide por clase, por slice y por grupo, y deja la última palabra a la métrica online y a la de negocio.

1. 1Fácil

   Un filtro de spam revisa 1,000 correos, de los cuales 200 son spam. Mandó a la carpeta de spam 180 de esos 200, y además 30 correos buenos. Arma la matriz de confusión y calcula accuracy, precision y recall.

   Ver la solución paso a paso

   Positivo = spam: TP = 180, FN = 200 − 180 = 20, FP = 30 y TN = 800 − 30 = 770.

   • Accuracy = (180 + 770) / 1,000 = 95 %.
   • Precision = 180 / (180 + 30) = 180 / 210 ≈ 85.7 %.
   • Recall = 180 / 200 = 90 %.

   Aquí el error que más duele es el falso positivo: un correo importante perdido en spam.

2. 2Fácil

   En una red social, 0.5 % de las publicaciones violan las reglas. ¿Qué accuracy y qué recall saca un «modelo» que siempre dice «está bien»?

   Ver la solución paso a paso

   Acierta en todas las que están bien: 99.5 % de accuracy. Su recall es 0 %: no encuentra ni una. La Ronda usa este número en el caso de moderación (C06) para decir que ahí la accuracy nunca es el requisito.

3. 3Fácil

   La caja real va de x = 0 a 10 y de y = 0 a 10. La del modelo, de x = 2 a 12 y de y = 2 a 12. ¿Cuánto vale la IoU? ¿Cuenta como acierto con la regla de 0.5?

   Ver la solución paso a paso

   Intersección: de 2 a 10 en x y en y, 8 × 8 = 64. Unión: 100 + 100 − 64 = 136. IoU = 64 / 136 ≈ 0.47: no pasa. Corrida solo 2 unidades en cada dirección (20 % del lado), ya no cuenta como acierto.

4. 4Fácil

   Para tres fotos, la categoría correcta quedó en el lugar 1, en el 4 y en el 7 de la lista del modelo. ¿Cuánto vale la top-1 y cuánto la top-5 en esas tres fotos?

   Ver la solución paso a paso

   Top-1: solo la primera tiene la correcta en el lugar 1: 1 de 3 ≈ 33 %. Top-5: los lugares 1 y 4 están entre los 5 primeros y el 7 no: 2 de 3 ≈ 67 %.

5. 5Medio

   Un modelo clasifica tres categorías. «Tenis» tiene 900 fotos de prueba y el modelo acierta 810; «Patines» tiene 90 y acierta 45; «Refacciones» tiene 10 y acierta 2. Calcula la accuracy (contando fotos) y el macro-recall. ¿Qué te dice cada una?

   Ver la solución paso a paso

   Recall por categoría: 810 / 900 = 90 %, 45 / 90 = 50 % y 2 / 10 = 20 %.

   • Accuracy, contando fotos: (810 + 45 + 2) / 1,000 = 857 / 1,000 = 85.7 %.
   • Macro-recall, promediando categorías: (90 + 50 + 20) / 3 = 160 / 3 ≈ 53.3 %.

   La accuracy la manda «Tenis», que tiene 9 de cada 10 fotos. El macro-recall muestra lo que ella esconde: en las otras dos categorías el modelo falla la mitad de las fotos o más.

6. 6Medio

   Un modelo da los logits 2, 1 y 0. Calcula sus probabilidades con softmax, y luego con temperature scaling de T = 2. ¿Cambia la clase de arriba?

   Ver la solución paso a paso

   Sin temperatura: e² ≈ 7.389, e¹ ≈ 2.718 y e⁰ = 1, que suman 11.107. Probabilidades: ≈ 66.5 %, 24.5 % y 9.0 %.

   Con T = 2 los logits quedan 1, 0.5 y 0: 2.718, 1.649 y 1, que suman 5.367. Probabilidades: ≈ 50.6 %, 30.7 % y 18.6 % (redondeadas).

   La clase de arriba es la misma; solo bajó su seguridad. Por eso el temperature scaling no mueve la top-1 ni la top-5.

7. 7Medio

   Un modelo dijo ≈ 60 % en 200 fotos y acertó 130; ≈ 80 % en 300 y acertó 225, y ≈ 95 % en 500 y acertó 460. Calcula el ECE. ¿Pasa el límite de 0.05 de C01?

   Ver la solución paso a paso

   Aciertos por grupo: 130 / 200 = 65 %, 225 / 300 = 75 % y 460 / 500 = 92 %.

   • 60 %: pesa 0.2 y la distancia es 0.05 (aquí dijo menos de lo que acierta; cuenta igual) → 0.010.
   • 80 %: pesa 0.3 y la distancia es 0.05 → 0.015.
   • 95 %: pesa 0.5 y la distancia es 0.03 → 0.015.

   ECE = 0.010 + 0.015 + 0.015 = 0.040. Pasa, por poco.

8. 8Medio

   Comparas dos recetas con validación cruzada de 5 vueltas, con los mismos 5 grupos de 50 fotos de la sección. La A saca 86, 92, 80, 84 y 88 %. En el caso 1, la B saca 88, 96, 82, 86 y 90 %. En el caso 2, la B saca 96, 86, 78, 90 y 92 %. ¿En cuál confías más en que B es mejor?

   Ver la solución paso a paso

   En los dos casos B promedia 442 / 5 = 88.4 %, contra 86 % de A. Pero vuelta por vuelta:

   • Caso 1: +2, +4, +2, +2 y +2. B gana en las 5.
   • Caso 2: +10, −6, −2, +6 y +4. B gana en 3 y pierde en 2.

   Confías más en el caso 1: B gana siempre, aunque sea por poco (con 50 fotos por grupo, cada foto vale 2 puntos: B acierta 1 o 2 fotos más en cada vuelta). En el caso 2, el mismo promedio sale de diferencias que van y vienen, y puede ser suerte.

9. 9Reto

   Fraude con los costos de C09: en 1,000,000 de compras hay 800 fraudes; un fraude que pasa cuesta US$60 y rechazar a un cliente bueno, US$7.5. Con el umbral bajo, el modelo atrapa 560 fraudes y marca 9,992 compras buenas; con el alto, atrapa 320 y marca 999. Compara el costo de los dos umbrales contra no tener modelo.

   Ver la solución paso a paso

   • Sin modelo pasan los 800 fraudes: 800 × 60 = US$48,000.
   • Umbral bajo: pasan 240 fraudes (US$14,400) y se rechazan 9,992 buenas (9,992 × 7.5 = US$74,940). Total: US$89,340, casi el doble que no hacer nada.
   • Umbral alto: pasan 480 fraudes (US$28,800) y se rechazan 999 buenas (US$7,492.50). Total: US$36,292.50, ≈ US$11,700 menos que sin modelo.

   La precision lo explica: 560 / 10,552 ≈ 5.3 % con el bajo y 320 / 1,319 ≈ 24.3 % con el alto. El umbral que atrapa más fraude pierde dinero.

10. 10Reto

    Un modelo de crédito marca a quién va a dejar de pagar («sí» = no va a pagar). Se evalúa en dos grupos de 1,000 personas: en el A, 300 dejarían de pagar; en el B, 100. En los dos grupos tiene recall de 80 % y tasa de falsos positivos de 10 %. Calcula la precision en cada grupo. ¿Es equitativo?

    Ver la solución paso a paso

    • Grupo A: TP = 300 × 0.80 = 240; FP = 700 × 0.10 = 70. Precision = 240 / 310 ≈ 77.4 %.
    • Grupo B: TP = 100 × 0.80 = 80; FP = 900 × 0.10 = 90. Precision = 80 / 170 ≈ 47.1 %.

    Depende de qué quieras igualar. Por errores por persona, trata igual a los dos grupos: encuentra al mismo 80 % y acusa en falso al mismo 10 %. Por lo que significa un «sí», no: en el grupo B, más de la mitad de los rechazados (90 de 170) sí iba a pagar. Con proporciones distintas de casos reales (30 % contra 10 %), un modelo que comete los dos errores, como este, no puede igualar las tres cosas a la vez; cuál importa más lo decide la gente que responde por el sistema.

• M01 · El mapa y la entrevista pide bajar el objetivo por la cadena de métricas: negocio (publicaciones completadas) → online (tasa de aceptación) → offline (top-5 en el golden set), con uno o dos guardrails, y decir qué error duele más, porque eso fija precision contra recall y el umbral.
• M10 · MLOps arma el gate de C01: top-1 y top-5 comparados foto por foto contra el modelo actual con un margen de 0.3 puntos, el recall de las 100 categorías con más tráfico, el macro-recall del long tail, ECE ≤ 0.05 después de temperature scaling, los slices y la equidad donde aplica. También guarda la curva de validación por época y la matriz de confusión de cada entrenamiento.
• M11 · Despliegue es lo que pasa después del gate: shadow, canary y A/B sobre la tasa de aceptación, y todas las causas de la brecha entre offline y online.
• M12 · Monitoreo entrena un clasificador que intenta distinguir las fotos de hoy de las de referencia: si su AUC es ≈ 0.5, no las distingue y no hay drift.
• Los casos. C06 y C09 son donde la accuracy miente más; C09 elige el umbral con dinero. C02 y C03 califican por evento y por tipo de defecto. C14 hace validación cruzada en el tiempo con su backtest.
• El Dojo y lo que sigue. La estación 4 del Dojo, «Gate de evaluación y registry», arma este examen (todavía no está lista). En Sensei siguen «Redes neuronales y CNNs», «Ruido, muestras y pruebas A/B» (intervalos y A/B) y «Comparar distribuciones» (cómo se mide el drift).

Estos son los conceptos que presentó esta lección. Cada uno tiene su tarjeta con la definición completa.

Intenta responder en tu cabeza antes de abrir cada respuesta.

1. 1La loss de entrenamiento sigue bajando, pero la de validación lleva cinco épocas subiendo. ¿Qué pasa y qué haces?Ver respuesta

   Overfitting: el modelo empezó a memorizar. Te quedas con el checkpoint de la época con la validación más baja (early stopping) y, para el siguiente entrenamiento, consideras más datos, augmentation o más trabas contra la memoria.

2. 2Un detector de fraude tiene 99 % de accuracy. ¿Es bueno?Ver respuesta

   No se sabe. Si el 1 % de las compras son fraude, un modelo que siempre dice «no es fraude» también saca 99 %. Hay que ver la matriz de confusión, el recall del fraude y la precision.

3. 3De 100 tenis, el modelo encontró 80, y en total dijo «tenis» 120 veces. ¿Cuánto valen la precision y el recall?Ver respuesta

   Recall = 80 / 100 = 80 %. Precision = 80 / 120 ≈ 66.7 %. Los 40 que sobran son falsos positivos.

4. 4Subes el umbral de 0.5 a 0.7. ¿Qué les pasa a la precision y al recall?Ver respuesta

   Normalmente la precision sube y el recall baja (el recall nunca sube): el modelo dice «sí» menos veces, se equivoca menos cuando lo dice y se le escapan más casos. En la calculadora del umbral, la precision pasa de 66.7 % a 93 % y el recall baja de 80 % a 56 %.

5. 5Un modelo nuevo sube la accuracy de 85.0 % a 85.25 %, pero el macro-recall baja de 75 % a 64 %. ¿Qué pasó?Ver respuesta

   Mejoró un poco en las categorías grandes, que tienen casi todas las fotos, y empeoró mucho en las chicas. La accuracy cuenta fotos; el macro-recall cuenta categorías. En C01 no se aprueba.

6. 6El modelo dijo ≈ 90 % en 300 fotos y acertó en 246. ¿Está bien calibrado?Ver respuesta

   No del todo: 246 / 300 = 82 %, no 90 %. En ese rango es demasiado confiado. Se corrige con temperature scaling, que no cambia qué categoría queda primero.

7. 7Un modelo nuevo gana 1.5 puntos de top-5 en el golden set, pero en el A/B la tasa de aceptación baja. ¿Cómo puede ser?Ver respuesta

   La top-5 es solo un proxy de lo que hace la gente. Puede ganar en lugares de la lista que nadie mira, en categorías que hoy casi no se usan, o ser más lento y dejar a más vendedores sin sugerencias a tiempo. La última palabra la tiene la métrica online.