Qué es un modelo

En la lección anterior viste que un modelo aprende de ejemplos en vez de seguir reglas escritas a mano. Ahora vamos a abrir la caja. Lo primero que hay adentro es una idea de tu clase de matemáticas.

Una función es una regla que a cada entrada le asigna exactamente una salida. Con f(x) = 2x + 1, si entra 3 sale 2 × 3 + 1 = 7. Si vuelve a entrar 3, vuelve a salir 7: una función no cambia de opinión.

Un modelo es exactamente eso: entran números y salen números. Tiene dos diferencias con las funciones de la escuela: es enorme, y una parte de ella no la escribe nadie.

Un modelo de dos perillas

Imagina que el marketplace quiere sugerirle a Ana un precio para sus tenis usados. Un modelo muy chico podría ser:

precio = w × años + b

La forma («multiplica los años por algo y súmale algo») la eligió una persona. Los números w y b son los parámetros: las perillas del modelo. Sus letras vienen de weight (peso) y bias (sesgo), nombres que vas a ver en todas partes. Nadie los pone a mano: el entrenamiento los ajusta mirando miles de ventas pasadas, hasta que el modelo se equivoca lo menos posible con ellas.

Con las mismas perillas, unos tenis nuevos salen en 1,500 pesos y unos de 4 años en −1,200 + 1,500 = 300. Si el entrenamiento hubiera dejado w = −200 y b = 1,800, los de 2 años saldrían en −400 + 1,800 = 1,400. Misma forma, otras perillas, otra respuesta.

Fíjate en algo: con 6 años sale −300 × 6 + 1,500 = −300 pesos. El modelo no sabe que un precio no puede ser negativo. No tiene sentido común: solo calcula. Todo lo que «sabe» quedó en sus perillas, y lo que esté lejos de lo que vio al entrenar lo puede responder muy mal sin avisar.

Del modelo de juguete a la ResNet-50 de C01

El modelo de C01 es una ResNet-50, una red neuronal diseñada para fotos: muchísimas cuentas como la del juguete (multiplicar cada entrada por su peso y sumar), encadenadas, donde lo que sale de un paso entra al siguiente. La idea es la del juguete, solo que mucho más grande:

A la forma de la función («ResNet-50», «multiplica y suma») se le llama arquitectura (architecture). A los valores de las perillas también se les dice pesos (weights). Calcular una respuesta, de la entrada a la salida, se llama forward pass: es lo que pasa en cada inferencia.

El archivo del modelo que se guarda después de entrenar son, sobre todo, esos 24.5 millones de números. Un byte es la unidad con que se mide la memoria, y cada uno de esos números ocupa 4 bytes en float32, la forma más común de guardar un número con decimales. El archivo pesa 24.5 millones × 4 bytes = 98 millones de bytes ≈ 98 MB (megabytes).

Antes de elegir un modelo se decide qué tipo de pregunta le vas a hacer. Eso es la tarea. La tarea fija tres cosas: qué forma tiene lo que sale, cómo se mide si acertó y qué hace el producto con la respuesta. En una entrevista de la Ronda, ponerle nombre a la tarea es de lo primero que se califica (M01).

Clasificación: elegir de una lista

En la clasificación el modelo elige de una lista fija de opciones. A cada opción se le llama clase. Hay tres variantes, y confundirlas rompe sistemas:

• Binaria: dos clases, sí o no. ¿Este pago es fraude? ¿Este correo es spam? Es la clasificación binaria. A la clase que buscas (fraude, spam) se le dice positiva; a la otra, negativa.
• Multiclase: más de dos clases, y cada ejemplo tiene exactamente una correcta. Es la multiclase. C01 es así: cada foto va en una sola de 500 categorías.
• Multietiqueta: varias clases, y cada ejemplo puede tener varias a la vez, o ninguna. Es la multietiqueta (multi-label): cada clase recibe su propio sí o no.

El ejemplo clásico de multietiqueta es la moderación de contenido, el caso C06 de la Ronda. Una red social revisa cada post contra 7 políticas: spam, amenazas y violencia, odio, desnudez y otras. Un mismo post puede ser spam y violento, como un mensaje que vende seguidores falsos y amenaza a quien lo reporte. Si el modelo tuviera que elegir una sola clase, se le escaparía la otra. Por eso el modelo de C06 da un score por política.

Regresión: dar un número

En la regresión sale un número en una escala continua: el precio de la sección anterior, el tiempo que tarda un envío o cuántos litros de leche va a vender una tienda mañana. El nombre es histórico y no ayuda: no tiene nada que ver con «regresar».

La diferencia con la clasificación está en cómo se mide el error. En clasificación aciertas o no. En regresión importa qué tan lejos quedaste: sugerir 950 pesos cuando el par se vendió en 900 es un error chico; sugerir 3,000 es uno grande.

Ranking: ordenar

En el ranking el modelo ordena una lista. Cuando Ana busca «tenis» hay miles de publicaciones, y alguien tiene que decidir cuáles ve primero. El modelo le da un puntaje a cada una y se ordenan. Aquí importa el orden, no el número exacto. Muchas veces el puntaje es la probabilidad de un clasificador binario, por ejemplo la de que esa persona haga clic.

Visión: mirar dentro de la foto

Con imágenes hay tareas que no se conforman con una respuesta para toda la foto:

• Detección de objetos: encuentra cada objeto y dibuja una caja alrededor. Por cada caja da cuatro números (dónde está y qué tamaño tiene), una clase y una confianza. Una foto puede dar cero cajas o cincuenta. Es el cuadrito que dibuja la cámara de tu celular alrededor de las caras.
• Segmentación: le pone una clase a cada píxel de la imagen (cada uno de los puntitos de color que la forman). No dice «hay un tenis más o menos aquí», sino exactamente qué píxeles son tenis y cuáles son fondo. Es parte de lo que usa el «modo retrato» para desenfocar el fondo.
• OCR (optical character recognition): lee el texto que aparece en la imagen y lo devuelve como texto que la computadora puede usar, como la talla en la etiqueta de un tenis.

Todas juntas

Aquí viene la primera sorpresa. El modelo de C01 no devuelve la palabra «Tenis». Devuelve 500 números, uno por categoría, siempre en el mismo orden. Esos números crudos se llaman logits.

Un logit es un puntaje: entre más alto, más se inclina el modelo por esa clase. Pero no es un porcentaje:

• Puede ser cualquier número: 3.0, 0, −12.7 o 41.
• No suma nada en especial: 500 logits pueden sumar 87 o −300.
• Solo no dice mucho. Un logit de 3 es alto solo si los de las demás clases son más bajos.

Para seguir las cuentas con lápiz, usemos solo tres categorías. La foto de Ana da estos logits: Tenis 3.0, Botas 1.0 y Sandalias 0.0. El modelo prefiere «Tenis», pero ¿qué tanto? Con estos números no se puede decir todavía.

Softmax en tres pasos

Queremos convertir los logits en números que cumplan tres cosas: que cada uno quede entre 0 y 1, que sumen 1 entre todos y que el orden no cambie. La cuenta que hace eso se llama softmax.

Para el primer paso necesitas un número famoso: e ≈ 2.718 (el número de Euler). «e elevado a x» se escribe eˣ. Si x es un entero, es multiplicar e por sí mismo x veces: e³ = e × e × e ≈ 20.09. Si tiene decimales, la tecla eˣ de la calculadora lo resuelve. Su gracia: el resultado siempre es positivo, aunque x sea negativo (e⁻¹ ≈ 0.37).

Escrito como fórmula, para la clase i: pᵢ = e^(logitᵢ) ÷ (suma de e^(logit) de todas las clases). En C01 la suma lleva 500 términos en vez de 3, pero la cuenta es la misma.

Tres cosas que conviene notar

Lo que cuenta es la diferencia entre logits. Súmales 10 a todos: 13, 11 y 10. Las probabilidades salen idénticas: 84.4 %, 11.4 % y 4.2 %. La razón: e¹³ = e³ × e¹⁰, y ese e¹⁰ aparece arriba y abajo de cada división, así que se cancela.

La exponencial exagera las diferencias. El logit de Tenis (3) le gana al de Botas (1) por 2 puntos, pero su probabilidad es 84.4 ÷ 11.4 ≈ 7.4 veces mayor. Cada punto de diferencia multiplica por e ≈ 2.72: 2 puntos son 2.72 × 2.72 ≈ 7.4 veces; 5 puntos, ≈ 148 veces.

Nunca da exactamente 0 ni 100 %. Sandalias, con logit 0, todavía se lleva 4.2 %. En C01, las 495 categorías que no entran al top-5 tienen probabilidades diminutas, pero ninguna es cero.

Softmax en Python

Son tres líneas, una por paso. Cópialo y córrelo: no necesita instalar nada.

import math

def softmax(logits):
    exps = [math.exp(z) for z in logits]   # 1. e elevado a cada logit
    total = sum(exps)                      # 2. sumar
    return [e / total for e in exps]       # 3. dividir entre la suma

logits = [3.0, 1.0, 0.0]                   # Tenis, Botas, Sandalias
print([round(p, 3) for p in softmax(logits)])
print(round(sum(softmax(logits)), 6))
print([round(p, 3) for p in softmax([z + 10 for z in logits])])   # sumar 10 a todos
print([round(p, 3) for p in softmax([z * 2 for z in logits])])    # multiplicar por 2

[0.844, 0.114, 0.042]
1.0
[0.844, 0.114, 0.042]
[0.98, 0.018, 0.002]

La última línea es un adelanto de la temperatura, en la sección extra «Por dentro de softmax y sigmoide»: multiplicar los logits no cambia el orden, pero el favorito se ve mucho más seguro.

Softmax sirve cuando hay que repartir el 100 % entre clases que compiten. Hay dos casos donde eso no es lo que quieres: cuando la pregunta es un solo sí o no, y cuando un ejemplo puede tener varias clases a la vez. Para los dos está la sigmoide.

Una sola pregunta

En la clasificación binaria basta un solo logit, que se suele llamar z: positivo si el modelo se inclina por el «sí», negativo si se inclina por el «no». La sigmoide lo convierte en la probabilidad del «sí»:

p = 1 ÷ (1 + e^(−z))

Tres cosas que se ven en la cuenta y en la figura:

• En z = 0 da exactamente 50 %, porque e⁰ = 1 y 1 ÷ (1 + 1) = 0.5. Un logit de 0 es «no sé».
• Es simétrica. z = −2 da 1 ÷ (1 + e²) = 1 ÷ 8.39 ≈ 11.9 %, que es justo 100 % − 88.1 %.
• Nunca llega a 0 ni a 100 %. Con z = 4 ya da 98.2 % y con z = 8, 99.97 %, pero en la cuenta exacta siempre falta un poquito. (En la computadora sí puede salir 1.0: con z = 40, lo que falta es tan chico que Python lo redondea.)

La sigmoide da una probabilidad, no una decisión. La decisión la pone un umbral: si p queda arriba, «sí». Con umbral 0.5, decir «sí» es lo mismo que pedir un logit de 0 o más. Con un umbral más exigente, como 0.9, hace falta un logit de al menos 2.2 (de dónde sale ese número está en la sección extra que sigue).

Varias preguntas a la vez

Regresa a C06. El modelo da un logit por política, y cada uno pasa por su propia sigmoide. Las probabilidades no compiten: cada una contesta su propia pregunta, y no tienen por qué sumar 100 %.

La tarea decide cómo termina el modelo

Una probabilidad es un número de 0 a 1 (o de 0 % a 100 %) que dice qué tan posible es algo. 0.25 es «una de cada cuatro veces». Las de todas las opciones juntas suman 1, como las que salen del softmax.

La confianza de un modelo es la probabilidad que le da a su respuesta favorita, la del primer lugar. En la Ronda también la vas a ver como score o «score top-1». Cuando la app de Ana dice «Tenis, 94 %», la confianza es 0.94.

Ahora, la pregunta importante: ¿94 % quiere decir que acertó? No. Es lo seguro que dice estar el modelo, calculado con los patrones que vio al entrenar. No es una garantía, por tres razones.

1. Puede estar mal calibrado

Un modelo está bien calibrado cuando sus porcentajes cumplen lo que dicen: de todas las fotos a las que les da alrededor de 94 %, acierta en unas 94 de cada 100. Eso se revisa con datos, y se llama calibración.

En C01 esto importa porque el score se le muestra a Ana y decide si una foto es «dudosa». Por eso el contrato de la API de la Ronda (lo que promete devolverle a la app) dice «scores calibrados», y la evaluación antes de aprobar un modelo nuevo revisa la calibración.

2. Solo reparte entre lo que conoce

Softmax siempre reparte el 100 % entre las 500 categorías. Siempre. Si alguien sube la foto de un pastel en forma de tenis, el modelo no puede decir «esto no es nada de mi lista»: va a repartir el 100 % entre sus 500 categorías, y bien puede darle 90 % a «Calzado › Tenis». Es el caso de «bolsas» del Dojo: antes de que exista esa categoría, la foto de una bolsa recibe su 100 % repartido entre las categorías viejas, y la más parecida puede salir con una confianza alta.

3. El mundo cambia

Cuando llegan fotos distintas a las del entrenamiento (el drift de la lección anterior), el modelo acierta menos, y su confianza no siempre baja al mismo ritmo. Por eso, en el monitoreo de la Ronda, la confianza es una alarma temprana y no una prueba: si de pronto muchas fotos salen con confianza baja, algo cambió; pero que la confianza siga alta no prueba que todo esté bien.

Ya tenemos 500 probabilidades. Falta decidir qué ve Ana. Para eso hay tres herramientas, y ninguna es parte del modelo: las pone el producto.

Argmax: el ganador

El argmax de una lista es la posición de su valor más alto, no el valor. Con los logits 3.0, 1.0 y 0.0 de Tenis, Botas y Sandalias, el máximo es 3.0 y el argmax es la posición de Tenis. Esa posición, traducida a su nombre, es la respuesta top-1 del modelo.

¿Por qué da lo mismo sacarlo de los logits o de las probabilidades? Porque softmax no cambia el orden. eˣ crece cuando x crece, así que el logit más alto da la exponencial más alta, y dividir todas entre la misma suma no cambia cuál es la mayor. Para saber cuál gana no hace falta el softmax; hace falta para saber por cuánto.

logits = {"Tenis": 3.0, "Botas": 1.0, "Sandalias": 0.0, "Fútbol": -0.5, "Calcetines": -1.2}

orden = sorted(logits, key=logits.get, reverse=True)   # de mayor a menor logit
print("argmax (top-1):", orden[0])
print("top-3:", orden[:3])

argmax (top-1): Tenis
top-3: ['Tenis', 'Botas', 'Sandalias']

Top-k: más de una sugerencia

Top-k es quedarte con las k opciones más probables, en orden: es el argmax repetido k veces. Top-1 es la favorita; top-5, las cinco primeras. C01 devuelve el top-5 de sus 500 categorías, cada una con su score. La app las muestra como sugerencias ordenadas: Ana toca una, o busca otra en el selector de categorías.

Revisa la suma: 0.62 + 0.14 + 0.08 + 0.05 + 0.03 + 0.08 = 1.00.

¿Por qué cinco y no una? Por la diferencia que hace en la práctica. En la Ronda, el modelo de C01 acierta con la primera sugerencia en ≈ 85 de cada 100 fotos, y la correcta está entre las cinco en ≈ 96 de cada 100. Con cinco opciones, Ana casi nunca tiene que buscar a mano. A esas dos medidas se les llama top-1 y top-5 accuracy (top-k accuracy). Como softmax no cambia el orden, el top-5 de los logits y el de las probabilidades son el mismo: el softmax solo hace falta para mostrar el porcentaje y compararlo con un umbral.

Umbral: una línea que pone una persona

Un umbral (threshold) es una línea: si la confianza queda arriba, se hace una cosa; si queda abajo, otra. No lo decide el modelo. Lo elige una persona mirando datos, es una regla del producto y se puede cambiar sin reentrenar nada.

En la Ronda, C01 usa 0.3 como la línea de «baja confianza»: si el top-1 es menor que 0.3, la foto cuenta como dudosa. Con eso pasan dos cosas:

• La foto se aparta para que una persona le ponga su categoría. Son las fotos que más le pueden enseñar al siguiente modelo.
• Se cuenta. Si la proporción de fotos dudosas llega al doble de su promedio de los últimos 7 días durante media hora, salta una alerta: algo cambió (un error al preparar las fotos, un tipo de foto nueva, un modelo malo).

Fíjate en lo que esa regla no hace en la Ronda: no cambia lo que ve Ana. Ella recibe sus cinco sugerencias de todos modos. El selector de categorías, donde Ana busca a mano, aparece por otra razón: cuando el modelo no contesta a tiempo (en C01, si no hay respuesta en 300 ms) o falla. Un producto podría usar también un umbral para lo que ve Ana, por ejemplo no marcar ninguna sugerencia cuando el top-1 es muy bajo. Sería otra regla, y también la pondría una persona.

Imagina que alguien presume: «mi modelo de fraude acierta 99.9 % de las veces». Suena increíble. La pregunta correcta es: ¿comparado con qué?

Un baseline (línea base) (línea base) es la solución más simple con la que comparas tu modelo. Si tu modelo no le gana, no aprendió nada que valga la pena, por bonito que se vea su número. La accuracy (la fracción de aciertos) del ejemplo lo muestra:

El «99.9 %» que presumían al principio queda debajo de ese piso: ese modelo acierta menos que no hacer nada. Podría servir de todos modos, si atrapa muchos fraudes a cambio de rechazar a algunos clientes buenos, pero la accuracy sola no lo dice: hay que contar los fraudes atrapados y los clientes rechazados.

Cuatro rivales, de menos a más

1. No usar ML: lo que se hace hoy. En C01, antes del modelo, Ana elegía la categoría a mano en el selector. Esa es la base contra la que se mide si las sugerencias ayudan; M01 lo escribe así: «Baseline: sin sugerencia». En C14 (supermercados), una hoja de cálculo sugiere pedir lo que se vendió el mismo día de la semana pasada.
2. El modelo más tonto. Sin mirar la entrada: en clasificación, decir siempre la clase más común; en regresión, decir siempre el promedio. Es lo que tu modelo tiene que superar sí o sí.
3. Una regla simple. En M01, para avisar que una foto está borrosa, el baseline es una cuenta que mide qué tan marcados son sus bordes, con un umbral: corre en milisegundos en una CPU (el procesador común de la computadora) y no se entrena. Solo si falla en casos concretos (fotos nocturnas, fondos lisos) se entrena una red.
4. El modelo que ya existe. Cuando ya hay uno en producción, el nuevo se compara contra él con el mismo examen. En la Ronda al que ya está le dicen champion.

Por qué siempre hace falta uno

• Para saber si aprendió algo. Un número solo no dice nada: 99.92 % parece excelente hasta que ves que no hacer nada da lo mismo.
• Para saber si vale lo que cuesta. Un modelo pide datos, máquinas, monitoreo y gente. Si una regla de diez líneas logra casi lo mismo, la regla gana.
• Para tener un plan B. Cuando el modelo falla o no contesta a tiempo, algo tiene que responder, y muchas veces es el baseline. En C01, si no hay respuesta en 300 ms, Ana ve el selector manual. En C09, si el modelo de fraude no contesta, deciden reglas de respaldo. En C14, si la corrida de la noche falla, se publica el pronóstico de ayer.

M01 lo resume en una frase: el baseline es a la vez tu punto de comparación y tu plan de degradación.

1. Aplicar softmax dos veces. Si el modelo ya devuelve probabilidades y alguien vuelve a aplicar softmax, nada truena, pero los números se aplanan. Con 0.844, 0.114 y 0.042: e^0.844 ≈ 2.326, e^0.114 ≈ 1.121 y e^0.042 ≈ 1.043 suman 4.490, y queda 51.8 %, 25.0 % y 23.2 %. El orden es el mismo, así que nadie lo nota a simple vista; pero el umbral, la alerta y lo que ve Ana se descomponen. Cómo evitarlo: que el contrato diga qué sale del modelo (logits o probabilidades) y revisar en una prueba que el top-1 de una foto clara sea alto.
2. Leer la confianza como accuracy. «94 %» es lo que el modelo dice, no lo que logra. Cómo evitarlo: medir la calibración con datos etiquetados: de las veces que dijo ≈ 94 %, ¿cuántas acertó?
3. Comparar logits entre modelos. Un logit solo vale junto a los demás del mismo modelo. Un modelo con logits 5, 4 y 4 da 57.6 % a su favorito; otro con 2, 0 y 0 da 78.7 %. El de logit más bajo está más seguro. Cómo evitarlo: comparar probabilidades calibradas o métricas sobre el mismo examen, nunca logits sueltos.
4. Usar softmax en un problema multietiqueta. Obliga a las etiquetas a competir, y una esconde a la otra: el post con spam y amenaza que vimos. Cómo evitarlo: si un ejemplo puede tener varias clases a la vez, una sigmoide por etiqueta.
5. Dejar el umbral en 0.5 porque sí. 0.5 no tiene nada de especial. El umbral sale de lo que cuesta cada error: en C09, para un pago de US$25 conviene rechazar desde ≈ 16 % (la cuenta está en «En la vida real»). Cómo evitarlo: elegirlo con datos y costos, y revisarlo con cada versión del modelo.
6. Presumir un número sin baseline. 99.92 % de accuracy en fraude es lo que saca «aprobar todo». Cómo evitarlo: antes de entrenar, calcula lo que saca el rival más tonto y lo que se hace hoy, y escríbelo junto a tu número.
7. Desacomodar la lista de nombres. El modelo dice «posición 137» y la app pega el nombre de otra categoría, sin ningún error. Cómo evitarlo: que los nombres viajen con el modelo y que el servidor revise al arrancar que hay tantos nombres como logits, como hace C01.

Resuélvelos con lápiz (y una calculadora con la tecla eˣ) antes de abrir la solución.

1. 1Fácil

   Un modelo lineal de precios tiene w = −250 y b = 2,000. ¿Qué precio sugiere para unos tenis de 3 años? ¿Con cuántos años llega a 0?

   Ver la solución paso a paso

   Con 3 años: −250 × 3 + 2,000 = −750 + 2,000 = 1,250 pesos.

   Llega a 0 cuando −250 × años + 2,000 = 0, o sea años = 2,000 ÷ 250 = 8. Después de 8 años predice precios negativos: el modelo no sabe que eso no tiene sentido.

2. 2Fácil

   Calcula el softmax de los logits 2, 0 y 0.

   Ver la solución paso a paso

   e² ≈ 7.39 y e⁰ = 1 (dos veces). La suma es 7.39 + 1 + 1 = 9.39.

   Quedan 7.39 ÷ 9.39 ≈ 78.7 % y 1 ÷ 9.39 ≈ 10.7 % para cada una de las otras dos. Revisa: 78.7 + 10.7 + 10.7 = 100.1, que es 100 con el redondeo.

3. 3Fácil

   ¿Qué tarea es cada una, y con qué termina el modelo? (a) ¿Este correo es spam? (b) La categoría de C01, de 500. (c) Las etiquetas de una foto de vacaciones: playa, perro, atardecer. (d) Cuántos minutos tarda un envío.

   Ver la solución paso a paso

   (a) Binaria: un logit y una sigmoide. (b) Multiclase: 500 logits y softmax. (c) Multietiqueta: un logit por etiqueta y una sigmoide para cada una, porque una foto puede tener las tres. (d) Regresión: un número, sin nada al final.

4. 4Fácil

   Un clasificador binario da el logit z = −1. ¿Qué probabilidad da la sigmoide? Con umbral 0.5, ¿dice «sí»?

   Ver la solución paso a paso

   e^(−(−1)) = e¹ ≈ 2.72. Entonces p = 1 ÷ (1 + 2.72) = 1 ÷ 3.72 ≈ 26.9 %.

   Es menor que 0.5, así que dice no. Atajo: con umbral 0.5 basta ver el signo del logit; negativo es «no».

5. 5Medio

   Un modelo de 5 categorías da los logits 1.2, 3.4, −0.5, 3.1 y 0.0. ¿Cuál es el argmax y cuál el top-2? ¿Cambian si aplicas softmax? ¿Y si les sumas 7 a todos?

   Ver la solución paso a paso

   El argmax es la segunda categoría (logit 3.4). El top-2 son la segunda y la cuarta (3.4 y 3.1).

   No cambian con softmax, porque softmax no cambia el orden. Tampoco sumando 7: el orden sigue igual, y además las probabilidades salen idénticas.

   Un detalle: la diferencia entre el primero y el segundo es 0.3, así que el primero es solo e^0.3 ≈ 1.35 veces más probable. Es una foto en la que el modelo duda.

6. 6Medio

   Un post da los logits spam 1.5, violencia 0.5 y odio −2.0. Calcula sus probabilidades con una sigmoide por política y con softmax. Con un umbral de revisión de 0.5 en cada política, ¿qué se revisa en cada caso?

   Ver la solución paso a paso

   Sigmoides. Spam: 1 ÷ (1 + e^(−1.5)) = 1 ÷ (1 + 0.223) ≈ 81.8 %. Violencia: 1 ÷ (1 + 0.607) ≈ 62.2 %. Odio: 1 ÷ (1 + 7.39) ≈ 11.9 %. Se revisan spam y violencia.

   Softmax. e^1.5 ≈ 4.48, e^0.5 ≈ 1.65 y e^(−2) ≈ 0.14 suman 6.27. Quedan spam 71.5 %, violencia 26.3 % y odio 2.2 %. Solo se revisa spam: la violencia se escondió. Por eso la multietiqueta va con sigmoides.

7. 7Medio

   En un sistema de moderación, 0.5 % de los posts viola alguna política. Un modelo saca 99.6 % de accuracy: de 100,000 posts, atrapa 300 de los que violan y marca por error 200 buenos. Revisa que eso da 99.6 % y di qué te dice de verdad.

   Ver la solución paso a paso

   De 100,000 posts, violan 0.5 % = 500.

   Baseline «nada viola»: acierta los 99,500 buenos, 99.5 %.

   Modelo: se equivoca en 200 que violan y se escaparon (500 − 300) y en 200 buenos marcados. Son 400 errores, así que acierta 99,600: 99.6 %. Apenas 0.1 puntos mejor que no hacer nada.

   Lo que importa: de los 500 que violan, atrapó 300 (60 %); y de los 500 que marcó (300 + 200), 300 eran de verdad (60 %). Esas dos medidas son el recall y la precision, y las ves en «¿Aprendió de verdad?».

8. 8Medio

   Una tienda vendió esta semana, de lunes a domingo, 10, 8, 12, 9, 15, 22 y 18 litros de leche. El baseline («lo del mismo día de la semana pasada») había dicho 5, 12, 8, 15, 9, 14 y 26. Un modelo dijo 8, 10, 10, 11, 12, 19 y 21. Calcula el WAPE de cada uno (error absoluto total ÷ ventas totales).

   Ver la solución paso a paso

   Ventas totales: 10 + 8 + 12 + 9 + 15 + 22 + 18 = 94.

   Baseline. Errores: 5, 4, 4, 6, 6, 8 y 8, que suman 41. WAPE = 41 ÷ 94 ≈ 43.6 %.

   Modelo. Errores: 2, 2, 2, 2, 3, 3 y 3, que suman 17. WAPE = 17 ÷ 94 ≈ 18.1 %.

   El modelo le gana al baseline en esta semana. Una semana no prueba nada: C14 lo compara en muchas semanas y tiendas, y la hoja real tiene WAPE ≈ 45 %.

9. 9Reto

   Un pago de US$100 tiene probabilidad de fraude calibrada p = 0.08. Aprobar un fraude cuesta el monto más US$15; rechazar a un cliente bueno, US$7.5. Solo puedes aprobar o rechazar. ¿Qué conviene? ¿Desde qué p conviene rechazar?

   Ver la solución paso a paso

   Perder si apruebasprobabilidad de fraude × lo que cuesta

   0.08 × (100 + 15)

   =US$9.20

   Perder si rechazasprobabilidad de que sea bueno × US$7.5

   0.92 × 7.5

   =US$6.90

   Umbral

   7.5 ÷ (115 + 7.5)

   =0.061

   Resultado

   Conviene rechazar: cuesta menos en promedio. El umbral para US$100 es p ≈ 6.1 %.

   Fíjate en dos cosas. El umbral depende del monto (para US$25 era 16 %). Y todo esto funciona solo si p está calibrada: si el modelo dice 0.08 pero en realidad es 0.02, estás rechazando clientes buenos.

10. 10Reto

    Alguien agrega por error un softmax extra al final del modelo de C01, que ya devolvía probabilidades. El top-1 de una foto era 0.9 y las otras 499 categorías se repartían el 0.1 restante. ¿Qué top-1 sale ahora? ¿Qué le pasa a la regla de baja confianza (top-1 menor que 0.3) y a su alerta?

    Ver la solución paso a paso

    El segundo softmax eleva e a cada probabilidad. El top-1 da e^0.9 ≈ 2.46. En promedio, cada una de las otras 499 vale ≈ 0.0002, y e^0.0002 ≈ 1.0002, así que entre todas suman ≈ 499.1. El total es ≈ 501.6.

    Top-1 nuevo: 2.46 ÷ 501.6 ≈ 0.0049, menos de 0.5 %. Ni una foto perfecta se salva: con 1.0, sale e¹ ÷ (e¹ + 499) ≈ 0.54 %.

    Así que todas las fotos quedan debajo de 0.3. La tasa de baja confianza salta a 100 %, la alerta (el doble de su promedio de 7 días durante 30 minutos) se dispara y la cola de etiquetado se inunda. Ana ve las mismas cinco sugerencias en el mismo orden, pero con porcentajes de 0.5 % para abajo. Nada truena, y por eso este error es peligroso.

• En la Ronda, M01 · El mapa y la entrevista: al plantear el problema se dice qué tarea es, qué error duele más (eso fija el umbral) y cuál es el baseline. Para C01, la medida principal sin usuarios es la top-5 accuracy.
• M07 · Servidores de modelos: Triton devuelve 500 logits; el programa de enfrente hace softmax, top-5 y los nombres, y agrega model_version. Los nombres viajan con el modelo y se revisan al arrancar.
• M08 · Optimización de modelos: al convertir el modelo a FP16, los logits cambian del orden de 0.01 y el argmax se puede mover en las fotos casi empatadas. Por eso se exige que el top-1 coincida en al menos 99.5 % de las fotos de prueba.
• M12 · Monitoreo: la distribución del score top-1 y la tasa de baja confianza son alarmas que llegan en minutos, mucho antes que las etiquetas. Su trampa favorita: «la confianza no es accuracy».
• C06 y C09 usan esta lección de punta a punta: un score por política con umbrales por política, y un umbral que sale del dinero.
• En el Dojo, la estación 6, «Código de serving» (todavía no está lista), hace la cadena de esta lección: logits, softmax, top-5 y nombres.
• Las siguientes lecciones: «Una foto, vista por un modelo» explica cómo se arman los 150,528 números que entran; «Cómo aprende un modelo», cómo el entrenamiento gira las perillas; «¿Aprendió de verdad?», cómo se mide un modelo contra su baseline; y «Redes neuronales y CNNs», qué hay entre la entrada y los logits.

Estos son los conceptos que presentó esta lección.

Intenta responder en tu cabeza antes de abrir cada respuesta.

1. 1Un modelo da los logits 2, 2 y 0 para Tenis, Botas y Sandalias. ¿Qué probabilidades salen?Ver respuesta

   e² ≈ 7.39 dos veces y e⁰ = 1: suman 15.78. Quedan 7.39 ÷ 15.78 ≈ 46.8 % para Tenis, 46.8 % para Botas y 1 ÷ 15.78 ≈ 6.3 % para Sandalias. El modelo está empatado entre dos. Aunque el top-1 pase de 0.3, la diferencia entre el primero y el segundo es cero: en la Ronda, una foto con ese margen tan chico también se aparta para que una persona la etiquete.

2. 2¿Por qué el modelo de moderación de C06 usa una sigmoide por política y no softmax?Ver respuesta

   Porque un post puede violar varias políticas a la vez. Softmax las haría competir por el 100 %, y una escondería a la otra: con logits 2 y 1, la violencia quedaría en 26.8 % con softmax y en 73.1 % con su sigmoide.

3. 3El modelo dice «Tenis, 94 %». ¿Quiere decir que acertó?Ver respuesta

   No. Es su confianza, no una garantía. Si está bien calibrado, de cada 100 fotos con 94 % se equivoca en unas 6. Además, siempre reparte el 100 % entre las categorías que conoce, aunque la foto no sea de ninguna, y con fotos distintas a las del entrenamiento puede estar muy seguro y equivocado.

4. 4¿Por qué el argmax de los logits es el mismo que el de las probabilidades?Ver respuesta

   Porque softmax no cambia el orden: eˣ crece con x, y dividir todo entre la misma suma no cambia cuál es el mayor. Softmax hace falta para saber por cuánto gana el primero, no cuál gana.

5. 5Un detector de fraude saca 99.9 % de accuracy. ¿Qué preguntas primero?Ver respuesta

   Cuánto saca el baseline. Si el fraude es ≈ 0.08 % de los pagos, como en C09, «aprobar todo» saca 99.92 % sin atrapar ninguno: el 99.9 % acierta menos que no hacer nada, y aun así podría servir. Hay que ver cuántos fraudes atrapa y a cuántos clientes buenos rechaza.

6. 6En C01 subes el umbral de baja confianza de 0.3 a 0.6. ¿Qué cambia?Ver respuesta

   Más fotos cuentan como dudosas. Llegan más a la cola de etiquetado, que cuesta dinero porque las revisa una persona, y la tasa de baja confianza sube de golpe: la alerta que la compara con su promedio de 7 días puede saltar sin que nada se haya roto, así que también hay que ajustarla. Ana ve lo mismo: en la Ronda, la regla no cambia sus sugerencias. El modelo es el mismo: solo cambió la regla.