Cross Entropy
La entropía cruzada es una función de pérdida que mide la discrepancia entre la distribución real de las etiquetas y la distribución de probabilidad predicha por el modelo. Es la métrica estándar en tareas de clasificación.
Idea principal
- Predicción correcta con alta probabilidad → pérdida muy baja.
- Predicción errónea o incierta → pérdida elevada.
Ejemplo
En un modelo de clasificación de imágenes:
- Imagen de un gato, el modelo predice "gato" con 0,92 de probabilidad → entropía cruzada baja.
- Imagen de un gato, el modelo predice "perro" con 0,70 de probabilidad → entropía cruzada alta.
Aplicaciones
- Redes neuronales para visión por computador.
- Clasificación de texto y análisis de sentimientos.
- Reconocimiento de voz.
La entropía cruzada se puede interpretar como una medida de desalineación entre expectativas y realidad. Cuanto más coincidan las probabilidades del modelo con la etiqueta real, menor será la pérdida. Cuando el modelo “apuesta fuerte” por la clase incorrecta, la penalización es máxima.
Además, la entropía cruzada está muy ligada a la teoría de la información: minimizándola, el modelo reduce la “incertidumbre extra” que añade al representar la distribución real. Dicho de otra forma, busca transmitir la menor cantidad posible de información equivocada.
Es una función de pérdida prácticamente universal en clasificación, desde la regresión logística clásica hasta los transformadores modernos. No obstante, tiene un inconveniente: en contextos con clases muy desbalanceadas, puede sesgar el aprendizaje hacia las clases mayoritarias. Por eso, en problemas como la detección de fraudes o de enfermedades raras, se combinan técnicas como focal loss o ponderaciones específicas junto con la entropía cruzada.
Referencia
- Murphy, K. P. (2012). Machine Learning: A Probabilistic Perspective. MIT Press.
- Pérdida de entropía cruzada: optimice sus modelos de IA, Innovatiana
