Cost Function
En apprentissage automatique, une fonction de coût est une fonction mathématique qui mesure l’écart entre les prédictions d’un modèle et les valeurs réelles. Elle fournit un indicateur quantitatif de la qualité des prédictions.
Intuition
- Plus la valeur de la fonction de coût est faible, plus le modèle s’ajuste correctement aux données.
- Une valeur élevée indique des erreurs importantes et donc la nécessité d’améliorer les paramètres du modèle.
Exemples courants
- Régression : Erreur quadratique moyenne (Mean Squared Error, MSE).
- Classification : Entropie croisée (Cross-Entropy).
- Régression robuste : Erreur absolue moyenne (Mean Absolute Error, MAE).
Applications
La fonction de coût est au cœur des algorithmes d’optimisation (descente de gradient, Adam, RMSProp), qui ajustent les poids et biais des modèles pour minimiser cette fonction.
La fonction de coût joue un rôle central car elle définit la notion d’erreur pour l’algorithme. Sans elle, impossible de savoir si le modèle apprend réellement. En pratique, elle agit comme une mesure de distance entre la sortie du modèle et la vérité terrain.
Chaque domaine privilégie une fonction adaptée : en régression, l’erreur quadratique moyenne (MSE) est la plus répandue, tandis qu’en classification on utilise souvent l’entropie croisée, capable de gérer des probabilités. Pour la détection d’objets ou la traduction automatique, les chercheurs conçoivent même des fonctions de coût spécifiques qui tiennent compte des contraintes du problème.
Un aspect important est que la fonction de coût influence directement le comportement du modèle. En modifiant la façon dont les erreurs sont pénalisées, on oriente l’apprentissage. C’est ainsi que dans des contextes sensibles (santé, justice, finance), on adapte parfois les fonctions de coût pour réduire certains biais ou équilibrer les erreurs de type faux positifs et faux négatifs.
Référence
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
