ROC & AUC Curve

La courbe ROC (Receiver Operating Characteristic) est un outil d’évaluation des modèles de classification. Elle trace le taux de vrais positifs (sensibilité) en fonction du taux de faux positifs (1 – spécificité) pour différents seuils de décision. L’AUC (Area Under the Curve) correspond à l’aire sous la courbe, fournissant une mesure unique de la performance globale du modèle. Un AUC proche de 1 indique une excellente capacité à distinguer les classes, tandis qu’un AUC de 0,5 équivaut à une prédiction aléatoire.

‍

Exemples d’utilisation

• Santé : évaluer un test de dépistage (cancer, diabète) en mesurant sa capacité à bien distinguer malades et non malades.
• Finance : juger l’efficacité d’un modèle de détection de fraude.
• Reconnaissance vocale et vision : utiliser des données multimodales pour comparer différents modèles de classification binaire.

‍

Avantages et limites

• ✅ Permet de comparer plusieurs modèles indépendamment du seuil choisi.
• ✅ Fournit une mesure robuste même en cas de déséquilibre de classes.
• ❌ Peut être trompeuse dans des cas extrêmes de déséquilibre massif.
• ❌ Ne reflète pas toujours le coût réel des erreurs dans certaines applications.

‍

La courbe ROC est un outil central en évaluation statistique car elle illustre le compromis entre sensibilité et spécificité. Elle est particulièrement adaptée lorsque l’on souhaite comparer plusieurs modèles indépendamment d’un seuil de décision prédéfini.

‍

Toutefois, elle présente certaines limites. Dans des contextes où la classe positive est très rare, la courbe ROC peut donner une vision trop optimiste de la performance. Dans ces cas, les courbes précision–rappel apportent une information plus pertinente.

‍

En pratique, l’aire sous la courbe (AUC) est souvent utilisée comme indicateur synthétique. Mais réduire l’analyse à ce seul chiffre comporte un risque : deux modèles avec une AUC identique peuvent avoir des performances très différentes dans les zones critiques (par exemple, un faible taux de faux négatifs en médecine). C’est pourquoi les experts recommandent de coupler l’analyse ROC avec des métriques adaptées aux coûts et contraintes du domaine d’application.

‍

📚 Références

• Fawcett, T. (2006). An Introduction to ROC Analysis. Pattern Recognition Letters.
• Géron, A. (2019). Apprentissage automatique avec Scikit-Learn, Keras et TensorFlow.