F1 Score
Le F1-score est une métrique de performance en apprentissage automatique qui combine la précision (precision) et le rappel (recall) dans un seul indicateur harmonique. Alors que la précision mesure la proportion de prédictions positives correctes et que le rappel évalue la capacité du modèle à identifier tous les exemples positifs, le F1-score équilibre ces deux dimensions.
Contexte et importance
Dans des situations de classification déséquilibrée (par exemple, détection de fraude où les cas positifs sont rares), la simple précision globale peut être trompeuse. Un modèle qui prédit toujours la classe majoritaire pourrait afficher une forte précision sans jamais détecter la classe minoritaire. Le F1-score permet alors de mieux mesurer la pertinence du modèle.
Applications pratiques
- Détection de spams : équilibrer les faux positifs (emails légitimes classés comme spam) et les faux négatifs (spams manqués).
- Diagnostic médical : importance critique d’identifier correctement les cas positifs (par ex. patients atteints d’une maladie).
- Systèmes de sécurité : détection d’intrusions ou de fraudes où le rappel et la précision doivent être simultanément considérés.
Limites
- Ne prend pas en compte les vrais négatifs (peu adapté aux problèmes où ils sont cruciaux).
- L’équilibre précision/rappel peut masquer les besoins spécifiques d’un cas d’usage (ex. parfois le rappel doit primer).
Le score F1 est un indicateur apprécié car il synthétise en une seule valeur la capacité d’un modèle à trouver les bonnes réponses sans générer trop de fausses alertes. Contrairement à l’exactitude (accuracy), il met l’accent sur les cas positifs, souvent les plus critiques dans des contextes sensibles.
Un avantage pratique est sa robustesse face aux déséquilibres de classes. Dans des données où les exemples positifs sont rares (fraude, maladies rares), le score F1 permet de mieux juger la pertinence d’un modèle qu’une simple mesure d’exactitude.
Cependant, il faut rester prudent : le score F1 ignore les vrais négatifs et ne reflète donc pas toute la performance du modèle. De plus, il n’intègre pas les priorités métiers. Dans certaines situations, on privilégiera une métrique asymétrique comme le F2-score (favorisant le rappel) ou au contraire une approche orientée sur la précision.
Références
- Manning, Raghavan & Schütze, Introduction to Information Retrieval (Cambridge University Press, 2008).
