Data Leakage
La fuite de données (data leakage) se produit lorsqu’un modèle d’intelligence artificielle accède, volontairement ou non, à des informations des données de test ou futures lors de son entraînement. Cela conduit à des performances artificiellement élevées pendant l’évaluation, mais trompeuses, car le modèle ne saura pas généraliser à de nouvelles données.
Exemples typiques
- Utiliser une variable directement liée à la cible (ex. inclure la colonne prix de vente pour prédire… le prix de vente).
- Mauvaise séparation entraînement/test : certaines observations se retrouvent dans les deux ensembles.
- Données temporelles mal gérées : inclure des données futures lors de la prédiction d’événements passés.
Impacts
- Illusion de haute performance (faible perte, haute précision).
- Risque élevé d’échec en production.
- Biais dans la validation croisée et mauvaise confiance des parties prenantes.
Comment l’éviter ?
- Mettre en place une séparation stricte entraînement/validation/test.
- Vérifier que les features utilisées ne contiennent pas d’informations futures ou « interdites ».
- Utiliser des méthodes de validation adaptées (validation temporelle pour les séries chronologiques).
La fuite de données en apprentissage automatique est l’un des pièges les plus sournois, car elle donne l’illusion que le modèle est performant alors qu’il s’appuie sur des informations qu’il ne devrait pas connaître. Le danger est double : perte de fiabilité scientifique et perte de confiance des utilisateurs.
Les fuites apparaissent souvent de façon indirecte, par exemple lors de la création de variables dérivées. Un indicateur peut sembler pertinent, mais en réalité contenir une information trop proche de la cible, ce qui biaise l’entraînement. Dans les séries temporelles, le problème est encore plus critique : un simple décalage mal géré peut introduire des valeurs futures dans le passé.
La meilleure défense reste une hygiène stricte des jeux de données : séparation rigoureuse des ensembles, documentation claire des transformations, audits réguliers des pipelines. Associer des experts métier est également essentiel pour détecter les incohérences et valider la plausibilité des variables utilisées.
Références
- Kaufman, S. et al. (2011). Leakage in Data Mining: Formulation, Detection, and Avoidance.
