Underfitting

Le sous-apprentissage (en anglais underfitting) désigne une situation où un modèle d’intelligence artificielle est trop simple ou trop limité pour capturer les motifs sous-jacents présents dans les données. Contrairement au surapprentissage (overfitting), qui apprend trop de détails spécifiques au jeu d’entraînement, le sous-apprentissage traduit une incapacité du modèle à apprendre même les tendances de base. Il en résulte des performances faibles, aussi bien sur les données d’entraînement que sur les nouvelles données.

‍

Causes principales

• Modèle trop simple : par exemple, utiliser une régression linéaire sur un problème hautement non linéaire.
• Temps d’entraînement insuffisant : le modèle n’a pas eu assez d’itérations pour ajuster ses paramètres.
• Régularisation excessive : certaines méthodes (L1, L2, dropout) peuvent être paramétrées de façon trop stricte, brident l’apprentissage et empêchent le modèle d’extraire des signaux pertinents.
• Mauvaise sélection des variables : un jeu de données incomplet ou mal préparé peut limiter la capacité d’un modèle, même complexe.

‍

Exemples concrets

• Un modèle de prédiction de la consommation énergétique qui n’utilise que la température extérieure comme variable explicative, ignorant d’autres facteurs comme le jour de la semaine ou l’activité industrielle.
• Un système de reconnaissance d’images basé sur des filtres trop grossiers, incapable de distinguer correctement des formes plus complexes.
• Une classification de textes entraînée sur un vocabulaire réduit, qui ne peut pas capter la richesse linguistique des données réelles.

‍

Conséquences

• Faibles performances généralisées : le modèle prédit mal à la fois sur l’entraînement et sur le test.
• Mauvaise exploitation des données : les motifs utiles restent “invisibles” au modèle.
• Impact métier : en contexte industriel, cela peut se traduire par des décisions erronées (ex. un système de maintenance prédictive qui ne repère pas les signaux annonciateurs d’une panne).

‍

Comment corriger le sous-apprentissage

• Augmenter la complexité du modèle : utiliser des modèles plus adaptés comme des réseaux neuronaux multicouches ou des forêts aléatoires.
• Améliorer l’entraînement : prolonger le nombre d’itérations ou ajuster la vitesse d’apprentissage.
• Réduire la régularisation si elle est trop contraignante.
• Ajouter des variables pertinentes via de l’ingénierie de caractéristiques (feature engineering).
• Collecter plus de données de meilleure qualité, permettant au modèle de disposer d’informations suffisantes pour apprendre.

‍

Lien avec le surapprentissage
Le sous-apprentissage et le surapprentissage représentent deux extrêmes opposés du cycle d’entraînement des modèles. Le premier survient quand le modèle est trop faible, le second quand il est trop complexe et trop adapté au jeu d’entraînement. L’objectif en apprentissage automatique est de trouver un équilibre, souvent appelé biais-variance tradeoff.

‍

📚 Références

• Géron, A. (2019). Apprentissage automatique avec Scikit-Learn, Keras et TensorFlow. Éditions O’Reilly.
• Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep Learning. MIT Press.