Hyperparamètres
Les hyperparamètres sont des valeurs fixées avant l’entraînement d’un modèle d’intelligence artificielle et qui déterminent la manière dont celui-ci apprend. Contrairement aux paramètres internes (poids et biais), qui sont ajustés automatiquement pendant l’apprentissage, les hyperparamètres sont choisis manuellement ou optimisés via des méthodes spécifiques.
Exemples d’hyperparamètres
- Le taux d’apprentissage (learning rate) : contrôle la vitesse de mise à jour des poids.
- La taille des batchs : nombre d’échantillons utilisés par itération.
- Le nombre de couches et de neurones dans un réseau.
- Le facteur de régularisation (L1, L2, dropout).
Contexte
Le réglage des hyperparamètres est crucial : des choix inadaptés peuvent conduire au sous-apprentissage (underfitting) ou au surapprentissage (overfitting). Des techniques comme la recherche en grille (grid search), la recherche aléatoire (random search) ou l’optimisation bayésienne sont utilisées pour automatiser leur sélection.
Avantages et limites
- ✅ Permettent de contrôler la complexité et la performance du modèle.
- ❌ Leur optimisation est coûteuse en calcul.
- ❌ Il n’existe pas de configuration universelle : elle dépend des données et des tâches.
Les hyperparamètres jouent un rôle clé car ils conditionnent le comportement d’apprentissage d’un modèle. Certains contrôlent la vitesse (taux d’apprentissage), d’autres la capacité du modèle à généraliser (régularisation), et d’autres encore la complexité de l’architecture (profondeur des réseaux).
Leur réglage constitue souvent un compromis délicat. Par exemple, un réseau trop grand avec une régularisation faible risque de surapprendre, tandis qu’un réseau trop petit sous-apprendra. De plus, le choix des hyperparamètres est rarement universel : une configuration efficace pour la vision par ordinateur peut s’avérer inadaptée pour le traitement du langage naturel.
L’optimisation des hyperparamètres est donc une tâche itérative qui mêle méthodes automatiques et expertise humaine. Elle est coûteuse en calcul, mais indispensable pour obtenir des modèles fiables et robustes, surtout dans les domaines sensibles comme la santé ou la finance.
📚 Références
- Bengio, Y. (2012). Practical recommendations for gradient-based training of deep architectures.
