Mini-Batch Gradient Descent
La descente de gradient par mini-lots (mini-batch gradient descent) est une variante de la descente de gradient classique. Au lieu de mettre à jour les paramètres du modèle après chaque exemple (descente stochastique) ou après l’ensemble complet des données (descente batch), on découpe l’ensemble d’apprentissage en petits lots appelés mini-batchs.
Ce compromis a transformé l’apprentissage profond. Il combine la stabilité statistique de la descente batch avec la rapidité et la capacité de généralisation de la descente stochastique. Concrètement, chaque mini-lot produit une estimation du gradient, ce qui permet de mettre à jour les paramètres plus fréquemment qu’avec un batch complet, tout en évitant les fluctuations trop importantes propres à l’approche purement stochastique.
En pratique, la taille du mini-batch joue un rôle clé : trop petit, le modèle devient instable et bruité ; trop grand, il ralentit l’apprentissage et exige plus de mémoire. La recherche actuelle explore même des tailles de batch dynamiques adaptées à la complexité du problème.
Aujourd’hui, la plupart des frameworks (TensorFlow, PyTorch, JAX) intègrent cette approche par défaut. Qu’il s’agisse d’entraîner des réseaux convolutifs pour la vision, des transformers pour le NLP, ou des modèles de recommandation, l’apprentissage par mini-batch est le standard.
Le descente de gradient par mini-lots est un compromis élégant entre deux extrêmes : utiliser toutes les données en même temps (batch complet) ou les traiter une par une (stochastique pur). Dans la pratique, les mini-lots permettent d’obtenir un apprentissage plus rapide et plus stable, tout en rendant l’entraînement compatible avec les contraintes matérielles des GPU.
Un aspect intéressant est que les mini-lots introduisent une part d’aléatoire contrôlée dans l’optimisation. Cet aléa aide souvent le modèle à échapper à des minima locaux trop “étroits” et à trouver des solutions plus robustes. C’est un peu comme si le modèle faisait de petites “secousses” qui l’empêchent de rester coincé.
Le choix de la taille du mini-lot est un véritable art : trop petit, et l’entraînement devient bruyant et lent ; trop grand, et l’on perd les bénéfices de la régularisation implicite tout en augmentant les coûts. Certaines approches modernes proposent d’adapter dynamiquement cette taille selon l’avancement de l’entraînement, ce qui illustre bien la vitalité du domaine.
En résumé, sans la descente de gradient par mini-lots, il serait quasiment impossible d’entraîner les architectures profondes actuelles, qu’il s’agisse de modèles de vision, de traduction automatique ou de modèles de langage de grande taille.
🔗 Références :
- Bengio, Practical recommendations for gradient-based training of deep architectures (2012)
