Residual Network (ResNet)

Un réseau résiduel (Residual Network, ResNet) est une architecture de réseau neuronal profond qui introduit des connexions résiduelles (ou skip connections). Ces connexions permettent aux gradients de circuler plus efficacement lors de l’entraînement, évitant ainsi le problème du gradient qui disparaît dans les réseaux très profonds.

‍

Contexte
Les ResNets ont été proposés par Kaiming He et ses collègues en 2015, et ont révolutionné le domaine de la vision par ordinateur. Présentés au concours ImageNet, ils ont permis d’entraîner des réseaux de plus de 100 couches avec des performances supérieures aux architectures classiques.

‍

Applications

• Vision par ordinateur : classification d’images, détection d’objets, segmentation.
• Reconnaissance faciale : extraction de caractéristiques robustes.
• Médecine : analyse d’images médicales (radiographies, IRM).
• NLP : adaptation dans certains modèles de traitement du langage naturel.

‍

Avantages et limites

• ✅ Permet l’entraînement de réseaux très profonds.
• ✅ Réduit le problème du gradient qui disparaît.
• ✅ Très performant sur de nombreux benchmarks.
• ❌ Complexité accrue, demande davantage de ressources matérielles.

‍
L’innovation majeure des ResNet réside dans l’apprentissage résiduel. Plutôt que de contraindre chaque couche à transformer entièrement son entrée, la couche apprend uniquement la partie résiduelle — c’est-à-dire la différence entre l’entrée et la sortie attendue. Ce mécanisme de raccourci stabilise la propagation des gradients et rend possible l’entraînement de réseaux comportant des centaines, voire des milliers de couches, sans les problèmes classiques de disparition ou d’explosion des gradients.

‍

‍Après leur succès initial, plusieurs variantes ont vu le jour : ResNeXt, qui introduit des blocs modulaires plus efficaces ; Wide ResNet, qui mise sur l’élargissement des couches plutôt que sur leur profondeur ; ou encore Attention-ResNet, qui associe connexions résiduelles et mécanismes d’attention pour renforcer la précision. Ces adaptations ont permis d’appliquer les ResNet bien au-delà de la vision par ordinateur, notamment en traitement du langage naturel, en biologie computationnelle ou dans l’IA multimodale.

‍

Aujourd’hui, les ResNet ne sont plus seulement des modèles de recherche : ils sont largement utilisés dans des applications industrielles. Dans le domaine médical, ils soutiennent le diagnostic assisté à partir d’imageries radiologiques. En sécurité, ils alimentent des systèmes de reconnaissance faciale en temps réel. Dans la tech, on les retrouve dans la classification de photos, l’analyse vidéo et l’imagerie satellite pour l’agriculture ou le climat. Leur efficacité et leur robustesse en ont fait un standard incontournable des architectures modernes.

‍

📚 Références

• He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep Residual Learning for Image Recognition. CVPR.
• Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep Learning.