Weight
En intelligence artificielle, et plus précisément dans les réseaux de neurones artificiels, un poids (weight) est un paramètre numérique qui détermine l’importance d’une connexion entre deux neurones.
Chaque neurone reçoit des entrées pondérées : les données d’entrée sont multipliées par leurs poids respectifs, puis transmises à la fonction d’activation. C’est grâce à ce mécanisme que le réseau peut apprendre à donner plus ou moins d’importance à certaines caractéristiques.
Exemple simple
Dans un modèle de reconnaissance d’images, un poids peut indiquer à quel point une caractéristique visuelle (par ex. un bord, une couleur) contribue à l’identification d’un objet.
- Un poids élevé = la caractéristique est jugée importante.
- Un poids proche de zéro = la caractéristique est négligée.
- Un poids négatif = la caractéristique a une influence inverse.
Rôle dans l’apprentissage
L’entraînement d’un réseau de neurones consiste à ajuster automatiquement les poids pour minimiser l’erreur de prédiction. Cela se fait via un processus appelé rétropropagation (backpropagation), qui utilise des algorithmes d’optimisation comme la descente de gradient.
Les poids jouent un rôle central dans la capacité d’abstraction des réseaux neuronaux. Ils permettent de hiérarchiser l’information : les premières couches apprennent souvent des caractéristiques simples (bords, couleurs, textures), tandis que les couches profondes combinent ces signaux pour identifier des concepts complexes comme un visage, un objet ou même une émotion. Sans cette pondération progressive, les réseaux seraient incapables de capturer des structures de haut niveau.
Un aspect intéressant est la sensibilité des poids : de petits changements peuvent améliorer la précision, mais des valeurs trop extrêmes risquent d’entraîner des problèmes comme le surapprentissage ou l’explosion des gradients. C’est pourquoi des techniques comme la régularisation L2, la normalisation ou l’initialisation adaptée (Xavier, He) sont utilisées pour stabiliser l’entraînement.
Les poids ne se limitent pas aux réseaux denses classiques. Dans les réseaux convolutionnels (CNN), les poids des filtres apprennent à détecter des motifs spatiaux, tandis que dans les réseaux récurrents (RNN, LSTM, GRU), ils capturent des dépendances temporelles. Dans les transformers, ce sont les poids des mécanismes d’attention qui déterminent quelles parties de la séquence d’entrée sont les plus pertinentes.
Enfin, il ne faut pas oublier l’aspect interprétabilité : analyser les poids peut donner des indices sur ce que le modèle “considère” important. Même si ce n’est pas toujours simple à visualiser, des approches comme les cartes de chaleur (saliency maps) ou l’occlusion mapping s’appuient directement sur cette logique pondérée pour expliquer les décisions d’une IA.
👉 En résumé : Les poids sont le cœur du “savoir” d’un réseau de neurones. Sans eux, le modèle ne pourrait pas apprendre ni généraliser à partir des données.
