Hidden Layer
Une couche cachée est une couche interne d’un réseau neuronal, située entre la couche d’entrée et la couche de sortie. Elle joue un rôle clé dans la transformation progressive des données, en permettant au réseau de modéliser des relations complexes et non linéaires.
Rôle et fonctionnement
Chaque neurone d’une couche cachée applique une fonction d’activation (ReLU, Sigmoïde, Tanh, etc.) aux combinaisons pondérées des entrées reçues. Cela permet d’extraire des caractéristiques de plus en plus abstraites au fil des couches :
- Les premières couches identifient des motifs simples (bords, contours).
- Les couches plus profondes capturent des concepts complexes (visages, objets, relations sémantiques).
Applications
- Vision par ordinateur : reconnaissance d’images dans les CNN.
- Traitement du langage naturel : représentations contextuelles dans les RNN et Transformers.
- Santé : analyse d’images médicales pour la détection de maladies.
Avantages et limites
- ✅ Permettent de capturer des structures très complexes dans les données.
- ✅ Flexibilité dans une large gamme de tâches.
- ❌ Trop de couches cachées peuvent mener au surapprentissage.
- ❌ Peuvent être difficiles à interpréter (boîte noire).
Les couches cachées constituent la véritable boîte noire des réseaux neuronaux. Elles transforment les données étape par étape, jusqu’à ce qu’elles deviennent exploitables par la couche de sortie. C’est grâce à elles que le modèle peut apprendre des représentations hiérarchiques allant du simple pixel à des concepts abstraits comme une émotion ou un objet complexe.
La conception d’un réseau repose en grande partie sur le choix du nombre de couches cachées et de leur taille. Trop peu, et le modèle manque de capacité d’apprentissage ; trop, et il risque de tomber dans le surapprentissage ou d’être impossible à entraîner correctement. Les chercheurs ont proposé différentes solutions, comme les connexions résiduelles ou la normalisation de lots, afin de rendre l’apprentissage plus stable et efficace.
Un autre défi réside dans l’interprétabilité. Les couches cachées apprennent des représentations que les humains ont du mal à visualiser ou comprendre. Cela pose des questions de confiance, notamment dans des applications sensibles comme la santé ou la justice, où savoir « pourquoi » le modèle décide est presque aussi important que la décision elle-même.
📚 Références
- Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep Learning.
