Recurrent Neural Network
Un réseau de neurones récurrent (Recurrent Neural Network, RNN) est une architecture conçue pour traiter des données séquentielles. Contrairement aux réseaux classiques, il intègre une mémoire interne qui lui permet de tenir compte des étapes précédentes pour influencer les prédictions actuelles.
Contexte
Les RNN sont apparus dans les années 1980, mais leur adoption s’est accélérée dans les années 2010 grâce aux avancées en puissance de calcul et aux grandes bases de données textuelles ou audio. Ils ont été les premiers modèles capables de capturer efficacement la dépendance temporelle dans des séquences.
Exemples d’applications
- NLP : traduction automatique, analyse de sentiments.
- Reconnaissance vocale : conversion de la parole en texte.
- Prévision de séries temporelles : météo, cours boursiers.
- Musique et texte génératif : création de mélodies ou de phrases.
Avantages et limites
- ✅ Capacité à modéliser des dépendances temporelles.
- ✅ Utilisés comme base pour des modèles plus avancés (LSTM, GRU).
- ❌ Problème de gradients (explosion ou disparition) limitant l’apprentissage long terme.
- ❌ Plus lents à entraîner que des architectures parallélisables comme les Transformers.
Les RNN représentent une révolution conceptuelle : pour la première fois, un réseau neuronal pouvait « se souvenir » de ses entrées précédentes et les réutiliser pour influencer ses sorties. Cette capacité est importante pour modéliser la temporalité, qu’il s’agisse d’un texte lu mot par mot, d’une séquence audio ou d’une série financière.
Cependant, les RNN classiques présentent des limites : leur entraînement est difficile à stabiliser et la dépendance au calcul séquentiel les rend peu parallélisables, ralentissant considérablement l’apprentissage sur de grands volumes de données. C’est pourquoi les architectures dérivées comme les LSTM et les GRU ont marqué un tournant, en apportant une meilleure gestion de la mémoire à long terme.
Aujourd’hui, les Transformers ont largement supplanté les RNN dans la recherche et l’industrie, mais ces derniers gardent une valeur pédagogique et pratique : ils constituent un chaînon historique qui a ouvert la voie à la compréhension moderne des séquences en intelligence artificielle.
📚 Références
- Elman, J. L. (1990). Finding Structure in Time. Cognitive Science.
- Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep Learning.
