Sequence-to-Sequence Model (Seq2Seq)
Un modèle sequence-to-sequence (Seq2Seq) est une architecture de réseau neuronal conçue pour transformer une séquence d’entrée en une séquence de sortie. Utilisée notamment en traduction automatique, résumé de texte ou génération de dialogues, cette approche repose sur deux blocs principaux : un encodeur qui transforme la séquence source en une représentation vectorielle, et un décodeur qui génère la séquence cible à partir de cette représentation.
Contexte et évolution
Introduits au milieu des années 2010, les modèles Seq2Seq ont marqué une avancée majeure en traitement automatique du langage (TAL). Basés initialement sur des réseaux récurrents (RNN, LSTM, GRU), ils ont ensuite intégré des mécanismes d’attention qui ont amélioré considérablement leur performance. Ces développements ont ouvert la voie aux modèles plus récents comme les transformers (ex. BERT, GPT).
Applications
- Traduction automatique (ex. Google Translate).
- Résumé automatique de documents.
- Chatbots et agents conversationnels.
- Reconnaissance vocale → texte et génération de sous-titres.
Limites
- Dépendance aux grandes quantités de données annotées.
- Difficultés avec de très longues séquences (atténuées par l’attention et les transformers).
Les modèles Seq2Seq ont apporté une nouvelle flexibilité au traitement automatique des séquences. Grâce à leur structure encodeur–decodeur, ils ont permis d’affronter des problèmes où la longueur des entrées et des sorties varie, ce qui était difficile à gérer avec les approches traditionnelles.
L’introduction des mécanismes d’attention a représenté une avancée décisive : au lieu de condenser toute l’information dans un seul vecteur, le décodeur pouvait se concentrer sur différentes parties de la séquence source au moment opportun. Cette idée a non seulement amélioré la traduction automatique, mais elle a aussi servi de socle au développement des Transformers.
Aujourd’hui, bien que les Transformers dominent la recherche et l’industrie, les Seq2Seq conservent un intérêt pédagogique et pratique. Ils illustrent la transition entre les réseaux récurrents et les architectures modernes, et montrent comment une innovation simple peut transformer un domaine entier.
📚 Références
- Sutskever, I., Vinyals, O., Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NIPS.
- Bahdanau, D., Cho, K., Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate.
