Word Embedding
Un word embedding est une représentation vectorielle des mots utilisée en traitement automatique du langage naturel (TALN). L’idée est de transformer chaque mot en un vecteur numérique dans un espace multidimensionnel, où la proximité géométrique entre vecteurs reflète la similarité sémantique entre mots. Par exemple, dans un espace bien entraîné, les vecteurs de roi et reine seront proches, tout comme Paris et France.
Pourquoi les word embeddings sont-ils importants ?
Traditionnellement, les ordinateurs traitaient les mots comme des symboles indépendants (bag-of-words, one-hot encoding). Ces approches ne capturent pas la relation entre les mots : chien et chat sont tout aussi éloignés que chien et voiture. Les embeddings résolvent ce problème en plaçant les mots dans un espace continu où les relations sémantiques et syntaxiques émergent naturellement.
Méthodes célèbres
- Word2Vec (Mikolov et al., 2013) : introduit deux architectures principales (CBOW et Skip-Gram) qui apprennent des représentations à partir du contexte.
- GloVe (Pennington et al., 2014) : combine la factorisation de matrices et les cooccurrences de mots dans de grands corpus.
- FastText (Bojanowski et al., 2017) : améliore Word2Vec en prenant en compte les sous-mots, utile pour les langues morphologiquement riches.
Limites et évolutions
Les embeddings statiques assignent le même vecteur à un mot quel que soit le contexte (banc = siège / institution financière). Pour surmonter cela, les modèles contextuels comme ELMo, BERT ou GPT génèrent des représentations qui varient selon la phrase.
Les word embeddings ont marqué un tournant majeur en NLP en permettant de capturer non seulement le sens individuel des mots mais aussi leurs relations. Les analogies célèbres comme roi – homme + femme ≈ reine montrent comment l’arithmétique vectorielle dans l’espace des embeddings reflète des régularités sémantiques et syntaxiques. Cette propriété a rendu possible le transfert d’apprentissage, où des embeddings entraînés sur de vastes corpus peuvent être réutilisés dans des tâches variées comme l’analyse de sentiments, la traduction automatique ou les systèmes de questions-réponses.
Néanmoins, les embeddings posent certains défis. Ils ont tendance à reproduire les biais présents dans les données d’entraînement : par exemple, associer certains stéréotypes de genre aux professions. Cela soulève des enjeux d’équité et d’éthique dans les applications de l’IA. Des méthodes de réduction de biais et de filtrage des corpus ont été proposées, mais aucune solution parfaite n’existe encore.
D’un point de vue computationnel, les embeddings améliorent aussi l’efficacité et l’évolutivité. Contrairement aux représentations clairsemées, ils réduisent considérablement la dimensionnalité tout en préservant la richesse sémantique, ce qui permet des entraînements plus rapides et des inférences plus efficaces. Les modèles contextuels modernes comme BERT vont plus loin en intégrant le contexte de la phrase entière, améliorant ainsi la précision sur des tâches avancées comme le résumé automatique ou la génération de dialogues naturels.
En définitive, les word embeddings constituent une pierre angulaire du NLP. Ils ont ouvert la voie aux modèles de type transformer, et bien que les embeddings contextuels dominent aujourd’hui, les embeddings statiques restent largement utilisés car ils sont légers, interprétables et efficaces dans des environnements contraints.
