FLORES+ : Benchmark de traduction multilingue

Benchmark multilingue de référence pour l’évaluation de la qualité de traduction dans plus de 200 langues, dérivé de sources variées comme Wikinews et Wikivoyage.

Télécharger le dataset

Taille

Environ 2000 phrases par langue × 222 langues, format texte structuré

Licence

CC-BY-SA 4.0

Description

‍

FLORES+ est un benchmark multilingue utilisé pour tester la précision de la traduction automatique à travers 222 langues. Il contient des phrases issues de sources variées (Wikinews, Wikivoyage, Wikijunior), traduites de l’anglais vers une large gamme de langues. Le corpus est divisé en splits standardisés (dev, devtest), facilitant les comparaisons entre modèles.

‍

À quoi sert ce dataset ?

‍

Évaluer les performances des modèles de traduction dans des langues à faible ou forte ressource
Tester des systèmes multilingues dans un contexte contrôlé
Explorer la couverture linguistique des LLM ou NMT

‍

Peut-on l’enrichir ou l’améliorer ?

‍

Oui. On peut ajouter de nouvelles paires de langues, compléter le jeu avec des traductions humaines supplémentaires ou enrichir les métadonnées par langue (famille linguistique, typologie). Il peut également servir de base à la création de benchmarks spécialisés par domaine (juridique, médical, etc.).

‍

🔎 En résumé

Critère	Évaluation
🧩Facilité d’utilisation	⭐⭐⭐⭐⭐ (Structure simple, bien documentée)
🧼Besoin de nettoyage	⭐⭐⭐⭐⭐ (Aucun : données prêtes à l’emploi)
🏷️Richesse des annotations	⭐⭐⭐⭐☆ (Multilingue, bien segmenté)
📜Licence commerciale	✅ Oui (CC-BY-SA 4.0)
👨‍💻Idéal pour les débutants	👩‍🎓 Oui, facile à manipuler
🔁Réutilisable en fine-tuning	🔥 Parfait pour adapter ou évaluer des modèles NMT
🌍Diversité culturelle	🌐 Très élevée : 222 langues couvertes