WMT SQM Human Evaluation
Le dataset WMT SQM Human Evaluation contient les évaluations humaines sur la qualité de traductions automatiques, recueillies lors de la conférence WMT 2022. Les annotations combinent une évaluation directe (score brut) et une métrique scalaire pour stabiliser les scores entre annotateurs.
Plusieurs milliers d’exemples d’évaluation humaine, formats JSON
Apache 2.0
Description
Ce dataset présente des annotations humaines DA+SQM (Direct Assessment + Scalar Quality Metric) pour la qualité des traductions automatiques issues de la tâche WMT 2022. Chaque entrée comprend le texte source, la traduction machine, la référence, le score d’évaluation, ainsi que des métadonnées telles que la paire linguistique, le domaine et l’année.
À quoi sert ce dataset ?
- Évaluer la qualité des systèmes de traduction automatique
- Analyser la variabilité inter-annotateurs et stabiliser les scores
- Améliorer et comparer des modèles MT sur différents domaines et langues
Peut-on l’enrichir ou l’améliorer ?
Oui, en ajoutant davantage de paires linguistiques, de domaines variés, ou en combinant avec d’autres métriques d’évaluation automatique ou humaine.
🔎 En résumé
🧠 Recommandé pour
- Chercheurs en MT
- Développeurs d’évaluation automatique
- Analystes de qualité linguistique
🔧 Outils compatibles
- Hugging Face Datasets
- Outils d’évaluation MT
- Python
💡 Astuce
Utiliser ce dataset conjointement avec des métriques automatiques pour une évaluation complète.
Questions fréquemment posées
Ce dataset contient-il des données d’entraînement pour la traduction automatique ?
Non, il s’agit uniquement d’un dataset d’évaluation humaine.
Quels domaines sont couverts par les données ?
Principalement des textes de type « news », mais plusieurs domaines sont disponibles.
Peut-on filtrer les données par paire linguistique ?
Oui, il est possible de filtrer selon la langue source et cible grâce aux métadonnées.
