WMT SQM Human Evaluation
El conjunto de datos de evaluación humana de WMT SQM contiene evaluaciones humanas sobre la calidad de las traducciones automáticas, recopiladas durante la conferencia WMT 2022. Las anotaciones combinan una evaluación directa (puntuación bruta) y una métrica escalar para estabilizar las puntuaciones entre los anotadores.
Varios miles de ejemplos de evaluación humana, formatos JSON
Apache 2.0
Descripción
Este conjunto de datos muestra las anotaciones de DA+SQM (evaluación directa y métrica de calidad escalar) humanas para la calidad de las traducciones automáticas de la tarea WMT 2022. Cada entrada incluye el texto fuente, la traducción automática, la referencia, la puntuación de la evaluación y metadatos, como el par de idiomas, el dominio y el año.
¿Para qué sirve este conjunto de datos?
- Evaluación de la calidad de los sistemas de traducción automática
- Analice la variabilidad entre anotadores y estabilice las puntuaciones
- Mejore y compare los modelos de traducción automática en todos los dominios e idiomas
¿Se puede enriquecer o mejorar?
Sí, añadiendo más combinaciones de idiomas, de varios campos o combinándolas con otras métricas de evaluación automática o humana.
🔎 En resumen
🧠 Recomendado para
- Investigadores de MT
- Desarrolladores de evaluaciones automatizadas
- Analistas de calidad lingüística
🔧 Herramientas compatibles
- Hugging Face Datasets
- Herramientas de evaluación MT
- Python
💡 Consejo
Utilice este conjunto de datos junto con las métricas automáticas para realizar una evaluación exhaustiva.
Preguntas frecuentes
¿Este conjunto de datos contiene datos de formación en traducción automática?
No, es solo un conjunto de datos de evaluación humana.
¿Qué áreas cubren los datos?
La mayoría son textos de «noticias», pero hay varios dominios disponibles.
¿Se pueden filtrar los datos por combinación de idiomas?
Sí, es posible filtrar por idioma de origen y de destino mediante metadatos.
