Conjunto de datos TREC-QA
TREC-QA es un conjunto de datos diseñado para entrenar y evaluar modelos de preguntas y respuestas (QA) en lenguaje natural. Proviene de las conferencias TREC (Text Retrieval Conference) y su objetivo es evaluar la capacidad de los sistemas para proporcionar respuestas precisas a preguntas basadas en hechos a partir de un corpus de documentos.
Varios miles de pares pregunta-respuesta, en formato TXT
Uso académico bajo condiciones. Se requiere licencia para algunas versiones comerciales
Descripción
El conjunto de datos TREC-QA incluye:
- Varios miles de preguntas breves con respuestas objetivas
- Pasajes de texto que se analizarán para encontrar la respuesta correcta
- Anotaciones relevantes para la evaluación (respuesta buena/mala)
- Un formato RAW en TXT o TSV, adecuado para el entrenamiento supervisado
¿Para qué sirve este conjunto de datos?
TREC-QA se utiliza para:
- Formación de modelos cerrados de preguntas y respuestas (control de calidad cerrado)
- Evaluación de motores de búsqueda inteligentes basados en lenguaje natural
- El desarrollo de asistentes virtuales capaces de responder a preguntas objetivas
- Análisis de la relevancia de las respuestas en las tareas de clasificación
¿Se puede enriquecer o mejorar?
Sí, el TREC-QA se puede adaptar o mejorar:
- Agregar contextos o explicaciones más ricos asociados a las respuestas
- Combinación con conjuntos de datos recientes como Natural Questions o HotPotQA
- Traducción multilingüe para evaluar modelos de control de calidad a otros idiomas
- Anotación de los tipos de respuesta (persona, ubicación, fecha, cantidad...)
🔗 Fuente: Conjunto de datos TREC-QA
Preguntas frecuentes
¿Cuál es la diferencia entre TREC-QA y sQuad?
sQuad ofrece respuestas extraídas directamente de un contexto determinado, mientras que TREC-QA evalúa la capacidad de elegir la respuesta correcta entre varias, de un corpus más amplio.
¿Se sigue utilizando TREC-QA en la actualidad?
Sí, sigue siendo un punto de referencia histórico para la garantía de calidad basada en hechos y se sigue utilizando en trabajos de comparación o para la evaluación inicial de los modelos de garantía de calidad.
¿Se puede combinar TREC-QA con modelos generativos?
Sí, aunque históricamente esté asociado con la clasificación, se puede adaptar para probar modelos generativos como el GPT o el T5 comparando las respuestas generadas con las esperadas.
