CODAH: conjunto de datos de sentido común creado adversariamente por humanos
El conjunto de datos <strong>CODAH</strong> contiene preguntas difíciles de comprensión de sentido común, creadas por humanos que utilizaron los comentarios de un modelo previamente entrenado para diseñar preguntas contradictorias. Se utiliza para evaluar la capacidad de los modelos para razonar más allá de los datos automáticos tradicionales.
16.656 pares de preguntas-respuestas en formato JSON, con un peso de ~2,25 MB
Licencia de atribución Open Data Commons (ODC-BY)
Descripción
CODAH es un corpus de evaluación de la comprensión del lenguaje natural, orientado específicamente al razonamiento de sentido común. Cada ejemplo incluye una pregunta y varias opciones de respuesta, diseñadas por humanos para que resulten difíciles de predecir para los modelos clásicos.
¿Para qué sirve este conjunto de datos?
- Probar y evaluar los modelos de PNL sobre la base de la comprensión del sentido común
- Desarrolle sistemas robustos frente a los problemas de confrontación
- Mejorar los modelos de comprensión y razonamiento contextuales
¿Se puede enriquecer o mejorar?
Este conjunto de datos se puede enriquecer creando nuevas preguntas contradictorias en otros campos o idiomas, o anotando las preguntas según las categorías de dificultad o los tipos de razonamiento.
🔎 En resumen
🧠 Recomendado para
- Investigadores de PNL
- Desarrolladores de IA en QA
- Profesores de lingüística computacional
🔧 Herramientas compatibles
- PyTorch
- TensorFlow
- Hugging Face Transformers
- Herramientas de evaluación QA
💡 Consejo
Integre este conjunto de datos en un conjunto de evaluaciones contradictorias para probar la solidez de sus modelos.
Preguntas frecuentes
¿Cuál es la especificidad de las preguntas de la CODAH?
Los humanos diseñan las preguntas para que sean difíciles, utilizando los comentarios de los modelos para crear dificultades y casos contradictorios.
¿Cuántos ejemplos contiene el conjunto de datos CODAH?
El conjunto de datos contiene 16.656 pares de preguntas y respuestas.
¿Se puede usar este conjunto de datos para entrenar modelos?
Sí, es adecuado para evaluar y ajustar los modelos de comprensión del lenguaje natural.




