SuperGPQA: evaluación de LLM en 285 disciplinas
SuperGPQA es un punto de referencia masivo de control de calidad que abarca 285 disciplinas académicas, diseñado para evaluar las habilidades de comprensión y razonamiento de los LLM.
Más de 10 000 ejemplos de control de calidad multitema, formato JSON estructurado
DOC-POR
Descripción
SuperGPQA es un conjunto de datos de preguntas y respuestas que abarca una amplia gama de disciplinas académicas, que van desde el derecho hasta la medicina, las matemáticas, la música y la informática. Este punto de referencia tiene como objetivo evaluar las habilidades de los grandes modelos lingüísticos (LLM) para comprender, razonar y responder de manera relevante en campos complejos y especializados.
¿Para qué sirve este conjunto de datos?
- Evalúe el rendimiento de los LLM en tareas de control de calidad multidominio
- Sirven de base para la formación o la prueba de modelos especializados en el conocimiento general o académico
- Analizar la solidez de los modelos frente a cuestiones complejas de 285 disciplinas
¿Se puede enriquecer o mejorar?
Sí. Es posible añadir otras disciplinas, traducir el contenido para uso multilingüe o adaptarlo a los diferentes niveles educativos (licenciatura, bachillerato, etc.). Se pueden añadir anotaciones adicionales (nivel de dificultad, justificación de las respuestas...).
🔎 En resumen
🧠 Recomendado para
- Investigadores de PNL
- Diseñadores de referencia
- Ingenieros de control de calidad de LLM
🔧 Herramientas compatibles
- LangChain
- Transformers
- EvalGauntlet
- Weights & Biases
💡 Consejo
Filtre áreas específicas (por ejemplo, derecho, medicina) para realizar microevaluaciones específicas de su modelo.
Preguntas frecuentes
¿Se puede usar SuperGPQA para realizar ajustes precisos?
Sí, aunque está diseñado para la evaluación, su diversidad lo hace útil para ajustar un modelo para tareas de control de calidad especializadas.
¿Es necesario respetar otras licencias además de la licencia ODC-BY?
Sí, algunos fragmentos provienen de otros conjuntos de datos de código abierto. Si se reutilizan de forma aislada, se deben respetar las condiciones asociadas.
¿Es adecuado para su uso en francés?
El conjunto de datos está en inglés. Para su uso en francés, se recomienda la traducción automática seguida de una validación manual.
