SuperGPQA – Évaluation LLM sur 285 disciplines

SuperGPQA est un benchmark QA massif couvrant 285 disciplines académiques, conçu pour tester la compréhension et les capacités de raisonnement des LLMs.

Télécharger le dataset

Taille

Plus de 10 000 exemples QA multithématiques, format JSON structuré

Licence

ODC-BY

Description

‍

SuperGPQA est un jeu de données de question-réponse couvrant un large éventail de disciplines académiques, allant du droit à la médecine, en passant par les mathématiques, la musique ou encore l'informatique. Ce benchmark vise à tester les capacités des grands modèles de langage (LLMs) à comprendre, raisonner et répondre de manière pertinente dans des domaines complexes et spécialisés.

‍

À quoi sert ce dataset ?

‍

Évaluer les performances des LLMs sur des tâches de QA multi-domaines
Servir de base pour entraîner ou tester des modèles spécialisés en connaissances générales ou universitaires
Analyser la robustesse des modèles face à des questions complexes issues de 285 disciplines

‍

Peut-on l’enrichir ou l’améliorer ?

‍

Oui. Il est possible d’ajouter d'autres disciplines, de traduire les contenus pour un usage multilingue ou encore de l’adapter à des niveaux éducatifs différents (licence, lycée, etc.). Des annotations supplémentaires peuvent être ajoutées (niveau de difficulté, justification des réponses...).

‍

🔎 En résumé

Critère	Évaluation
🧩 Facilité d’utilisation	⭐⭐⭐✩✩ (Requiert un tri selon les disciplines)
🧼 Besoin de nettoyage	⭐⭐⭐⭐⭐ (Faible – format standardisé)
🏷️ Richesse des annotations	⭐⭐⭐✩✩ (Moyenne – principalement Q/A sans justification détaillée)
📜 Licence commerciale	✅ Oui (ODC-BY)
👨‍💻 Idéal pour les débutants	⚠️ Moyennement – certains sujets sont très techniques
🔁 Réutilisable en fine-tuning	🎯 Très bon pour ajustement multi-domaines
🌍 Diversité culturelle	🌟 Bonne, mais majoritairement en anglais