CODAH - Dataset Commonsense Adversarialement Créé par des Humains
Le dataset <strong>CODAH</strong> contient des questions de compréhension commonsense difficiles, créées par des humains qui ont utilisé le feedback d’un modèle pré-entraîné pour concevoir des questions adversariales. Utilisé pour évaluer la capacité des modèles à raisonner au-delà des données automatiques classiques.
16 656 paires question-réponse en format JSON, poids ~2,25 Mo
Open Data Commons Attribution License (ODC-BY)
Description
CODAH est un corpus d’évaluation en compréhension du langage naturel, spécifiquement orienté vers le raisonnement commonsense. Chaque exemple comprend une question et plusieurs options de réponse, conçues par des humains afin d’être difficiles à prédire pour les modèles classiques.
À quoi sert ce dataset ?
- Tester et évaluer les modèles NLP sur la compréhension commonsense
- Développer des systèmes robustes face à des questions adversariales
- Améliorer les modèles de compréhension contextuelle et raisonnement
Peut-on l’enrichir ou l’améliorer ?
Ce dataset peut être enrichi en créant de nouvelles questions adversariales dans d’autres domaines ou langues, ou en annotant les questions selon des catégories de difficulté ou type de raisonnement.
🔎 En résumé
🧠 Recommandé pour
- Chercheurs en NLP
- Développeurs d’IA en QA
- Enseignants en linguistique computationnelle
🔧 Outils compatibles
- PyTorch
- TensorFlow
- Hugging Face Transformers
- Outils d’évaluation QA
💡 Astuce
Intégrer ce dataset dans une suite d’évaluations adversariales pour tester la robustesse de vos modèles.
Questions fréquemment posées
Quelle est la spécificité des questions dans CODAH ?
Les questions sont conçues par des humains pour être difficiles, en exploitant le feedback des modèles afin de créer des pièges et cas adversariaux.
Combien d’exemples contient le dataset CODAH ?
Le dataset contient 16 656 paires question-réponse.
Ce dataset peut-il être utilisé pour entraîner des modèles ?
Oui, il est adapté pour l’évaluation et le fine-tuning de modèles de compréhension du langage naturel.




