En cliquant sur "Accepter ", vous acceptez que des cookies soient stockés sur votre appareil afin d'améliorer la navigation sur le site, d'analyser son utilisation et de contribuer à nos efforts de marketing. Consultez notre politique de confidentialité pour plus d'informations.
Open Datasets
CODAH - Dataset Commonsense Adversarialement Créé par des Humains
Texte

CODAH - Dataset Commonsense Adversarialement Créé par des Humains

Le dataset <strong>CODAH</strong> contient des questions de compréhension commonsense difficiles, créées par des humains qui ont utilisé le feedback d’un modèle pré-entraîné pour concevoir des questions adversariales. Utilisé pour évaluer la capacité des modèles à raisonner au-delà des données automatiques classiques.

Télécharger le dataset
Taille

16 656 paires question-réponse en format JSON, poids ~2,25 Mo

Licence

Open Data Commons Attribution License (ODC-BY)

Description

‍

CODAH est un corpus d’évaluation en compréhension du langage naturel, spécifiquement orienté vers le raisonnement commonsense. Chaque exemple comprend une question et plusieurs options de réponse, conçues par des humains afin d’être difficiles à prédire pour les modèles classiques.

‍

‍

À quoi sert ce dataset ?

‍

  • Tester et évaluer les modèles NLP sur la compréhension commonsense
  • Développer des systèmes robustes face à des questions adversariales
  • Améliorer les modèles de compréhension contextuelle et raisonnement

‍

‍

Peut-on l’enrichir ou l’améliorer ?

‍

Ce dataset peut être enrichi en créant de nouvelles questions adversariales dans d’autres domaines ou langues, ou en annotant les questions selon des catégories de difficulté ou type de raisonnement.

‍

‍

🔎 En résumé

Critère Évaluation
🧩 Facilité d’utilisation⭐⭐⭐⭐✩ (Format simple JSON, exemples clairs)
🧼 Besoin de nettoyage⭐⭐⭐⭐⭐ (Faible, données prêtes à l’usage)
🏷️ Richesse des annotations⭐⭐⭐✩✩ (Moyenne, annotations de type QA commonsense)
📜 Licence commerciale⚡ Oui (ODC-BY)
👨‍💻 Idéal pour les débutants🌟 Oui, accessible même aux débutants
🔁 Réutilisable en fine-tuning🎯 Parfait pour évaluation et fine-tuning commonsense
🌍 Diversité culturelle🌏 Anglais, questions de culture générale internationale

‍

‍

🧠 Recommandé pour

  • Chercheurs en NLP
  • Développeurs d’IA en QA
  • Enseignants en linguistique computationnelle

‍

‍

🔧 Outils compatibles

  • PyTorch
  • TensorFlow
  • Hugging Face Transformers
  • Outils d’évaluation QA

‍

‍

💡 Astuce

Intégrer ce dataset dans une suite d’évaluations adversariales pour tester la robustesse de vos modèles.

Questions fréquemment posées

Quelle est la spécificité des questions dans CODAH ?

Les questions sont conçues par des humains pour être difficiles, en exploitant le feedback des modèles afin de créer des pièges et cas adversariaux.

Combien d’exemples contient le dataset CODAH ?

Le dataset contient 16 656 paires question-réponse.

Ce dataset peut-il être utilisé pour entraîner des modèles ?

Oui, il est adapté pour l’évaluation et le fine-tuning de modèles de compréhension du langage naturel.

Datasets similaires

Voir plus
Category

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique.

Category

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique.

Category

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique.