OpenAI MRCR – Multi-Round Co-Reference Resolution
Dataset contenant des conversations synthétiques longues où plusieurs requêtes identiques (2, 4 ou 8 occurrences) sont cachées. La tâche est d’extraire la i-ème occurrence spécifique demandée, testant la gestion fine du contexte par les modèles.
Environ 800 exemples structurés en fichiers Parquet, dialogues multi-turn complexes
MIT
Description
OpenAI MRCR est un dataset textuel dédié à la résolution de coréférences multiples sur de longs contextes. Il simule des conversations multi-turn où plusieurs demandes identiques sont intégrées, et le modèle doit identifier précisément la bonne occurrence demandée.
À quoi sert ce dataset ?
- Évaluer la capacité des modèles à gérer des contextes longs et complexes
- Tester la précision dans la résolution de coréférences multiples
- Benchmarking avancé pour la robustesse des modèles de dialogue
Peut-on l’enrichir ou l’améliorer ?
Il est possible d’augmenter la complexité en générant plus d’exemples avec différents nombres d’occurrences, ou d’ajouter des dialogues issus de cas réels pour renforcer la diversité. L’annotation peut être affinée pour inclure des erreurs typiques à gérer.
🔎 En résumé
🧠 Recommandé pour
- Chercheurs NLP
- Développeurs de chatbots
- Ingénieurs ML spécialisés en dialogue
🔧 Outils compatibles
- Pandas
- PyTorch
- Hugging Face Transformers
- Outils de dialogue
💡 Astuce
Utiliser des métriques de similarité textuelle pour évaluer précisément les réponses dans le contexte multi-turn.
Questions fréquemment posées
Ce dataset est-il adapté pour entraîner des modèles conversationnels ?
Oui, il est conçu pour améliorer la gestion des contextes longs dans les modèles de dialogue.
Combien d’exemples contient ce dataset ?
Environ 800 exemples répartis selon différentes longueurs de contexte et complexités.
Peut-on générer des variantes personnalisées de ce dataset ?
Oui, en modifiant les dialogues synthétiques ou en ajoutant des cas réels pour augmenter la diversité.
