CharXiv : Compréhension de Graphiques Scientifiques
Dataset multimodal de compréhension graphique, composé d’images de graphiques réels issus d’arXiv et de questions ouvertes.
2 323 images haute résolution avec 11 000+ questions, format Parquet
CC BY-SA 4.0
Description
CharXiv est un benchmark multimodal conçu pour tester la compréhension de graphiques par les grands modèles de langage visuels. Il contient 2 323 graphiques extraits d’articles scientifiques, accompagnés de 5 questions par graphique (questions descriptives, de raisonnement et une volontairement sans réponse). Chaque exemple met au défi la capacité d’un modèle à lire, interpréter et répondre de manière ouverte à partir d’éléments visuels complexes.
À quoi sert ce dataset ?
- Évaluer la compréhension visuelle de modèles multimodaux (LLMs + images)
- Tester la robustesse en QA ouverte sur des données scientifiques réalistes
- Former ou ajuster des modèles pour des tâches de lecture de graphiques
Peut-on l’enrichir ou l’améliorer ?
Oui. Il est possible d’augmenter ce dataset avec d’autres types de graphiques (ex. non-scientifiques), ou de générer des variantes linguistiques des questions pour une approche multilingue. On peut aussi ajouter des annotations plus fines comme la complexité du graphique ou le type de données représentées.
🔎 En résumé
🧠 Recommandé pour
- Développeurs de LLMs multimodaux
- Chercheurs en QA visuelle
- Projets éducatifs sur la lecture de graphiques
🔧 Outils compatibles
- PyTorch
- Hugging Face Datasets
- Transformers
- OpenFlamingo
- MmGPT
💡 Astuce
Utilisez des embeddings visuels de modèles préentraînés pour combiner l’image et le texte efficacement en phase d’entraînement.
Questions fréquemment posées
Ce dataset contient-il des réponses exactes ou ouvertes ?
Il contient des réponses ouvertes, mais vérifiables, permettant d’évaluer la capacité d’un modèle à formuler des réponses précises sans choix multiple.
Peut-on utiliser ce dataset pour des modèles non multimodaux ?
Pas directement, car l’image est essentielle à la compréhension. Il est conçu pour les architectures capables de traiter texte + image.
Quel type de graphique trouve-t-on dans ce dataset ?
Il s’agit de graphiques scientifiques extraits d’articles arXiv, couvrant divers types comme des barres, lignes, scatter plots, etc.
