MathVista

MathVista est un benchmark de raisonnement visuel mathématique, regroupant 31 datasets en un seul corpus cohérent pour tester des modèles multimodaux.

Télécharger le dataset

Taille

6 141 exemples, 886 Mo, format Parquet (texte + images)

Licence

CC-BY-SA 4.0

Description

‍

MathVista est un benchmark open-source réunissant 31 datasets, destiné à évaluer la capacité des modèles à résoudre des problèmes mathématiques dans des contextes visuels variés. Il intègre des tests de QCM logiques (IQTest), des fonctions graphiques (FunctionQA), des figures scientifiques extraites d’articles (PaperQA), ainsi qu’une grande variété de tâches VQA et MathQA issues de la littérature.

‍

À quoi sert ce dataset ?

‍

Évaluer les capacités des modèles à raisonner à partir de visuels complexes (graphiques, figures)
Tester la performance de modèles multimodaux en résolution de problèmes scientifiques
Affiner des LLMs multimodaux sur des tâches mathématiques enrichies

‍

Peut-on l’enrichir ou l’améliorer ?

‍

Oui, MathVista peut être enrichi par des annotations supplémentaires (ex. : typologie de problème, niveau de difficulté), ou étendu avec de nouveaux domaines visuels (plans, schémas techniques…). Il est aussi possible de traduire les énoncés ou d’ajouter des résumés pour la simplification linguistique.

‍

🔎 En résumé

Critère	Évaluation
🧩 Facilité d’utilisation	⭐⭐✩✩✩ (Requiert connaissances en formats VQA + Parquet)
🧼 Besoin de nettoyage	⭐⭐⭐⭐⭐ (Faible – corpus unifié et structuré)
🏷️ Richesse des annotations	⭐⭐⭐✩✩ (Moyenne – diversifiée mais pas toujours fine-grain)
📜 Licence commerciale	✅ Oui (CC-BY-SA 4.0)
👨‍💻 Idéal pour les débutants	⚠️ Non – réservé à des profils techniques ou académiques
🔁 Réutilisable en fine-tuning	✅ Adapté au fine-tuning de VLMs pour tâches mathématiques
🌍 Diversité culturelle	⚠️ Modérée – peu de contexte multilingue