MathVista

MathVista es un punto de referencia para el razonamiento visual matemático, que combina 31 conjuntos de datos en un único corpus coherente para probar modelos multimodales.

Obtén el dataset

Tamaño

6.141 ejemplos, 886 MB, formato parquet (texto + imágenes)

Licencia

CC-BY-SA 4.0

Descripción

‍

MathVista es un punto de referencia de código abierto que reúne 31 conjuntos de datos, diseñado para evaluar la capacidad de los modelos para resolver problemas matemáticos en varios contextos visuales. Integra pruebas lógicas de MCQ (IQTest), funciones gráficas (FunctionQa), datos científicos extraídos de artículos (PaperQa), así como una amplia variedad de tareas de VQA y MathQA extraídas de la literatura.

‍

¿Para qué sirve este conjunto de datos?

‍

Evalúe la capacidad de los modelos para razonar basándose en imágenes complejas (gráficos, figuras)
Probar el rendimiento de los modelos multimodales en la resolución de problemas científicos
Perfeccione los LLM multimodales en tareas matemáticas enriquecidas

‍

¿Se puede enriquecer o mejorar?

‍

Sí, MathVista puede enriquecerse con anotaciones adicionales (por ejemplo, la tipología del problema, el nivel de dificultad) o ampliarse con nuevos dominios visuales (planos, diagramas técnicos, etc.). También es posible traducir afirmaciones o añadir resúmenes para simplificar el lenguaje.

‍

🔎 En resumen

Criterio	Evaluación
🧩 Facilidad de uso	⭐⭐✩✩✩ (Requiere conocimientos de formatos VQA + Parquet)
🧼 Necesidad de limpieza	⭐⭐⭐⭐⭐ (Bajo – corpus unificado y estructurado)
🏷️ Riqueza de anotaciones	⭐⭐⭐✩✩ (Medio – diverso pero no siempre fino)
📜 Licencia comercial	✅ Sí (CC-BY-SA 4.0)
👨‍💻 Ideal para principiantes	⚠️ No – reservado a perfiles técnicos o académicos
🔁 Reutilizable para fine-tuning	✅ Adecuado para fine-tuning de VLMs en tareas matemáticas
🌍 Diversidad cultural	⚠️ Moderado – poco contexto multilingüe