CharXiv: Comprensión de los gráficos científicos

Conjunto de datos de comprensión gráfica multimodal, compuesto por imágenes de gráficos reales de arXiv y preguntas abiertas.

Obtén el dataset

Tamaño

2.323 imágenes de alta resolución con más de 11.000 preguntas, formato Parquet

Licencia

CC BY-SA 4.0

Descripción

‍

CharXiv es un punto de referencia multimodal diseñado para evaluar la comprensión de gráficos por parte de grandes modelos de lenguaje visual. Contiene 2.323 gráficos extraídos de artículos científicos, acompañados de 5 preguntas por gráfico (preguntas descriptivas, preguntas de razonamiento y una pregunta sin respuesta deliberada). Cada ejemplo pone a prueba la capacidad de un modelo para leer, interpretar y responder abiertamente basándose en elementos visuales complejos.

‍

¿Para qué sirve este conjunto de datos?

‍

Evalúe la comprensión visual de los modelos multimodales (LLM + imágenes)
Pruebe la solidez en un control de calidad abierto con datos científicos realistas
Entrene o ajuste modelos para tareas de lectura de gráficos

‍

¿Se puede enriquecer o mejorar?

‍

Sí. Es posible aumentar este conjunto de datos con otros tipos de gráficos (por ejemplo, no científicos) o generar variantes lingüísticas de las preguntas para un enfoque multilingüe. También puede agregar anotaciones más precisas, como la complejidad del gráfico o el tipo de datos representados.

‍

🔎 En resumen

Criterio	Evaluación
🧩 Facilidad de uso	⭐⭐⭐✩✩ (Descarga sencilla pero requiere carga Parquet + imágenes)
🧼 Necesidad de limpieza	⭐⭐⭐⭐⭐ (Bajo – datos ya bien estructurados)
🏷️ Riqueza de anotaciones	⭐⭐⭐⭐⭐ (Excelente: preguntas variadas, respuestas abiertas)
📜 Licencia comercial	✅ Sí (CC BY-SA 4.0)
👨‍💻 Ideal para principiantes	⚠️ Accesible pero requiere comprensión multimodal
🔁 Reutilizable para fine-tuning	✅ Ideal para ajuste de LLMs multimodales
🌍 Diversidad cultural	📄 Medio – concentrado en artículos científicos arXiv