BLINK
El conjunto de datos BLINK ofrece un punto de referencia para evaluar las capacidades de percepción visual de los modelos lingüísticos multimodales (LLM). Reformula 14 tareas clásicas de visión artificial en 3.807 preguntas de opción múltiple con imágenes e indicaciones visuales. Este punto de referencia destaca las dificultades actuales de los LLM multimodales para lograr el rendimiento humano en la percepción visual.
3.807 ejemplos, 797 MB, preguntas de opción múltiple asociadas a una o más imágenes, formato parquet
Apache 2.0
Descripción
El conjunto de datos BLINK incluye 3.807 ejemplos de preguntas de opción múltiple para tareas de visión artificial que requieren una percepción visual precisa, como la estimación de la profundidad relativa, la correspondencia visual, la detección forense y el razonamiento desde múltiples puntos de vista. Cada pregunta va acompañada de una o más imágenes y de una indicación visual para los modelos multimodales.
¿Para qué sirve este conjunto de datos?
- Probar las capacidades de percepción visual de los modelos de lenguaje multimodales
- Evalúe la comprensión visual en tareas complejas cercanas a la percepción humana
- Estimular la investigación para mejorar la percepción de los modelos multimodales
¿Se puede enriquecer o mejorar?
El conjunto de datos puede ampliarse con otras tareas de percepción visual o enriquecerse con anotaciones adicionales. La integración de datos adicionales o el perfeccionamiento de las indicaciones visuales podrían mejorar su relevancia a la hora de realizar ajustes precisos.
🔎 En resumen
🧠 Recomendado para
- Investigadores de visión artificial
- Desarrolladores de modelos multimodales
- Equipos de I+D de IA
🔧 Herramientas compatibles
- Hugging Face Datasets
- PyTorch
- TensorFlow
- Herramientas de evaluación multimodal
💡 Consejo
Utilice la naturaleza múltiple de las imágenes por pregunta para probar la solidez visual de los modelos.
Preguntas frecuentes
¿Qué tareas cubre el conjunto de datos BLINK?
El conjunto de datos cubre 14 tareas clásicas de visión artificial reformuladas en preguntas de opción múltiple con soporte visual.
¿Cuál es el tamaño del conjunto de datos?
El conjunto de datos contiene 3.807 ejemplos para aproximadamente 797 MB.
¿Este conjunto de datos es adecuado para entrenar y evaluar modelos multimodales?
Sí, BLINK está diseñado específicamente para probar y entrenar a los LLM multimodales en tareas que requieren una percepción visual fina.
