220k GPT4Vision Captions from LIVIS
Conjunto de datos multimodal compuesto por aproximadamente 220 000 imágenes anotadas con subtítulos generados por GPT-4Vision a partir del conjunto de datos LVIS. Su objetivo es mejorar la comprensión y la generación de anotaciones visuales.
Aproximadamente 218 000 imágenes y subtítulos, 62,8 MB, formato Parquet
Apache 2.0
Descripción
El conjunto de datos 220k GPT4Vision Captions from LIVIS contiene imágenes del conjunto de datos LVIS acompañadas de subtítulos generados automáticamente mediante GPT-4Vision. Los subtítulos resumen las instrucciones originales y, por lo tanto, facilitan el entrenamiento de modelos multimodales de subtítulos de imágenes.
¿Para qué sirve este conjunto de datos?
- Entrene modelos para generar descripciones de imágenes
- Mejorar la comprensión contextual multimodal de las IA
- Pruebe la capacidad de los modelos para resumir y formular subtítulos precisos
¿Se puede enriquecer o mejorar?
Es posible enriquecer este conjunto de datos añadiendo anotaciones humanas para mejorar la calidad de los subtítulos o diversificando los tipos de instrucciones resumidas para obtener más variedad.
🔎 En resumen
🧠 Recomendado para
- Desarrolladores de IA multimodal
- Investigadores de visión y lenguaje
- Proyectos de subtitulación
🔧 Herramientas compatibles
- Hugging Face Transformers
- PyTorch
- TensorFlow
- Herramientas de captioning multimodal
💡 Consejo
Incluye anotaciones humanas para mejorar la calidad durante el ajuste.
Preguntas frecuentes
¿Cuál es el origen de las imágenes de este conjunto de datos?
Las imágenes provienen del conjunto de datos LVIS, un gran conjunto de datos de imágenes anotadas para la detección de objetos.
¿Los subtítulos se generan de forma automática o manual?
Se generan automáticamente a partir de las instrucciones de LVIS a través de GPT-4Vision.
¿Se puede usar este conjunto de datos para entrenar un modelo comercialmente?
Sí, la licencia Apache 2.0 permite el uso comercial con respecto a las condiciones.
