PixMo-Cap
Un conjunto de datos multimodal único que combina imágenes, transcripciones de audio y subtítulos largos de anotaciones orales transformadas por un LLM. Útil para entrenar modelos de lenguaje visual.
Aproximadamente 717 000 artículos, 1,1 GB en formato Parquet, incluidas imágenes (URL), transcripciones de audio y subtítulos largos (unas 200 palabras)
ODC-BY-1.0
Descripción
El conjunto de datos PixMo-Cap contiene más de 700 000 ejemplos multimodales, que combinan imágenes (mediante URL), transcripciones de audio de anotaciones orales y subtítulos largos generados por un modelo lingüístico. Cada elemento incluye una grabación oral de 60 a 90 segundos descrita en texto por un máster en derecho, lo que ofrece una riqueza semántica significativa para las tareas relacionadas con el lenguaje visual.
¿Para qué sirve este conjunto de datos?
- Preentrene o perfeccione los modelos del lenguaje visual con leyendas detalladas
- Busque métodos de generación o comprensión multimodales que incluyan texto, imagen y audio
- Probar sistemas de análisis de imágenes junto con el procesamiento del habla y el lenguaje natural
¿Se puede enriquecer o mejorar?
Sí, es posible añadir anotaciones adicionales a las imágenes, enriquecer las transcripciones de audio con etiquetas temporales o reelaborar los subtítulos para adaptarlos a casos específicos. La colección se puede mezclar para diversificar los idiomas o estilos de las descripciones.
🔎 En resumen
🧠 Recomendado para
- Investigadores de visión artificial
- Desarrolladores de LLM multimodales
- Proyectos de reconocimiento audiovisual
🔧 Herramientas compatibles
- Hugging Face Datasets
- PyTorch
- TensorFlow
- Frameworks multimodales (ex. CLIP, Flamingo)
💡 Consejo
Para aprovechar al máximo este conjunto de datos, proporcione una canalización para descargar y administrar imágenes a través de URL y sincronizarlas con las transcripciones de audio.
Preguntas frecuentes
¿Este conjunto de datos incluye los archivos de audio originales para las anotaciones?
Sí, se incluyen las transcripciones de audio de los anotadores, pero los archivos de audio sin procesar deben comprobarse por separado.
¿Se puede usar este conjunto de datos para entrenar modelos en idiomas distintos del inglés?
El conjunto de datos está principalmente en inglés, pero es posible completarlo mediante traducción o crear extensiones multilingües.
¿Tengo que descargar las imágenes por separado?
Sí, las imágenes se proporcionan como URL y deben cargarse de forma independiente para la formación.




