Al hacer clic en "Aceptar", usted acepta que se almacenen cookies en su dispositivo para mejorar la navegación del sitio, analizar su uso y contribuir a nuestros esfuerzos de marketing. Consulte nuestra política de privacidad para más información.  pour plus d'informations.
Open Datasets
PixMo-Cap
Multimodal

PixMo-Cap

Un conjunto de datos multimodal único que combina imágenes, transcripciones de audio y subtítulos largos de anotaciones orales transformadas por un LLM. Útil para entrenar modelos de lenguaje visual.

Obtén el dataset
Tamaño

Aproximadamente 717 000 artículos, 1,1 GB en formato Parquet, incluidas imágenes (URL), transcripciones de audio y subtítulos largos (unas 200 palabras)

Licencia

ODC-BY-1.0

Descripción

‍

El conjunto de datos PixMo-Cap contiene más de 700 000 ejemplos multimodales, que combinan imágenes (mediante URL), transcripciones de audio de anotaciones orales y subtítulos largos generados por un modelo lingüístico. Cada elemento incluye una grabación oral de 60 a 90 segundos descrita en texto por un máster en derecho, lo que ofrece una riqueza semántica significativa para las tareas relacionadas con el lenguaje visual.

‍

‍

¿Para qué sirve este conjunto de datos?

‍

  • Preentrene o perfeccione los modelos del lenguaje visual con leyendas detalladas
  • Busque métodos de generación o comprensión multimodales que incluyan texto, imagen y audio
  • Probar sistemas de análisis de imágenes junto con el procesamiento del habla y el lenguaje natural

‍

‍

¿Se puede enriquecer o mejorar?

‍

Sí, es posible añadir anotaciones adicionales a las imágenes, enriquecer las transcripciones de audio con etiquetas temporales o reelaborar los subtítulos para adaptarlos a casos específicos. La colección se puede mezclar para diversificar los idiomas o estilos de las descripciones.

‍

‍

🔎 En resumen

Criterio Evaluación
🧩 Facilidad de uso⭐⭐⭐⭐✩ (Requiere gestión de URLs y procesamiento multimodal)
🧼 Necesidad de limpieza⭐⭐⭐⭐✩ (Moderado: verificar calidad de transcripciones y captions generadas)
🏷️ Riqueza de anotaciones⭐⭐⭐⭐✩ (Captions largas y transcripciones de audio asociadas)
📜 Licencia comercial✅ Sí, con atribución (ODC-BY-1.0)
👨‍💻 Ideal para principiantes⚠️ Moderado – formato multimodal complejo
🔁 Reutilizable para fine-tuning🎨 Perfecto para modelos visión-lenguaje y multimodal
🌍 Diversidad cultural⚠️ Principalmente en inglés, anotadores variados

‍

‍

🧠 Recomendado para

  • Investigadores de visión artificial
  • Desarrolladores de LLM multimodales
  • Proyectos de reconocimiento audiovisual

‍

‍

🔧 Herramientas compatibles

  • Hugging Face Datasets
  • PyTorch
  • TensorFlow
  • Frameworks multimodales (ex. CLIP, Flamingo)

‍

‍

💡 Consejo

Para aprovechar al máximo este conjunto de datos, proporcione una canalización para descargar y administrar imágenes a través de URL y sincronizarlas con las transcripciones de audio.

Preguntas frecuentes

¿Este conjunto de datos incluye los archivos de audio originales para las anotaciones?

Sí, se incluyen las transcripciones de audio de los anotadores, pero los archivos de audio sin procesar deben comprobarse por separado.

¿Se puede usar este conjunto de datos para entrenar modelos en idiomas distintos del inglés?

El conjunto de datos está principalmente en inglés, pero es posible completarlo mediante traducción o crear extensiones multilingües.

¿Tengo que descargar las imágenes por separado?

Sí, las imágenes se proporcionan como URL y deben cargarse de forma independiente para la formación.

Otros datasets

Ver más
Category

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique.

Category

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique.

Category

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique.