Cosmos Reason1 SFT Dataset
Un conjunto de datos masivo para el razonamiento encarnado, que combina vídeos (robótica, AV, gestos humanos) y anotaciones de texto detalladas.
Aproximadamente 1,7 millones de pares de video-texto (más anotaciones en mp4), formatos JSON y vídeo, más de 300 GB
CC-BY 4.0
Descripción
Cosmos Reason1 SFT Dataset es un conjunto de datos multimodal publicado por NVIDIA, que combina más de 1 millón de pares de video-texto anotados para entrenar modelos de razonamiento encarnados. Abarca varias áreas: robótica (RoboVQA, BridgeDataV2, Agibot), gestos humanos (HoloAssist) y conducción autónoma (AV). Las anotaciones incluyen el razonamiento explícito, las cadenas de pensamiento y los metadatos detallados.
¿Para qué sirve este conjunto de datos?
- Entrene modelos capaces de comprender las acciones de los vídeos y deducir razonamientos complejos
- Entrenamiento de IA integradas para robótica o asistencia humana en un entorno real
- Evaluar la capacidad de los LLM para integrar la percepción visual y el razonamiento lógico
¿Se puede enriquecer o mejorar?
Sí, es posible añadir anotaciones personalizadas, extender el corpus a otras áreas o crear versiones localizadas. Los vídeos originales son accesibles o reemplazables mediante los identificadores proporcionados, lo que permite enriquecerlos de forma semiautomática.
🔎 En resumen
🧠 Recomendado para
- Laboratorios de robótica
- Investigadores de la cognición encarnada
- Desarrollo de agentes de IA autónomos
🔧 Herramientas compatibles
- PyTorch
- Hugging Face Transformers
- VideoLM
- DeepSpeed
- LoRA
💡 Consejo
Para usar el conjunto de datos de manera eficaz, comience con los subconjuntos (RoboVQA o BridgeDataV2) antes de procesar el corpus completo.
Preguntas frecuentes
¿Para qué tipos de tareas se puede usar este conjunto de datos?
Abarca tareas de razonamiento encarnado, control de calidad en vídeo, reconocimiento de acciones y tareas de comprensión de la interacción humana.
¿Se puede usar este conjunto de datos para aplicaciones comerciales?
Sí, la licencia CC-BY 4.0 lo permite, siempre que se acredite la fuente de acuerdo con los términos.
¿Hay límites de acceso a los vídeos?
Solo algunos sets (RoboVQA, AV) incluyen vídeos. Los demás se pueden encontrar con los nombres de archivo originales.




