Cosmos Reason1 SFT Dataset
Ensemble de données massives pour le raisonnement incarné, associant vidéos (robotique, AV, gestes humains) et annotations textuelles détaillées.
Environ 1,7 million de paires vidéo-texte (mp4 + annotations), formats JSON et vidéo, 300+ Go
CC-BY 4.0
Description
Cosmos-Reason1 SFT Dataset est un jeu de données multimodal publié par NVIDIA, regroupant plus d’un million de paires vidéo-texte annotées pour entraîner des modèles de raisonnement incarné. Il couvre plusieurs domaines : robotique (RoboVQA, BridgeDataV2, Agibot), gestes humains (HoloAssist), et conduite autonome (AV). Les annotations incluent du raisonnement explicite, des chaînes de pensée, et des métadonnées détaillées.
À quoi sert ce dataset ?
- Former des modèles capables de comprendre des actions dans des vidéos et d’en déduire des raisonnements complexes
- Entraîner des IA embarquées pour la robotique ou l’assistance humaine en environnement réel
- Évaluer la capacité des LLM à intégrer perception visuelle et raisonnement logique
Peut-on l’enrichir ou l’améliorer ?
Oui, il est possible d’ajouter des annotations personnalisées, d’étendre le corpus à d’autres domaines ou de créer des versions localisées. Les vidéos sources sont accessibles ou remplaçables via les identifiants fournis, permettant des enrichissements semi-automatisés.
🔎 En résumé
🧠 Recommandé pour
- Laboratoires de robotique
- Chercheurs en cognition incarnée
- Développement d’agents IA autonomes
🔧 Outils compatibles
- PyTorch
- Hugging Face Transformers
- VideoLM
- DeepSpeed
- LoRA
💡 Astuce
Pour exploiter efficacement le dataset, commencez par les sous-ensembles (RoboVQA ou BridgeDataV2) avant de traiter le corpus complet.
Questions fréquemment posées
Quels types de tâches ce dataset permet-il de traiter ?
Il couvre les tâches de raisonnement incarné, QA vidéo, reconnaissance d’actions et compréhension d’interaction humaine.
Peut-on utiliser ce dataset pour des applications commerciales ?
Oui, la licence CC-BY 4.0 le permet, à condition de créditer la source conformément aux termes.
Y a-t-il des limites d’accès aux vidéos ?
Seuls certains ensembles (RoboVQA, AV) incluent les vidéos. Les autres peuvent être retrouvés via les noms de fichiers d’origine.




