En cliquant sur "Accepter ", vous acceptez que des cookies soient stockés sur votre appareil afin d'améliorer la navigation sur le site, d'analyser son utilisation et de contribuer à nos efforts de marketing. Consultez notre politique de confidentialité pour plus d'informations.
Open Datasets
Cosmos Reason1 SFT Dataset
Multimodal

Cosmos Reason1 SFT Dataset

Ensemble de données massives pour le raisonnement incarné, associant vidéos (robotique, AV, gestes humains) et annotations textuelles détaillées.

Télécharger le dataset
Taille

Environ 1,7 million de paires vidéo-texte (mp4 + annotations), formats JSON et vidéo, 300+ Go

Licence

CC-BY 4.0

Description

‍

Cosmos-Reason1 SFT Dataset est un jeu de données multimodal publié par NVIDIA, regroupant plus d’un million de paires vidéo-texte annotées pour entraîner des modèles de raisonnement incarné. Il couvre plusieurs domaines : robotique (RoboVQA, BridgeDataV2, Agibot), gestes humains (HoloAssist), et conduite autonome (AV). Les annotations incluent du raisonnement explicite, des chaînes de pensée, et des métadonnées détaillées.

‍

‍

À quoi sert ce dataset ?

‍

  • Former des modèles capables de comprendre des actions dans des vidéos et d’en déduire des raisonnements complexes
  • Entraîner des IA embarquées pour la robotique ou l’assistance humaine en environnement réel
  • Évaluer la capacité des LLM à intégrer perception visuelle et raisonnement logique

‍

‍

Peut-on l’enrichir ou l’améliorer ?

‍

Oui, il est possible d’ajouter des annotations personnalisées, d’étendre le corpus à d’autres domaines ou de créer des versions localisées. Les vidéos sources sont accessibles ou remplaçables via les identifiants fournis, permettant des enrichissements semi-automatisés.

‍

‍

🔎 En résumé

Critère Évaluation
🧩 Facilité d’utilisation⭐⭐⭐⭐✩ (Fichiers bien structurés, mais volumineux)
🧼 Besoin de nettoyage⭐⭐⭐⭐⭐ (Faible – annotations cohérentes et prêtes à l’emploi)
🏷️ Richesse des annotations⭐⭐⭐⭐⭐ (Très riche : raisonnement, actions, chaînes de pensée)
📜 Licence commerciale✅ Oui (CC-BY 4.0)
👨‍💻 Idéal pour les débutants⚠️ Non – recommandé pour utilisateurs avancés en IA multimodale
🔁 Réutilisable en fine-tuning🎯 Excellente base pour fine-tuning de LLM visuo-cognitifs
🌍 Diversité culturelle⚠️ À améliorer – données centrées sur scénarios techniques

‍

‍

🧠 Recommandé pour

  • Laboratoires de robotique
  • Chercheurs en cognition incarnée
  • Développement d’agents IA autonomes

‍

‍

🔧 Outils compatibles

  • PyTorch
  • Hugging Face Transformers
  • VideoLM
  • DeepSpeed
  • LoRA

‍

‍

💡 Astuce

Pour exploiter efficacement le dataset, commencez par les sous-ensembles (RoboVQA ou BridgeDataV2) avant de traiter le corpus complet.

Questions fréquemment posées

Quels types de tâches ce dataset permet-il de traiter ?

Il couvre les tâches de raisonnement incarné, QA vidéo, reconnaissance d’actions et compréhension d’interaction humaine.

Peut-on utiliser ce dataset pour des applications commerciales ?

Oui, la licence CC-BY 4.0 le permet, à condition de créditer la source conformément aux termes.

Y a-t-il des limites d’accès aux vidéos ?

Seuls certains ensembles (RoboVQA, AV) incluent les vidéos. Les autres peuvent être retrouvés via les noms de fichiers d’origine.

Datasets similaires

Voir plus
Category

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique.

Category

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique.

Category

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique.