MVBench
MVBench est un dataset innovant qui transforme des tâches statiques en tâches dynamiques pour évaluer des capacités temporelles via des vidéos. Il contient des annotations transformées en questions à choix multiples, favorisant une évaluation précise et équitable des modèles vidéo. Certains fichiers vidéo (320) nécessitent un téléchargement manuel externe.
Description
MVBench propose un benchmark vidéo centré sur des tâches temporelles variées. En convertissant des tâches statiques en dynamiques, il permet de tester des compétences allant de la simple perception à des fonctions cognitives complexes via des questions à choix multiples associées aux vidéos.
À quoi sert ce dataset ?
- Évaluer la compréhension temporelle et dynamique des modèles vidéo
- Tester les capacités de raisonnement temporel dans des tâches complexes
- Faciliter la création automatique de benchmarks vidéo fiables
Peut-on l’enrichir ou l’améliorer ?
Ce dataset peut être enrichi en intégrant davantage de vidéos annotées et en diversifiant les types de tâches temporelles. L’ajout de données vidéos supplémentaires (notamment les 320 à télécharger séparément) améliorera la robustesse de l’évaluation.
🔎 En résumé
🧠 Recommandé pour
- Chercheurs en vision vidéo
- Développeurs de modèles vidéo
- Laboratoires d’IA
🔧 Outils compatibles
- Hugging Face Datasets
- PyTorch Video
- TensorFlow Video
- Frameworks QA vidéo
💡 Astuce
Assurez-vous de récupérer manuellement les 320 vidéos externes pour une évaluation complète.
Questions fréquemment posées
Pourquoi certains fichiers vidéo doivent-ils être téléchargés séparément ?
En raison des restrictions de licence NTU RGB+D, 320 vidéos ne peuvent pas être distribuées directement et doivent être récupérées via le site officiel.
Quel type de tâches temporelles ce dataset évalue-t-il ?
Des tâches allant de la perception simple à la cognition complexe, transformées en questions à choix multiples pour évaluation précise.
Ce dataset est-il adapté pour le fine-tuning de modèles vidéo ?
Oui, il peut servir à la fois pour l’évaluation et le fine-tuning de modèles vidéo sur des tâches temporelles.
