CG Bench

CG-Bench est un benchmark conçu pour évaluer la compréhension approfondie des vidéos longues via des questions-réponses ancrées sur des indices précis dans les vidéos.

Télécharger le dataset

Taille

1 219 vidéos manuellement annotées, 12 129 paires question-réponse, formats vidéo standards

Licence

MIT

Description

‍

CG-Bench contient 1 219 vidéos longues annotées avec 12 129 paires question-réponse, couvrant des catégories variées (14 primaires, 171 secondaires, 638 tertiaires). Le dataset se concentre sur des questions qui exigent la récupération d'indices pertinents dans les vidéos, afin d'évaluer la compréhension réelle des modèles.

‍

À quoi sert ce dataset ?

‍

Tester et améliorer la compréhension vidéo des modèles de langage multimodal (MLLMs)
Évaluer la capacité des modèles à raisonner sur de longues séquences vidéo en s'appuyant sur des indices précis
Développer des systèmes robustes de question answering vidéo au-delà des simples choix multiples

‍

Peut-on l’enrichir ou l’améliorer ?

‍

Oui, il est possible d'ajouter de nouvelles annotations, étendre les catégories de vidéos ou affiner les indices pour des évaluations plus granulaires. La communauté peut aussi proposer des données supplémentaires ou des formats alternatifs d'annotation pour enrichir le benchmark.

‍

🔎 En résumé

Critère	Évaluation
🧩 Facilité d’utilisation	⭐⭐⭐✩✩ (Dataset volumineux nécessitant un environnement adapté pour traitement vidéo)
🧼 Besoin de nettoyage	⭐⭐⭐⭐⭐ (Faible, données manuellement annotées et bien structurées)
🏷️ Richesse des annotations	⭐⭐⭐⭐⭐ (Très riche : annotations questions-réponses avec indices liés aux vidéos)
📜 Licence commerciale	✅ Oui (MIT, usage commercial autorisé)
👨‍💻 Idéal pour les débutants	⚠️ Moyennement – nécessite des connaissances en traitement vidéo et NLP multimodal
🔁 Réutilisable en fine-tuning	✅ Parfait pour fine-tuning de modèles vidéo-langage
🌍 Diversité culturelle	🌐 Large diversité grâce à de nombreuses catégories et types de vidéos