VGGSound : Dataset Audio-Visuel pour Sons Naturels

Dataset audio-visuel regroupant des clips de sons naturels extraits de vidéos YouTube, couvrant une large variété d'environnements sonores.

Télécharger le dataset

Taille

Plus de 200 000 clips vidéo/audio, segments de 10 secondes, 310+ classes sonores, fichiers CSV pour métadonnées

Licence

Creative Commons Attribution 4.0 International License (CC BY 4.0)

Description

‍

VGGSound est un dataset multimodal associant clips audio et vidéo extraits de vidéos YouTube. Il comprend plus de 200 000 extraits de 10 secondes, couvrant plus de 310 classes sonores variées dans des environnements naturels et bruyants. Les métadonnées sont fournies sous forme de fichiers CSV incluant les URL YouTube, timestamps, labels et partitions train/test.

‍

À quoi sert ce dataset ?

‍

Entraîner des modèles de reconnaissance sonore dans des contextes réels
Développer des systèmes d’analyse multimodale audio-vidéo
Évaluer des architectures d’apprentissage profond sur données « in the wild »

‍

Peut-on l’enrichir ou l’améliorer ?

‍

Oui, le dataset peut être enrichi via l’ajout d’annotations supplémentaires, de transcriptions ou de labels plus précis. La durée des clips permet aussi la découpe ou la recombinaison pour des tâches spécifiques.

‍

🔎 En résumé

Critère	Évaluation
🧩 Facilité d’utilisation	⭐⭐⭐✩✩ (Nécessite gestion des liens YouTube et extraction)
🧼 Besoin de nettoyage	⭐⭐⭐✩✩ (Modéré – extraction et vérification des clips requis)
🏷️ Richesse des annotations	⭐⭐⭐⭐✩ (Bonne – labels sonores diversifiés)
📜 Licence commerciale	✅ Oui (CC BY 4.0)
👨‍💻 Idéal pour les débutants	⚠️ Moyennement – complexité liée au multimédia et à la gestion des vidéos
🔁 Réutilisable en fine-tuning	✅ Adapté pour entraînement et ajustement de modèles multimodaux
🌍 Diversité culturelle	🌎 Élevée – contenu global YouTube varié