JailBreakV-28K Benchmark Multimodal

Dataset conçu pour tester la robustesse des modèles de langage multimodaux (MLLM) contre diverses attaques jailbreak. Il contient 28 000 paires texte-image et 2 000 requêtes malveillantes (RedTeam), couvrant 16 politiques de sécurité et 5 méthodes d’attaque.

Télécharger le dataset

Taille

28 000 paires texte-image + 2 000 requêtes, formats CSV et images associées

Licence

MIT

Description

‍

Le dataset JailBreakV-28K est un benchmark complet destiné à évaluer la résistance des modèles multimodaux face aux attaques dites « jailbreak ». Il contient 28 000 exemples combinant textes d’attaque et images associées, ainsi qu’un sous-ensemble RedTeam de 2 000 requêtes nuisibles ciblant des politiques de sécurité variées. Les attaques couvrent plusieurs stratégies, incluant la persuasion, la logique, et des méthodes spécifiques aux images.

‍

À quoi sert ce dataset ?

‍

Tester la robustesse des modèles multimodaux LLM/MLLM face aux attaques jailbreak
Développer des mécanismes d’alignement et de filtrage des réponses nuisibles
Évaluer et comparer des modèles sur des scénarios de sécurité avancés

‍

Peut-on l’enrichir ou l’améliorer ?

‍

Le dataset peut être enrichi par l’ajout de nouvelles attaques ou la diversification des sources de requêtes nuisibles. Des annotations supplémentaires sur les politiques de sécurité ou des métadonnées contextuelles peuvent aussi renforcer son utilité pour la recherche en sécurité IA.

‍

🔎 En résumé

Critère	Évaluation
🧩 Facilité d’utilisation	⭐⭐⭐✩✩ (Nécessite compréhension des attaques et pré-traitement)
🧼 Besoin de nettoyage	⭐⭐⭐⭐✩ (Modéré – homogénéiser formats texte/image)
🏷️ Richesse des annotations	⭐⭐⭐⭐✩ (Bonne – nombreuses politiques de sécurité annotées)
📜 Licence commerciale	✅ Oui (MIT)
👨‍💻 Idéal pour les débutants	⚠️ Non – destiné aux chercheurs et experts sécurité
🔁 Réutilisable en fine-tuning	🛡️ Utile pour entraînement et évaluation en sécurité IA
🌍 Diversité culturelle	⚠️ Contenu technique, neutre culturellement