JailBreakV-28K Benchmark Multimodal
Conjunto de datos diseñado para probar la solidez de los modelos lingüísticos multimodales (MLLM) contra varios ataques de jailbreak. Contiene 28 000 pares de texto e imágenes y 2 000 solicitudes maliciosas (RedTeam), que abarcan 16 políticas de seguridad y 5 métodos de ataque.
28 000 pares de texto e imagen + 2 000 consultas, formatos CSV e imágenes asociadas
MIT
Descripción
El conjunto de datos Jailbreak V-28K es un punto de referencia integral diseñado para evaluar la resistencia de los modelos multimodales a los llamados ataques de «jailbreak». Contiene 28 000 ejemplos que combinan el texto del ataque y las imágenes asociadas, así como un subconjunto de 2000 solicitudes dañinas de RedTeam dirigidas a diversas políticas de seguridad. Los ataques abarcan múltiples estrategias, como la persuasión, la lógica y los métodos basados en imágenes específicas.
¿Para qué sirve este conjunto de datos?
- Probando la solidez de los modelos multimodales de LLM/MLLM contra los ataques de jailbreak
- Desarrollar mecanismos para alinear y filtrar las respuestas dañinas
- Evalúe y compare modelos en escenarios de seguridad avanzados
¿Se puede enriquecer o mejorar?
El conjunto de datos se puede enriquecer añadiendo nuevos ataques o diversificando las fuentes de consultas dañinas. Las anotaciones adicionales en las políticas de seguridad o los metadatos contextuales también pueden mejorar su utilidad para la investigación sobre la seguridad de la IA.
🔎 En resumen
🧠 Recomendado para
- Investigadores de seguridad de IA
- programadores MLM
- Expertos en alineación
🔧 Herramientas compatibles
- PyTorch
- Conjuntos de datos de Hugging Face
- Frameworks de ataque y defensa IA
💡 Consejo
Para sacarle el máximo partido, combine este punto de referencia con herramientas de detección de ataques en tiempo real.
Preguntas frecuentes
¿Este conjunto de datos contiene contenido potencialmente ofensivo?
Sí, contiene consultas dañinas para probar los límites de los modelos, que se utilizarán únicamente con fines de investigación y educación.
¿Este conjunto de datos es adecuado para el entrenamiento de modelos generales?
No, está diseñado específicamente para la evaluación de la seguridad y la solidez, no para uso general.
¿Cuál es la naturaleza de los datos multimodales?
Se trata de pares de texto e imagen, que cubren varios tipos de imágenes y ataques asociados con los textos.
