AudioTrust: compara todos los MS
AudioTrust es un punto de referencia a gran escala diseñado para evaluar los modelos de lenguaje de audio (ALLM) en seis ejes críticos: alucinaciones, seguridad, solidez, equidad, privacidad y resistencia a los ataques. Proporciona tareas y métricas estandarizadas para probar la verdadera confiabilidad de los sistemas de inteligencia artificial de audio.
Formato de audio y anotaciones estructuradas, punto de referencia multitarea (6 dimensiones), archivos WAV y JSON
CC-BY-SA 4.0
Descripción
AudioTrust es un punto de referencia de evaluación diseñado para probar minuciosamente los modelos de audio multimodales (ALLM). Abarca seis dimensiones esenciales: la detección de alucinaciones, la resistencia a la corrupción, las pruebas de suplantación de voz, la filtración de datos privados, la equidad demográfica y la generación de contenido peligroso.
¿Para qué sirve este conjunto de datos?
- Evalúe la resistencia de un modelo de audio a los ataques de clonación vocal
- Probar la generación de audio y texto con restricciones de seguridad
- Audite los sesgos demográficos en las respuestas de voz generadas
¿Se puede enriquecer o mejorar?
Sí, AudioTrust se puede complementar con voces adicionales de diferentes idiomas o grupos demográficos. También es posible añadir nuevos escenarios de ataque, tareas en idiomas distintos del inglés o combinar pruebas con evaluaciones humanas para obtener resultados más sólidos.
🔎 En resumen
🧠 Recomendado para
- Investigadores de seguridad de IA
- Desarrolladores de herramientas de autenticación de voz
- Oyentes de modelos de audio
🔧 Herramientas compatibles
- PyTorch
- Whisper
- Transformers
- DeepSpeech
- Librosa
💡 Consejo
Para probar con precisión la robustez, inyecte perturbaciones de audio simuladas con ruidos o distorsiones realistas antes de la evaluación.
Preguntas frecuentes
¿Este conjunto de datos está destinado al entrenamiento de modelos de audio?
No, está diseñado para evaluar los modelos existentes en función de criterios de confianza, no para ajustarlos.
¿Qué tipos de modelos podemos probar con AudioTrust?
Está diseñado para modelos de audio multimodales (ALLM), pero también se puede usar para probar modelos ASR, codificadores de voz o codificadores de voz.
¿El conjunto de datos contiene datos de voz reales o sintéticos?
Combina grabaciones reales y con guion para simular ataques y diversas condiciones de prueba.
