BLimp - Evaluación gramatical de LLM
Corpus estructurado para evaluar las habilidades gramaticales de los modelos lingüísticos en inglés, que abarca 67 fenómenos sintácticos, morfológicos y semánticos.
Descripción
El conjunto de datos BLiMP (Benchmark of Linguistic Minimal Pairs) está diseñado para evaluar las habilidades gramaticales de los modelos lingüísticos. Contiene aproximadamente 67 000 pares mínimos de oraciones, divididos en 67 categorías gramaticales, como las islas sintácticas, la concordancia entre el sujeto y el verbo, la negación o incluso la morfología verbal. Cada par se genera automáticamente de acuerdo con rigurosas reglas lingüísticas definidas por expertos.
¿Para qué sirve este conjunto de datos?
- Evaluar modelos lingüísticos sobre fenómenos gramaticales específicos
- Compare el rendimiento lingüístico entre diferentes modelos (GPT, BERT, etc.)
- Analice la sensibilidad sintáctica o semántica de los modelos entrenados
¿Se puede enriquecer o mejorar?
Sí, Blimp se puede enriquecer con pares multilingües o con anotaciones manuales adicionales. También es posible adaptar las gramáticas para otros idiomas o añadir metadatos sobre la dificultad o la frecuencia de las construcciones lingüísticas. Este corpus también se puede utilizar como base para generar desafíos similares en francés o en contextos especializados.
🔎 En resumen
🧠 Recomendado para
- Investigadores en lingüística computacional
- Evaluación LLM
- programadores de PNL
🔧 Herramientas compatibles
- PyTorch
- Transformers
- Evaluate (HF)
- Jupyter Notebooks
💡 Consejo
Para evaluar la solidez de un modelo, pruebe varias subcategorías gramaticales por separado y compare los resultados.
Preguntas frecuentes
¿El conjunto de datos es adecuado para los modelos de entrenamiento?
No, está diseñado principalmente para la evaluación. Es mejor utilizar otros conjuntos de datos para la formación inicial.
¿Están todos los ejemplos en inglés?
Sí, todos los ejemplos son sobre gramática inglesa. Sin embargo, puede usarse como base para crear versiones multilingües.
¿Se anotan las frases manualmente?
No, se generan automáticamente a partir de gramáticas escritas por expertos, lo que garantiza una alta precisión.
