RewardBench Dataset
El conjunto de datos de <strong>RewardBench</strong> contiene ejemplos de evaluación de modelos de recompensas en varias categorías: chat fácil y difícil, seguridad, razonamiento y código. Se usa para medir la capacidad de los modelos para elegir las respuestas preferidas de acuerdo con criterios específicos.
8.108 líneas en formato parquet, peso total 7,94 MB
Licencia de atribución Open Data Commons (ODC-BY)
Descripción
RewardBench es un conjunto de datos estructurado en varias subcategorías para evaluar la calidad de los modelos de recompensa utilizados en la PNL, en particular para tareas de diálogo, seguridad, matemáticas y programación. Cada entrada compara una respuesta preferida con una respuesta rechazada para calcular una puntuación de éxito.
¿Para qué sirve este conjunto de datos?
- Evaluar la capacidad de los modelos para elegir respuestas apropiadas y seguras
- Comparación de diferentes modelos de recompensa para la alineación y el RLHF
- Modelos de prueba sobre tareas complejas de razonamiento y diálogo
¿Se puede enriquecer o mejorar?
Sí, es posible añadir nuevas categorías, enriquecer las anotaciones o integrar los comentarios de los usuarios para refinar las puntuaciones de los premios. El conjunto de datos también se puede extender a otras áreas de diálogo y seguridad.
🔎 En resumen
🧠 Recomendado para
- Investigadores de PNL
- programadores RLHF
- Premiar a los ingenieros de modelos
🔧 Herramientas compatibles
- Pandas
- PyTorch
- TensorFlow
- Scikit-learn
- Notebooks Jupyter
💡 Consejo
Utilice este conjunto de datos para comparar modelos en diferentes escenarios de diálogo y seguridad.
Preguntas frecuentes
¿Qué categorías cubre RewardBench?
Charla fácil y difícil, seguridad, razonamiento (código, matemáticas), con varios subconjuntos de evaluación.
¿Se puede usar RewardBench para entrenar modelos?
No, está diseñado para evaluar modelos de recompensa, no para entrenamiento directo.
¿Cuál es el tamaño del conjunto de datos?
RewardBench contiene 8.108 ejemplos, con un peso total de 7,94 MB en formato Parquet.




