Text2Video — Pika 2.2 Preferencias humanas
Un enorme conjunto de datos de evaluaciones de vídeo humanas generadas a partir de descripciones textuales, útil para entrenar los sistemas de preferencias o perfeccionar los modelos de vídeo.
756.000 respuestas (JSON), vídeos GIF de baja resolución y enlaces a vídeos HD
Apache 2.0
Descripción
Text2Video – Préférences humaines Pika 2.2 es un conjunto de datos que contiene aproximadamente 756.000 respuestas humanas recopiladas en 24 horas de 29.000 anotadores. Estas respuestas comparan vídeos generados por el modelo Pika 2.2 a partir de descripciones textuales, en un formato de pares (video1 frente a video2), lo que permite medir la calidad, la fidelidad y la alineación con el mensaje.
¿Para qué sirve este conjunto de datos?
- Evalúe objetivamente los modelos de generación de vídeo basados en texto
- Modelos de preferencia o alineación de trenes (por ejemplo, modelos de recompensa en RLHF)
- Analice las limitaciones actuales de los modelos de transmisión o transfórmelos en vídeo
¿Se puede enriquecer o mejorar?
Sí. Puedes integrar más metadatos (duración, categoría de contenido, calidad percibida) o hacer referencias cruzadas de respuestas con métricas automáticas. También es posible añadir capas de lenguaje natural (justificaciones, comentarios) o extender el punto de referencia a otros modelos.
🔎 En resumen
🧠 Recomendado para
- programadores RLHF
- Investigadores de generación de vídeo
- Evaluación de modelos multimodales
🔧 Herramientas compatibles
- PyTorch
- Hugging Face Datasets
- Weights & Biases
- PEFT
- VLLM
💡 Consejo
Usa respuestas ponderadas («weighted_results») para entrenar un modelo de puntuación personalizado.
Preguntas frecuentes
¿Este conjunto de datos permite evaluar modelos distintos de Pika?
Sí, los vídeos se pueden reemplazar por vídeos de otros modelos para reutilizar la estructura de evaluación.
¿Se pueden descargar los vídeos?
Se incluyen GIF ligeros y los enlaces a vídeos HD se proporcionan por separado en el conjunto de datos.
¿Se puede usar este conjunto de datos para entrenar un modelo de preferencia o recompensa?
Por supuesto, es uno de sus principales usos, especialmente en tuberías de RLHF o de evaluación humana asistida.
