LEMONADE — Evaluación egocéntrica del lenguaje en vídeo

LEMONADE es un punto de referencia compuesto por preguntas cerradas asociadas a videoclips egocéntricos grabados en la cocina, que permite evaluar la comprensión del comportamiento, el razonamiento temporal y el análisis biomecánico.

Obtén el dataset

Tamaño

36.521 preguntas y respuestas, 30 vídeos MP4, formato CSV para preguntas y respuestas

Licencia

MIT

Descripción

‍

El conjunto de datos LEMONADE incluye 36.521 preguntas cerradas vinculadas a vídeos egocéntricos del punto de referencia EPFL-Smart-Kitchen-30. Las preguntas abarcan tres categorías principales: comprensión del comportamiento, comprensión a largo plazo y análisis biomecánico mediante la estimación de posturas en 3D.

‍

¿Para qué sirve este conjunto de datos?

‍

Evaluar la comprensión en vídeo de modelos lingüísticos multimodales
Pruebe el razonamiento temporal y la inferencia en secuencias de vídeo largas
Análisis de datos biomecánicos del vídeo (posturas, movimientos)

‍

¿Se puede enriquecer o mejorar?

‍

Sí. Es posible considerar la posibilidad de añadir otras modalidades, como datos de sensores, anotaciones más precisas del comportamiento o transcripciones de texto enriquecido. La integración con otras pruebas de vídeo también puede enriquecer el ecosistema.

‍

🔎 En resumen

Criterio	Evaluación
🧩 Facilidad de uso	⭐⭐⭐⭐⭐ (Bueno, datos bien estructurados, scripts disponibles)
🧼 Necesidad de limpieza	⭐⭐⭐⭐⭐ (Mínimo, datos listos para usar)
🏷️ Riqueza de anotaciones	⭐⭐⭐⭐⭐ (Densos y variados, cubriendo varios aspectos del comportamiento)
📜 Licencia comercial	✅ Sí (MIT)
👨‍💻 Ideal para principiantes	⚠️ Moderado – requiere comprensión multimodal de video
🔁 Reutilizable para fine-tuning	🎯 Sí, adecuado para entrenamiento de modelos multimodales
🌍 Diversidad cultural	⚠️ Limitado geográficamente (EPFL), a completar eventualmente