EgoLife
EgoLife es un conjunto de datos de vídeo egocéntrico a gran escala diseñado para entrenar modelos para detectar y comprender las actividades humanas en un contexto diario. Ofrece vídeos comentados en primera persona para tareas como el reconocimiento de acciones, el análisis de escenas o incluso la segmentación temporal.
Descripción
EgoLife es un conjunto de datos de vídeo egocéntrico de más de 30 000 clips capturados en contextos cotidianos reales (hogar, cocina, transporte, etc.). Los vídeos van acompañados de anotaciones precisas sobre las acciones, los objetos presentes, las transiciones de las actividades, etc. El corpus está diseñado para modelar los comportamientos humanos y entrenar sistemas de visión artificial centrados en la actividad humana.
¿Para qué sirve este conjunto de datos?
- Entrene modelos de reconocimiento de actividades por vídeo (reconocimiento de acciones)
- Análisis de las secuencias de la vida diaria para la investigación en cognición o robótica
- Evaluación de modelos multimodales en contextos de la vida real
¿Se puede enriquecer o mejorar?
Sí, es posible añadir anotaciones precisas (duración de la acción, interacciones sociales) o hacer referencias cruzadas de los vídeos con datos de audio o fisiológicos. El formato abierto del conjunto de datos también permite crear subconjuntos personalizados según las tareas (por ejemplo, detección de objetos, segmentación temporal, etc.).
🔎 En resumen
🧠 Recomendado para
- Investigadores de visión artificial
- Proyectos de robótica
- Análisis del comportamiento
🔧 Herramientas compatibles
- PyTorchVideo
- MMAction2
- TensorFlow
- Detectron2
💡 Consejo
Utilice herramientas como Chronos o DVC para gestionar mejor el almacenamiento y el preprocesamiento de clips de vídeo de gran tamaño.
Preguntas frecuentes
¿Los vídeos se anotan manualmente?
Sí, los videoclips van acompañados de anotaciones humanas sobre las acciones, los objetos y los tipos de escenas observadas.
¿Se puede usar este conjunto de datos para la detección de objetos en una vista en primera persona?
Sí, aunque el enfoque principal es la actividad humana, los vídeos también incluyen objetos anotados que se pueden utilizar para la detección.
¿Necesitas recursos específicos para usar vídeos?
Se recomienda tener una GPU y suficiente espacio de almacenamiento, ya que los vídeos pueden resultar engorrosos de procesar.
