StreamVLN Trajectory Data
Conjunto de datos que contiene observaciones visuales (imágenes RGB) y anotaciones de acciones recopiladas en un simulador para tareas de navegación en lenguaje visual en Matterport3D.
Varios miles de imágenes RGB y anotaciones de trayectoria JSON, distribuidas en varios subconjuntos de datos
CC BY-SA 4.0
Descripción
StreamVLN Trajectory Data combina imágenes RGB y anotaciones detalladas de acciones en entornos simulados de Matterport3D. Combina varios conjuntos de datos de navegación basados en la visión y el lenguaje de código abierto, lo que facilita el aprendizaje de las trayectorias guiándose por instrucciones textuales.
¿Para qué sirve este conjunto de datos?
- Entrenamiento de modelos de navegación autónomos en lenguaje visual
- Evalúe a los agentes que pueden seguir las instrucciones en entornos simulados
- Desarrollar sistemas multimodales que combinen visión y lenguaje para la robótica
¿Se puede enriquecer o mejorar?
Este conjunto de datos se puede enriquecer añadiendo vídeos, trayectorias, anotaciones más detalladas sobre el entorno o datos sensoriomotores adicionales del simulador.
🔎 En resumen
🧠 Recomendado para
- Investigadores de robótica
- Desarrolladores de IA multimodal
- Ingenieros de simulación
🔧 Herramientas compatibles
- Simulador Habitat
- PyTorch
- TensorFlow
- Frameworks VLN
💡 Consejo
Utilice las anotaciones para capacitar a los agentes para que sigan las instrucciones con precisión en entornos 3D simulados.
Preguntas frecuentes
¿Qué datos se incluyen en este conjunto de datos?
Imágenes RGB anotadas y secuencias de acción en entornos simulados de Matterport3D para la navegación.
¿Se puede usar este conjunto de datos para la navegación autónoma en el mundo real?
Indirectamente, se usa principalmente para entrenar y evaluar modelos en simulación, pero puede usarse como base para la transferencia a la realidad.
¿Cómo se estructuran las anotaciones?
Las anotaciones están en JSON y describen las instrucciones de navegación y la secuencia de acciones discretas correspondientes a las imágenes.
