UI-Vision GUI Benchmark Dataset
Conjunto de datos diseñado para el análisis visual de las interfaces de escritorio, con anotaciones precisas sobre los elementos gráficos, su función y su posición.
Imágenes y anotaciones JSON en varios subconjuntos (funcionales, espaciales, de diseño)
MIT
Descripción
UI-Vision es un punto de referencia visual para el análisis de las interfaces gráficas de escritorio. Contiene capturas de pantalla anotadas en tres dimensiones: espacial, funcional y estructural. Las anotaciones se proporcionan en formato JSON y las imágenes se organizan por tarea en subcarpetas dedicadas. Este corpus permite estudiar la identificación de los elementos de la interfaz de usuario y la interacción gráfica automatizada.
¿Para qué sirve este conjunto de datos?
- Entrene modelos para detectar y localizar elementos de la interfaz de usuario
- Evaluar la comprensión funcional y la disposición espacial de los componentes visuales
- Desarrolle asistentes de inteligencia artificial que puedan navegar o interactuar con las interfaces de escritorio
¿Se puede enriquecer o mejorar?
Sí, puede enriquecer este conjunto de datos añadiendo otros tipos de interfaces (móviles, web), traducciones de anotaciones o simulando escenarios de usuario reales. También es posible hacer referencias cruzadas de este corpus con los registros de interacciones para realizar análisis de comportamiento más avanzados.
🔎 En resumen
🧠 Recomendado para
- Proyectos de RPA
- Agentes de interfaz de usuario inteligentes
- Investigación sobre HMI
🔧 Herramientas compatibles
- OpenCV
- Detectron2
- Label Studio
- PyTorch
💡 Consejo
Utilice las dimensiones funcionales y espaciales en sinergia para entrenar modelos multitarea sólidos.
Preguntas frecuentes
¿Se puede usar este conjunto de datos para entrenar a los agentes de navegación de la interfaz de usuario?
Sí, está diseñado específicamente para el análisis visual y la comprensión de las interfaces de usuario de escritorio.
¿Qué tareas se pueden evaluar con este corpus?
Permite evaluar la detección de elementos, la comprensión funcional y el análisis de diseño en interfaces gráficas.
¿Las interfaces provienen de entornos reales?
Sí, las capturas de pantalla representan interfaces de escritorio realistas utilizadas en varios contextos.
