ShowUI Desktop

ShowUI Desktop es un conjunto de datos dedicado a conectar a tierra las interfaces de usuario de PC, que incluye capturas de pantalla anotadas y enriquecidas mediante GPT-4o con atributos de función, apariencia y relaciones espaciales.

Obtén el dataset

Tamaño

7.496 capturas de pantalla con anotaciones, 328 MB, formato Parquet

Licencia

Uso gratuito, abierto y permisivo

Descripción

‍

ShowUI Desktop contiene capturas de pantalla de PC con anotaciones para conectar a tierra las interfaces de usuario. Las anotaciones, originarias de OmniAct, están enriquecidas con GPT-4o con información detallada sobre el aspecto, las relaciones espaciales y la funcionalidad prevista de los elementos de la interfaz de usuario.

‍

¿Para qué sirve este conjunto de datos?

‍

Entrene modelos para comprender y localizar elementos en interfaces gráficas
Mejora de los sistemas de reconocimiento de la interfaz de usuario para la automatización
Interacción humano-computadora e investigación de IA para la base de la interfaz de usuario

‍

¿Se puede enriquecer o mejorar?

‍

Las anotaciones se pueden completar o corregir manualmente. El código de reescritura de anotaciones proporcionado permite extender este conjunto de datos a otras capturas de pantalla o contextos.

‍

🔎 En resumen

Criterio	Evaluación
🧩 Facilidad de uso	⭐⭐⭐⭐✩ (Formato estructurado listo para usar)
🧼 Necesidad de limpieza	⭐⭐⭐⭐⭐ (Bajo – anotaciones enriquecidas por GPT-4o)
🏷️ Riqueza de anotaciones	⭐⭐⭐⭐✩ (Bueno – anotaciones funcionales y espaciales detalladas)
📜 Licencia comercial	⚠️ Licencia no especificada – uso a verificar
👨‍💻 Ideal para principiantes	⚠️ Medio – requiere conocimientos de UI y visión
🔁 Reutilizable para fine-tuning	✅ Adecuado para grounding de UI y reconocimiento de interfaces
🌍 Diversidad cultural	⚠️ Centrado en interfaces PC, diversidad funcional