ShowUI Desktop
ShowUI Desktop est un dataset dédié au grounding d’interfaces utilisateur PC, comprenant des captures d’écran annotées et enrichies via GPT-4o avec des attributs de fonction, apparence et relations spatiales.
7 496 captures d’écran avec annotations, 328 Mo, format Parquet
Libre, usage ouvert et permissif
Description
ShowUI Desktop contient des captures d’écran de PC annotées pour le grounding des interfaces utilisateur. Les annotations, initialement issues d’OmniAct, sont enrichies par GPT-4o avec des informations détaillées sur l’apparence, les relations spatiales et les fonctionnalités prévues des éléments UI.
À quoi sert ce dataset ?
- Entraîner des modèles à comprendre et localiser des éléments dans des interfaces graphiques
- Améliorer les systèmes de reconnaissance d’interfaces utilisateur pour automatisation
- Recherche en interaction homme-machine et AI pour UI grounding
Peut-on l’enrichir ou l’améliorer ?
Les annotations peuvent être complétées ou corrigées manuellement. Le code de réécriture des annotations fourni permet d’étendre ce dataset à d’autres captures d’écran ou contextes.
🔎 En résumé
🧠 Recommandé pour
- Chercheurs en interaction homme-machine
- Développeurs IA UI
- Équipes R&D vision
🔧 Outils compatibles
- Hugging Face Datasets
- Frameworks vision
- Outils annotation UI
💡 Astuce
Exploitez le code de réécriture pour enrichir ou adapter les annotations à vos propres interfaces.
Questions fréquemment posées
Quelle est la spécificité du dataset ShowUI Desktop ?
Il se concentre sur le grounding des interfaces PC avec annotations enrichies pour apparence, fonction et relations spatiales.
Quelle est la taille du dataset ?
Il contient 7 496 captures d’écran annotées, totalisant 328 Mo de données.
La licence est-elle claire pour un usage commercial ?
La licence n’est pas précisée explicitement, un contrôle préalable est recommandé avant usage commercial.
