UI-Vision GUI Benchmark Dataset

Jeu de données conçu pour l’analyse visuelle des interfaces desktop, avec annotations précises sur les éléments graphiques, leur fonction et leur position.

Télécharger le dataset

Taille

Images + annotations JSON en plusieurs sous-ensembles (fonctionnel, spatial, layout)

Licence

MIT

Description

‍

UI-Vision est un benchmark visuel destiné à l’analyse des interfaces graphiques desktop. Il contient des captures d’écrans annotées selon trois dimensions : spatiale, fonctionnelle et structurelle. Les annotations sont fournies au format JSON, et les images sont organisées par tâche dans des sous-dossiers dédiés. Ce corpus permet d’étudier le repérage d’éléments UI et l’interaction graphique automatisée.

‍

À quoi sert ce dataset ?

‍

Former des modèles à détecter et localiser les éléments d’interfaces utilisateur
Évaluer la compréhension fonctionnelle et la disposition spatiale des composants visuels
Développer des assistants IA capables de naviguer ou d’interagir avec des interfaces desktop

‍

Peut-on l’enrichir ou l’améliorer ?

‍

Oui, on peut enrichir ce dataset en y ajoutant d'autres types d’interfaces (mobiles, web), des traductions d’annotations, ou en simulant des scénarios utilisateurs réels. Il est également possible de croiser ce corpus avec des logs d’interactions pour des analyses comportementales plus poussées.

‍

🔎 En résumé

Critère	Évaluation
🧩 Facilité d’utilisation	⭐⭐⭐⭐⭐ (Haute : structure de fichiers claire)
🧼 Besoin de nettoyage	⭐⭐⭐⭐⭐ (Aucun nettoyage requis)
🏷️ Richesse des annotations	⭐⭐⭐⭐⭐ (Très bonne : multiple dimensions - spatiale, fonctionnelle, layout)
📜 Licence commerciale	✅ Oui (MIT)
👨‍💻 Idéal pour les débutants	🌟 Oui – données accessibles et bien structurées
🔁 Réutilisable en fine-tuning	⚡ Oui, notamment pour la vision par ordinateur appliquée à l’IHM
🌍 Diversité culturelle	⚠️ Moyenne : interfaces principalement en anglais