Marqo GS 10M
Dataset multimodal comprenant texte et images produits, utilisé pour l’apprentissage du ranking dans les moteurs de recherche et e-commerce.
Environ 9,8 millions d’éléments multimodaux (texte + images), 212 Go, format Parquet
Apache 2.0
Description
Le dataset Marqo GS 10M est un corpus multimodal de près de 10 millions d’exemples, combinant images et descriptions textuelles de produits Google Shopping. Il est conçu pour entraîner des modèles de recherche d’information et de ranking via une méthode innovante de Generalized Contrastive Learning (GCL).
À quoi sert ce dataset ?
- Améliorer les performances de moteurs de recherche produit multimodaux
- Entraîner des modèles de ranking et de récupération d’informations dans l’e-commerce
- Expérimenter des techniques avancées d’apprentissage contrastif multimodal
Peut-on l’enrichir ou l’améliorer ?
Oui, en annotant davantage les catégories produit, en ajoutant des métadonnées comme les prix ou avis clients, ou en créant des sous-ensembles spécialisés selon des segments de marché.
🔎 En résumé
🧠 Recommandé pour
- Chercheurs en recherche d’information
- Développeurs e-commerce
- Data scientists multimodal
🔧 Outils compatibles
- PyTorch
- TensorFlow
- LangChain
- Apache Spark
- Pandas
💡 Astuce
Exploiter les données en batchs et combiner avec des embeddings pré-entraînés pour optimiser l’apprentissage.
Questions fréquemment posées
Ce dataset contient-il des images et du texte associés ?
Oui, chaque exemple comporte une description textuelle et une image produit.
Peut-on utiliser ce dataset pour la recherche d’information e-commerce ?
Oui, il est spécifiquement conçu pour améliorer les modèles de ranking produit.
Quelle taille fait le dataset et dans quel format est-il disponible ?
Le dataset fait environ 212 Go, stocké au format Parquet, adapté au traitement en batch.
