En cliquant sur "Accepter ", vous acceptez que des cookies soient stockés sur votre appareil afin d'améliorer la navigation sur le site, d'analyser son utilisation et de contribuer à nos efforts de marketing. Consultez notre politique de confidentialité pour plus d'informations.
Texte

mC4

Le dataset <strong>mC4 (Multilingual Colossal Cleaned Common Crawl)</strong> est un corpus de texte multilingue massif, dérivé du projet Common Crawl puis nettoyé par AllenAI. Il couvre 108 langues, dont le français, l’anglais, l’arabe, le swahili, etc., et contient des centaines de milliards de tokens. Ce corpus est fréquemment utilisé comme base pour le pré-entraînement ou le fine-tuning de modèles de type T5, mT5, XLM ou BLOOM.

Télécharger le dataset
Taille

Plus de 1 To de texte nettoyé, au format JSONL, pour 108 langues

Licence

ODC-BY

Description

‍

mC4 (Multilingual C4) est une version multilingue du dataset C4, elle-même issue d’un nettoyage avancé de Common Crawl. Il est couramment utilisé dans l’entraînement de LLMs multilingues comme mT5. Chaque langue est stockée dans un fichier séparé, facilitant l'extraction ciblée.

‍

‍

À quoi sert ce dataset ?

‍

  • Pré-entraîner ou affiner des modèles de langage multilingues
  • Constituer un corpus web brut, réaliste, varié (blogs, forums, pages web)
  • Tester la robustesse de modèles à travers des langues à faible ressource

‍

‍

Peut-on l’enrichir ou l’améliorer ?

‍

Oui. Certaines versions comme mC4-fr ou mC4-ar ont été re-filtrées ou dédupliquées. On peut aussi réduire le bruit en croisant mC4 avec d’autres corpus nettoyés (OSCAR, CCNet), ou en appliquant des filtres de qualité (langdetect, perplexité).

‍

‍

🔎 En résumé

Critère Évaluation
🧩 Facilité d’utilisation⭐⭐⭐✩✩ (Demande pré-traitement spécifique selon la langue)
🧼 Besoin de nettoyage⭐⭐⭐⭐✩ (Moyen – relativement propre, mais peut contenir du bruit web)
🏷️ Richesse des annotations⭐✩✩✩✩ (Faible – pas d’annotations, texte brut uniquement)
📜 Licence commerciale⚡ Oui (ODC-BY)
👨‍💻 Idéal pour les débutants⚠️ Non – très volumineux, nécessite des ressources techniques
🔁 Réutilisable en fine-tuning🎯 Oui, en prétraitant les segments de texte
🌍 Diversité culturelle🌟 Excellente – 108 langues couvertes

‍

‍

🧠 Recommandé pour

  • Laboratoires IA
  • Chercheurs multilingues
  • Projets open-source LLM

‍

‍

🔧 Outils compatibles

  • TensorFlow
  • PyTorch
  • Hugging Face Datasets

‍

‍

💡 Astuce

Pour un usage francophone, privilégiez le fichier mc4-fr filtré et tokenisé

Questions fréquemment posées

Le dataset est-il équilibré entre les langues ?

Non, certaines langues sont surreprésentées (ex : anglais), d'autres très faibles (ex : wolof) : un rééquilibrage est conseillé selon vos besoins.

Ce dataset convient-il pour l'entraînement d’un chatbot ?

Oui, en tant que base brute pour le pré-entraînement. Pour un chatbot, il faut ensuite un corpus dialogué ou des données supervisées.

Quelle est la différence entre mC4 et C4 ?

C4 est uniquement en anglais. mC4 est sa version multilingue (108 langues), construite selon la même méthode de nettoyage.

Datasets similaires

Voir plus
Category

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique.

Category

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique.

Category

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique.