mC4
Le dataset <strong>mC4 (Multilingual Colossal Cleaned Common Crawl)</strong> est un corpus de texte multilingue massif, dérivé du projet Common Crawl puis nettoyé par AllenAI. Il couvre 108 langues, dont le français, l’anglais, l’arabe, le swahili, etc., et contient des centaines de milliards de tokens. Ce corpus est fréquemment utilisé comme base pour le pré-entraînement ou le fine-tuning de modèles de type T5, mT5, XLM ou BLOOM.
Plus de 1 To de texte nettoyé, au format JSONL, pour 108 langues
ODC-BY
Description
mC4 (Multilingual C4) est une version multilingue du dataset C4, elle-même issue d’un nettoyage avancé de Common Crawl. Il est couramment utilisé dans l’entraînement de LLMs multilingues comme mT5. Chaque langue est stockée dans un fichier séparé, facilitant l'extraction ciblée.
À quoi sert ce dataset ?
- Pré-entraîner ou affiner des modèles de langage multilingues
- Constituer un corpus web brut, réaliste, varié (blogs, forums, pages web)
- Tester la robustesse de modèles à travers des langues à faible ressource
Peut-on l’enrichir ou l’améliorer ?
Oui. Certaines versions comme mC4-fr ou mC4-ar ont été re-filtrées ou dédupliquées. On peut aussi réduire le bruit en croisant mC4 avec d’autres corpus nettoyés (OSCAR, CCNet), ou en appliquant des filtres de qualité (langdetect, perplexité).
🔎 En résumé
🧠 Recommandé pour
- Laboratoires IA
- Chercheurs multilingues
- Projets open-source LLM
🔧 Outils compatibles
- TensorFlow
- PyTorch
- Hugging Face Datasets
💡 Astuce
Pour un usage francophone, privilégiez le fichier mc4-fr filtré et tokenisé
Questions fréquemment posées
Le dataset est-il équilibré entre les langues ?
Non, certaines langues sont surreprésentées (ex : anglais), d'autres très faibles (ex : wolof) : un rééquilibrage est conseillé selon vos besoins.
Ce dataset convient-il pour l'entraînement d’un chatbot ?
Oui, en tant que base brute pour le pré-entraînement. Pour un chatbot, il faut ensuite un corpus dialogué ou des données supervisées.
Quelle est la différence entre mC4 et C4 ?
C4 est uniquement en anglais. mC4 est sa version multilingue (108 langues), construite selon la même méthode de nettoyage.




