mC4
El <strong>conjunto de datos mC4 (Multilingual Colossal Cleed Common Crawl) es un enorme corpus de texto multilingüe, derivado del proyecto Common Crawl y luego limpiado</strong> por AllenAI. Abarca 108 idiomas, incluidos el francés, el inglés, el árabe, el swahili, etc., y contiene cientos de miles de millones de fichas. Este corpus se utiliza con frecuencia como base para el entrenamiento previo o el ajuste de modelos como el T5, mT5, XLM o BLOOM.
Más de 1 TB de texto limpio, en formato JSONL, para 108 idiomas
DOC-POR
Descripción
mC4 (C4 multilingüe) es una versión multilingüe del conjunto de datos C4, que en sí misma es el resultado de una limpieza avanzada de Common Crawl. Se usa comúnmente en la formación de LLM multilingües como mT5. Cada idioma se almacena en un archivo independiente, lo que facilita la extracción específica.
¿Para qué sirve este conjunto de datos?
- Precapacite o perfeccione los modelos lingüísticos multilingües
- Creación de un corpus web crudo, realista y variado (blogs, foros, páginas web)
- Probar la solidez de los modelos mediante lenguajes de bajos recursos
¿Se puede enriquecer o mejorar?
Sí Algunas versiones, como la MC4-FR o la MC4-AR, se han vuelto a filtrar o deduplicar. También podemos reducir el ruido comparando el mC4 con otros corpus limpios (OSCAR, CCNet) o aplicando filtros de calidad (langdetect, perplexity).
🔎 En resumen
🧠 Recomendado para
- Laboratorios de IA
- Investigadores multilingües
- Proyectos de código abierto de LLM
🔧 Herramientas compatibles
- TensorFlow
- PyTorch
- Hugging Face Datasets
💡 Consejo
Para uso francófono, utilice el archivo mc4-fr filtrado y tokenizado
Preguntas frecuentes
¿El conjunto de datos está equilibrado entre idiomas?
No, algunos idiomas están sobrerrepresentados (por ejemplo, el inglés), otros son muy débiles (por ejemplo, el wolof): se recomienda un reequilibrio según sus necesidades.
¿Este conjunto de datos es adecuado para entrenar a un chatbot?
Sí, como base bruta para el entrenamiento previo. En el caso de un chatbot, necesitas un corpus dialogado o datos supervisados.
¿Cuál es la diferencia entre mC4 y C4?
C4 solo está en inglés. mC4 es su versión multilingüe (108 idiomas), construida con el mismo método de limpieza.




