Al hacer clic en "Aceptar", usted acepta que se almacenen cookies en su dispositivo para mejorar la navegación del sitio, analizar su uso y contribuir a nuestros esfuerzos de marketing. Consulte nuestra política de privacidad para más información.  pour plus d'informations.
Texto

mC4

El <strong>conjunto de datos mC4 (Multilingual Colossal Cleed Common Crawl) es un enorme corpus de texto multilingüe, derivado del proyecto Common Crawl y luego limpiado</strong> por AllenAI. Abarca 108 idiomas, incluidos el francés, el inglés, el árabe, el swahili, etc., y contiene cientos de miles de millones de fichas. Este corpus se utiliza con frecuencia como base para el entrenamiento previo o el ajuste de modelos como el T5, mT5, XLM o BLOOM.

Obtén el dataset
Tamaño

Más de 1 TB de texto limpio, en formato JSONL, para 108 idiomas

Licencia

DOC-POR

Descripción

‍

mC4 (C4 multilingüe) es una versión multilingüe del conjunto de datos C4, que en sí misma es el resultado de una limpieza avanzada de Common Crawl. Se usa comúnmente en la formación de LLM multilingües como mT5. Cada idioma se almacena en un archivo independiente, lo que facilita la extracción específica.

‍

‍

¿Para qué sirve este conjunto de datos?

‍

  • Precapacite o perfeccione los modelos lingüísticos multilingües
  • Creación de un corpus web crudo, realista y variado (blogs, foros, páginas web)
  • Probar la solidez de los modelos mediante lenguajes de bajos recursos

‍

‍

¿Se puede enriquecer o mejorar?

‍

Sí Algunas versiones, como la MC4-FR o la MC4-AR, se han vuelto a filtrar o deduplicar. También podemos reducir el ruido comparando el mC4 con otros corpus limpios (OSCAR, CCNet) o aplicando filtros de calidad (langdetect, perplexity).

‍

‍

🔎 En resumen

Criterio Evaluación
🧩 Facilidad de uso⭐⭐⭐✩✩ (Requiere preprocesamiento específico según el idioma)
🧼 Necesidad de limpieza⭐⭐⭐⭐✩ (Medio – relativamente limpio, pero puede contener ruido web)
🏷️ Riqueza de anotaciones⭐✩✩✩✩ (Bajo – sin anotaciones, solo texto crudo)
📜 Licencia comercial⚡ Sí (ODC-BY)
👨‍💻 Ideal para principiantes⚠️ No – muy voluminoso, requiere recursos técnicos
🔁 Reutilizable para fine-tuning🎯 Sí, tras preprocesar los segmentos de texto
🌍 Diversidad cultural🌟 Excelente – 108 idiomas cubiertos

‍

‍

🧠 Recomendado para

  • Laboratorios de IA
  • Investigadores multilingües
  • Proyectos de código abierto de LLM

‍

‍

🔧 Herramientas compatibles

  • TensorFlow
  • PyTorch
  • Hugging Face Datasets

‍

‍

💡 Consejo

Para uso francófono, utilice el archivo mc4-fr filtrado y tokenizado

Preguntas frecuentes

¿El conjunto de datos está equilibrado entre idiomas?

No, algunos idiomas están sobrerrepresentados (por ejemplo, el inglés), otros son muy débiles (por ejemplo, el wolof): se recomienda un reequilibrio según sus necesidades.

¿Este conjunto de datos es adecuado para entrenar a un chatbot?

Sí, como base bruta para el entrenamiento previo. En el caso de un chatbot, necesitas un corpus dialogado o datos supervisados.

¿Cuál es la diferencia entre mC4 y C4?

C4 solo está en inglés. mC4 es su versión multilingüe (108 idiomas), construida con el mismo método de limpieza.

Otros datasets

Ver más
Category

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique.

Category

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique.

Category

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique.