English Wikipedia Articles 2017 (SQLite)
Corpus masivo de artículos de Wikipedia en inglés fechados en 2017, estructurados en una base de datos SQLite para facilitar el análisis textual a gran escala.
5 millones de artículos — 23 millones de secciones — 20 GB — formato SQLite
CC BY-SA 3.0
Descripción
Este conjunto de datos ofrece un volcado completo de la versión en inglés de Wikipedia con fecha de agosto de 2017. Contiene casi 5 millones de artículos divididos en más de 23 millones de secciones. Todo se almacena en una base de datos de SQLite, lo que permite realizar consultas rápidas y una integración perfecta en los procesos de PNL industriales.
¿Para qué sirve este conjunto de datos?
- Entrene modelos lingüísticos (LLM) en un rico corpus enciclopédico
- Probar técnicas de resumen automático o clasificación temática
- Creación de motores de búsqueda o sistemas de preguntas y respuestas basados en contenido general
¿Se puede enriquecer o mejorar?
Sí. Este corpus puede enriquecerse con anotaciones lingüísticas, vectores semánticos o cruzarse con bases de datos de enlaces internos. También puede actualizarse con versiones más recientes de Wikipedia o adaptarse para la traducción multilingüe y la generación automática de resúmenes.
🔎 En resumen
🧠 Recomendado para
- Investigadores de PNL
- Científicos de datos generalistas
- Desarrolladores de LLMs
🔧 Herramientas compatibles
- Gensim
- Hugging Face
- SQLite
- SpaCy
- LangChain
💡 Consejo
Filtre los artículos por longitud o tema mediante SQL para obtener subcorpus específicos adaptados a sus tareas de PNL.
Preguntas frecuentes
¿El conjunto de datos incluye imágenes, enlaces o metadatos de Wikipedia?
No, solo están presentes los textos de los artículos. Se han eliminado todos los enlaces internos y otros elementos HTML.
¿Es fácil acceder al contenido sin conocimientos de SQL?
Se recomienda un conocimiento básico del lenguaje SQL para aprovechar al máximo la estructura del archivo SQLite.
¿Es este corpus adecuado para la formación de modelos lingüísticos de gran tamaño?
Sí, su tamaño y riqueza lo convierten en una base excelente para la formación previa o el perfeccionamiento de modelos lingüísticos a gran escala.
