FineWeb2 Edu Japanese
Conjunto de datos educativos japoneses muy grande, compuesto por textos filtrados de la web con eliminación parcial del ruido, diseñado para usos educativos y de PNL.
Aproximadamente 120 millones de textos (aproximadamente 89.300 millones de fichas), formato de texto, subconjuntos en formato Parquet
Licencia de atribución Open Data Commons (ODC-by) v1.0
Descripción
El conjunto de datos FineWeb2 Edu Japanese incluye aproximadamente 120 millones de textos japoneses filtrados por su calidad educativa, lo que representa aproximadamente 89.300 millones de fichas. Es el resultado de una rigurosa clasificación mediante modelos de anotación que identifican el contenido educativo y eliminan el ruido típico de Internet. Varios subconjuntos permiten el acceso a partes específicas, incluidos textos breves y limpios.
¿Para qué sirve este conjunto de datos?
- Capacitar y evaluar modelos de lengua japonesa adaptados a la educación y comprensión de textos
- Mejorar la calidad de los LLM para aplicaciones educativas, como asistentes de aprendizaje o correctores automáticos
- Estudie la filtración y la limpieza de datos de texto web a gran escala para optimizar la calidad
¿Se puede enriquecer o mejorar?
Sí, es posible añadir anotaciones adicionales, como metadatos temáticos o evaluaciones de dificultad. La limpieza también se puede refinar para reducir los falsos positivos en la supresión del ruido.
🔎 En resumen
🧠 Recomendado para
- Investigadores japoneses de PNL
- Desarrollo de asistentes educativos
- Formación de LLM a gran escala
🔧 Herramientas compatibles
- Hugging Face Datasets
- PyTorch
- TensorFlow
- Apache Spark
- Pandas
💡 Consejo
Utilice los subconjuntos limpiados para crear prototipos rápidamente antes de pasar al conjunto de datos completo.
Preguntas frecuentes
¿Qué diferencia a este conjunto de datos japonés de FineWeb2 Edu de otros conjuntos de datos japoneses?
Se centra en textos de alto valor educativo que se filtran automáticamente, con una limpieza del ruido web, lo que mejora la calidad del aprendizaje.
¿Cuáles son los tamaños y formatos exactos disponibles?
Aproximadamente 120 millones de textos (unos 89.300 millones de fichas), disponibles en varios subconjuntos, principalmente en formato Parquet y texto plano.
¿Puede este conjunto de datos contener errores debido a la limpieza automática?
Sí, la limpieza automática puede eliminar partes de texto válidas por error, es recomendable comprobarlo según el caso de uso.
