PMC OA Markdown avec Embeddings
Corpus scientifique issu de PMC Open Access, enrichi de représentations vectorielles (embeddings) pour chaque article. Format Markdown.
Plusieurs milliers d’articles, embeddings 2048D, format Markdown + vecteurs JSON
CC (Creative Commons, non spécifiée précisément)
Description
PMC OA Markdown Embeddings est un jeu de données structuré à partir d’articles scientifiques en accès libre (PubMed Central). Chaque article est stocké en format Markdown, accompagné d’un vecteur d’embedding dense (dimension 2048) généré via le modèle Qwen3-Embedding-4B. Cela permet une recherche sémantique puissante dans de grandes collections biomédicales.
À quoi sert ce dataset ?
- Effectuer une recherche vectorielle ou sémantique dans des corpus scientifiques
- Créer une base pour des systèmes RAG (retrieval-augmented generation)
- Entraîner ou évaluer des modèles biomédicaux dans des tâches de résumé ou de question-réponse
Peut-on l’enrichir ou l’améliorer ?
Oui. On peut affiner les embeddings avec des modèles spécialisés (biomed), ajouter des métadonnées (DOI, journal, date), ou filtrer selon les disciplines. On peut aussi combiner les articles avec leurs abstracts ou figures associées pour créer des corpus multimodaux.
🔎 En résumé
🧠 Recommandé pour
- Ingénieurs IA santé
- Chercheurs en NLP biomédical
- Développeurs d’assistants scientifiques
🔧 Outils compatibles
- FAISS
- Qdrant
- LangChain
- Hugging Face Transformers
💡 Astuce
Utiliser la similarité cosinus entre embeddings pour créer un moteur de recherche intelligent sans supervision.
Questions fréquemment posées
Ce dataset contient-il les textes complets des articles PMC ?
Oui, chaque entrée contient le texte complet d’un article PMC au format Markdown.
Les embeddings sont-ils exploitables avec des outils comme FAISS ou Qdrant ?
Oui, les vecteurs 2048D sont directement utilisables pour de la recherche vectorielle avec ces outils.
Peut-on combiner ce dataset avec d’autres corpus biomédicaux ?
Absolument. Il peut être croisé avec PubMed, BioASQ ou d’autres bases pour créer des systèmes enrichis de QA ou de résumé.
