Naive Bayes
L’algorithme Naive Bayes est l’un des plus anciens et des plus élégants de l’apprentissage supervisé. Basé sur le théorème de Bayes, il estime la probabilité qu’un exemple appartienne à une classe donnée en tenant compte des caractéristiques observées. Son appellation « naïf » vient de l’hypothèse simplificatrice : toutes les variables sont considérées comme indépendantes les unes des autres, ce qui, dans la réalité, est rarement le cas.
Malgré cette hypothèse irréaliste, l’algorithme fonctionne remarquablement bien dans de nombreux contextes. En traitement automatique du langage, il est encore largement utilisé pour le filtrage des spams, la détection de sentiments ou la classification de documents. Son principal avantage est sa rapidité : il nécessite peu de données pour être entraîné et offre une grande efficacité même sur de larges corpus.
Bien sûr, sa simplicité a un prix : lorsque les variables sont fortement corrélées, ses prédictions peuvent manquer de précision. Mais dans des environnements à forte dimensionnalité (comme le texte), Naive Bayes se révèle étonnamment robuste.
Naive Bayes illustre bien qu’un modèle simple peut rester redoutablement efficace. Dans la pratique, il est fréquemment utilisé comme point de comparaison dans les expériences d’apprentissage supervisé, car il combine rapidité et robustesse. En particulier dans le traitement du langage naturel, il constitue une référence pour la classification de textes, les systèmes d’étiquetage ou la détection d’opinions.
On distingue plusieurs variantes adaptées aux types de données :
- Naive Bayes multinomial pour la modélisation des fréquences de mots.
- Naive Bayes bernoulli pour les représentations binaires.
- Naive Bayes gaussien pour les variables continues.
Ses limites sont bien connues : l’hypothèse d’indépendance peut induire des approximations grossières. Toutefois, en présence de données de haute dimension, comme les vecteurs de texte ou les représentations bag-of-words, cette « naïveté » devient une force : le bruit et la corrélation entre variables sont dilués, ce qui permet au modèle de rester performant.
🔗 Références :
- Théorème de Bayes (Wikipédia)
- McCallum & Nigam, A Comparison of Event Models for Naive Bayes Text Classification (AAAI, 1998)
