Overfitting
O
Definition complete
L'overfitting (ou surapprentissage) est un phenomene en machine learning ou un modele apprend "trop bien" les donnees d'entrainement, au point de memoriser leurs particularites et bruit plutot que d'en extraire des patterns generalisables.
Consequence : le modele obtient d'excellentes performances sur les donnees d'entrainement mais echoue lamentablement sur de nouvelles donnees (mauvaise generalisation).
Analogie : un etudiant qui apprend par coeur les corriges d'anciens examens sans comprendre les concepts. Il reussit si les memes questions tombent, mais echoue face a des questions nouvelles.
Signes d'overfitting :
- Ecart train/test : precision 99% sur train, 60% sur test
- Courbes divergentes : erreur d'entrainement diminue, erreur de validation stagne ou augmente
- Modele trop complexe : trop de parametres pour la quantite de donnees
Solutions :
- Regularisation (L1, L2, dropout)
- Plus de donnees
- Data augmentation
- Validation croisee
- Early stopping
- Simplification du modele
Exemples pratiques
- Regression polynomiale : un polynome de degre 20 passe par tous les points d'entrainement mais oscille follement entre eux
- Reseau de neurones : trop de couches/neurones pour un petit dataset, le modele memorise au lieu d'apprendre
- Arbre de decision : arbre non elague avec une feuille par exemple d'entrainement
- Spam filter : apprend les emails specifiques du training set au lieu des patterns de spam generaux
A quoi sert Overfitting ?
- Diagnostic modele : identifier pourquoi un modele performant en dev echoue en production
- Selection de modele : choisir la complexite appropriee au volume de donnees
- Tuning hyperparametres : ajuster la regularisation pour equilibrer biais/variance
- Feature engineering : reduire les features non informatives qui favorisent l'overfitting
- Monitoring ML : detecter la degradation en production (data drift)
Overfitting en pratique chez 123web
Chez 123web, lorsque nous integrons des modeles de machine learning pour nos clients (scoring, recommandation, prediction), nous appliquons les bonnes pratiques pour eviter l'overfitting. Validation croisee, regularisation, monitoring des metriques sur des donnees de test separees. Nos modeles sont concus pour performer sur les donnees reelles, pas seulement sur les donnees d'entrainement.