Refining machine learning evaluation : statistical insights into model performance and fairness
Affinage de l'évaluation en apprentissage automatique : perspectives statistiques sur la performance des modèles et leur équité
Résumé
This thesis addresses limitations in machine learning evaluation methodologies by introducing rigorous statistical approaches adapted from econometrics. Through applications in three distinct machine learning do-mains, we demonstrate how statistical tools can enhance model evaluation robustness, interpretability, and fairness. In class incremental learning, we examine the importance of pretraining methods compared to the choice of the incremental algorithm and show that these methods are crucial in determining final performance ; in face recognition systems, we quantify demographic biases and show that demographically-balanced synthetic data can significantly reduce performance disparities across ethnic groups ; in recommender systems, we develop novel information theory-based measures to analyze performance variations across user profiles, revealing that deep learning methods don’t consistently out-perform traditional approaches and highlighting the importance of user behavior patterns. These findings demonstrate the value of statistical rigor in machine learning evaluation and provide practical guidelines for improving model assessment across diverse applications.
Cette thèse aborde les limitations des méthodologies d’évaluation en apprentissage automatique en introduisant des approches statistiques rigoureuses adaptées de l’économétrie. À travers des applications dans trois domaines distincts de l’apprentissage automatique, nous démontrons comment les outils statistiques peuvent améliorer la robustesse, l’interprétabilité, et l’équité de l’évaluation des modèles. Dans l’apprentissage incrémental de classes, nous examinons l’importance des méthodes de pré-entraînement par rapport au choix de l’algorithme incrémental et montrons que celles-ci sont décisives dans les performance finales ; dans les systèmes de reconnaissance faciale, nous quantifions les biais démographiques et démontrons que des données synthétiques équilibrées démographiquement peuvent réduire significativement les disparités de performance entre les groupes ethniques ; dans les systèmes de recommandation, nous développons de nouvelles mesures basées sur la théorie de l’information pour analyser les variations de performance entre les profils d’utilisateurs, révélant que les méthodes d’apprentissage profond ne surpassent pas systématiquement les approches traditionnelles et soulignant l’importance des schémas comportementaux des utilisateurs. Ces résultats démontrent l’importance de la rigueur statistique dans l’évaluation de l’apprentissage automatique et fournissent des lignes directrices pratiques pour améliorer l’évaluation des modèles dans diverses applications.
Origine | Version validée par le jury (STAR) |
---|