Abstrait

Application de l'algorithme de renforcement du gradient à la modélisation statistique

Hamid A Adamu, Murtala Muhammad et Abdullahi Mohammed Jingi

Le Gradient Boosting (GB) est une technique d'apprentissage automatique pour la régression, qui produit des modèles de prédiction plus précis sous la forme de modèles de prédiction faibles d'ensemble. Il s'agit d'un algorithme itératif qui combine des fonctions paramétrées simples avec des performances faibles (erreur de prédiction élevée) afin de produire une prédiction très précise en minimisant les erreurs [1]. Par conséquent, cet article étudie l'application de l'algorithme de boosting de gradient dans le modèle linéaire généralisé (GLM) et les modèles additifs généralisés (GAM) pour produire une meilleure prédiction en utilisant les données de location de Munich. Plus intéressant encore, pour comparer les performances des GLM et GAM classiques et de leurs packages boostés correspondants dans la prédiction. Cependant, dans l'algorithme de boosting, les itérations de boosting optimales sont fortement recommandées pour éviter le surajustement. Il joue un rôle important lors de l'ajustement du modèle, nous utilisons donc la technique basée sur le critère d'information d'Akaike (AIC) pour déterminer l'itération de boosting appropriée qui donne la prédiction optimale. Nous avons appliqué les techniques AIC et de validation croisée (CV) pour déterminer les itérations de boosting optimales. Les résultats obtenus sont ensuite comparés pour rechercher l'algorithme le plus précis. Il est à noter que par défaut, le gamboost (boosted GAM) ajuste les modèles en utilisant des apprenants de base lisses (bbs). De même, il a également été noté que les coefficients du modèle ajusté seront sous forme de matrice si des apprenants de base lisses sont utilisés alors qu'ils seront simplement linéaires si des apprenants de base linéaires sont utilisés.