Métodos de regularización LASSO y LARS para el modelo de regresión lineal general

Abstract

Frecuentemente, existen muchas variables predictoras en el modelo de regresión lineal general, esto debido a que en la actualidad se almacena grandes cantidades de datos gracias a los avances tecnológicos, entonces surge el problema común de elegir las variables a incluir en el modelo de forma adecuada. Por eso el presente trabajo tiene como objetivo analizar los métodos de selección y regularización de variables en el modelo de regresión lineal general n y luego aplicarlos a dos casos particulares en la cantidad de observaciones en el número de variables p disponibles con la ayuda del software R Studio. Los métodos de selección tales como, selección del mejor subconjunto (BSS), selección hacia adelante (forward) y selección hacia atrás (backward) se basan en reducir el número de variables que interviene en el modelo de manera secuencial, incluyendo o excluyendo una variable en cada paso de acuerdo algún criterio establecido. Mientras que los métodos de regularización Ridge y LASSO se basan en reducir el número de variables imponiendo una restricción o penalización sobre los coeficientes de regresión, que obligará a que estos se contraigan a cero o incluso algunos coeficientes sean cero. Esta penalización hace que estos métodos se comporten como un problema de optimización, a diferencia del método Ridge que presenta una solución explicita, para resolver el problema de optimización LASSO (Operador de selección y contracción de mínimo absoluto) se presenta dos métodos, el método de descenso coordenado cíclico y el método LARS (Regresión de ángulo mínimo), el cual permite resolver el problema LASSO de una manera más simple haciendo que el coste computacional sea menor que el del método LASSO. Por último, se realiza una comparación de todos los modelos según el MSE de cada uno, obtenido mediante la validación cruzada para comprobar su validez predictiva.