Regressão rss

Minimizar RSS = \ sum_ {i = 1} ^ n (y_i - f (x_i)) ^ 2 sozinho leva a estimativas de parâmetro não tendenciosas, mas potencialmente muito variáveis.

Podemos introduzir algum viés em nossas estimativas para diminuir a variabilidade. As duas técnicas a seguir Ridge e Lasso Regression fazem exatamente isso.

Regressão de cume (regularização l2)

Aqui, estimamos nossos parâmetros minimizando a seguinte função de custo \ sum_ {i = 1} ^ n (y_i - f (x_i)) ^ 2 + \ lambda \ sum_ {i = 1} ^ n \ beta_i ^ 2 Onde \ lambda dita quanto peso você gostaria de dar ao novo componente de nossa função de custo (nota: com \ lambda = 0 estamos minimizando RSS novamente)

Regressão Lasso (regularização l1)

Aqui, estimamos nossos parâmetros minimizando a seguinte função de custo \ sum_ {i = 1} ^ n (y_i - f (x_i)) ^ 2 + \ lambda \ sum_ {i = 1} ^ n | \ beta_i | . O Lasso, ao contrário da regularização de Ridge, pode definir parâmetros exatamente como zero. O que é bom se você quiser fazer alguma seleção de variáveis.

Há também uma variação chamada Rede Elástica que aplica penalidade de 11 terreno e 12 penalidades.