Lasso, Ridge and ElasticNet.
The main difference among them is whether the model is penalized for its weights
(regularization (penalty on weights)
Linear regression:有時導致過擬合。這個模型沒有對權重進行懲罰,所以模型對權重的選擇沒什么限制,既然沒限制, 萬一模型認為一個特征特別重要,就會給一個很大的權重,這會導致過擬合。
Lasso:加了一個懲罰,也就是對權重做了限制。
作用是,權重的絕對值會變小,許多權重講變為0.
這里多了一個alpha超參數。
Ridge:這個也加了限制,和lasso差不多,損失函數變了一下。這個不止讓權重變小,而且讓他們,分布更加均勻。
ElasticNet:is a hybrid of Lasso and Ridge。是前兩個的結合。