正則化其實就是將一些特征給減小很多，相當于消掉，這樣函數將變得更加簡單，那么他過擬合的可能就更小了。
1.正則化公式
我們使用了這個新的代價函數，來權衡兩個目標
- 最小化第一項，可以讓（預測值-真實值）的平方盡可能的小，從而算法能更好的擬合數據，（第一個目標就是擬合數據）
- 最小化第二項，讓參數Wj盡可能的小，這樣可以減小過擬合的風險（第二個目標）
這個時候λ的選擇就至關重要，因為想要最小化第二項，如果λ取值很大，w的值就需要取接近于0，這樣就導致函數約等于0，就是一條直線。
如果λ取值為0，這樣就到時w都非常大，這樣數據就產生了過擬合的現象。
所以λ需要取值在兩者之間較好，會擬合出一個多項式，保留了所有的特征。
2. 用于線性回歸的正則化
加上了為了避免過擬合的第二項之后，梯度下降算法就相應的做了變化。
因為第二項是針對w的函數，所以b的更新求導并沒有變化。
3. 用于邏輯回歸的正則化
