L1 Loss 優(yōu)點：梯度值穩(wěn)定，使得訓(xùn)練平穩(wěn)；不易受離群點（臟數(shù)據(jù)）影響，所有數(shù)據(jù)一視同仁。 L1 Loss 缺點：處不可導(dǎo)，可能影響收斂；值小時梯度大，很難收斂到極小值（除非在值小時調(diào)小學(xué)習(xí)率，以較小更新幅度）。
L2 Loss 優(yōu)點：平滑可導(dǎo)；較大時梯度大，收斂快；較小時梯度小，容易收斂至極值點。 L2 Loss 缺點：訓(xùn)練初期較大導(dǎo)致梯度大，更新幅度太大使得訓(xùn)練不穩(wěn)定，容易出現(xiàn)梯度爆炸現(xiàn)象；受離群點（臟數(shù)據(jù)）影響大，容易在離群點的干擾下大幅更新，使擬合函數(shù)偏向離群點而導(dǎo)致準(zhǔn)確率低。
圖2 L2 Loss
3. Smooth L1 Loss
從上式可知Smooth L1 Loss 是一個分段函數(shù)，它綜合了 L1 Loss 和 L2 Loss 兩個損失函數(shù)的優(yōu)點，即在較小時采用平滑地 L2 Loss，在較大時采用穩(wěn)定的 L1 Loss。
