[林軒田]12-非線性變換
[TOC]
二次方程的hypothesis
對于非線性的數據分類，如果我們使用線性模型，就會使得Ein很大，分得不好。
對稱中心在原點的二次方程
現在我們考慮如何用二次方程（圓的方式）來進行separate: 我們可以使用半徑平方為0.6的圓可以將它分開 。
這里我們進行非線性的變換，實現坐標系的變換。從x空間變到z空間。在x系里面圓圈可分的情況在z系里面變得線性可分了。在x系里面可以用圓分開則在z系里面一定可以線性可分。
但是在z空間里面可以用直線分開的情形，在x空間里面就可能是圓、橢圓、雙曲線等情況，所以說在z空間里面的直線在x空間里面對應的是特殊二次曲線(圓心在坐標原點)，三個參數。
一般情形的二次式
把所有的二次項、所有的一次項和常數項都要包含進來，這樣在Z空間里面的直線對應x空間的二次hypothesis
這個權值W需要6個參數
所以我們如果能夠在z空間里面找到好的線性分割，就能在x空間里找到好的二次曲線分割。
非線性變換
空間變換
- 首先把原始在x空間的數據變換到z空間的數據。
- 在z空間中得到好的線性感知機。
- 在z空間對得到的模型g進行反變換得到x空間應該有的二次曲線模型。
而實際上第三步并不是取逆變換，而是考察一個點在x空間的分類的時候，把這個點先轉換到z空間，然后看它是哪個分類，我們就知道它在x空間里面應該是哪個分類了。
非線性變換的代價
之前從原始特征用領域知識變換到具體特征就是這樣。
z空間的維度
從d維度特征的二次x空間轉化為一次z空間是多少個維度。
z空間的計算和存儲代價
d維Q次特征空間轉化到1次空間時的特征維度是 $$ C_{Q+d}^hjollin $$
證明：d維Q次特征空間轉化到1次空間時的特征維度是$$ C_{Q+d}^nsymijx $$
可以把問題轉化為求d個變量組成的Q次多線程里面，各種子項總共有多少個。轉化為相同的問題就是：
把k個相同的物體分給d個人，不一定每個人都分到，也不一定分完，問有多少種分法？
那么這個問題是比較復雜的，我們高中的時候學的問題是下面這個類型的：
問題1. 把k個相同物體分給d個人，每人最少1個，要求分完，那么有幾種分法？
設第i個人分得$$ x_i $$個物體，則$$ 0 < x_i < k $$ 用我們熟悉的插板法，在k-1個間隙里面插入d-1個板（分成d份），分法有
$$ C_{(k-1)}^{(d-1)} $$
問題2. 把k個相同的物體分給d個人，不一定每個人都分到，但物體必須分完，問有多少種分法？
設第i個人分得$$ x_i $$個物體，則$$ 0\leqslant x_i \leqslant k $$，我們可以把它轉化一下
$$ x_1+x_2+...+x_d = k \rightleftharpoons (x_1+1)+(x_2+1)+(x_3+1)+...+(x_d+1) = k+d $$
$$ 0\leqslant x_i \leqslant k \rightleftharpoons 1 \leqslant x_i+1 \leqslant k+1 $$
可以認為把k+d個物體分給d個人，使用插板法 結果為
$$ C_{k+d-1}^{d-1} $$
到這里我們就可以把我們的問題轉化為這里面相同的問題了，不分完可以理解為還有一個潛在的第k+1個人，把最后剩下的物體分給它。所以這個問題就轉化為 把k個物體分給d+1個人，不一定每個人都分到，但物體必須分完。也轉化為把k+d+1個物體分給d+1個人，每人必須分到，物體必須分完，所以結果為 $$ C_{k+d}^lr6msg1 $$
應該選擇怎樣的模型。
模型越復雜 $$ E_{in} $$越小,如果你選擇的模型的維度比較高，會使得$$ E_{in} $$ 會使得 $$E_{out} / E_{in}$$ 差別會很遠
