什么是算法的復(fù)雜度

算法復(fù)雜度，即算法在編寫成可執(zhí)行程序后，運(yùn)行時(shí)所需要的資源，資源包括時(shí)間資源和內(nèi)存資源。

<font color="#ff0000">
一個(gè)算法是由控制結(jié)構(gòu)（順序、分支和循環(huán)3種）和原操作（指固有數(shù)據(jù)類型的操作）構(gòu)成的，則算法時(shí)間取決于兩者的綜合效果。為了便于比較同一個(gè)問題的不同算法，通常的做法是，從算法中選取一種對(duì)于所研究的問題（或算法類型）來(lái)說是基本操作的原操作，以該基本操作的重復(fù)執(zhí)行的次數(shù)作為算法的時(shí)間量度。
</font>

時(shí)間復(fù)雜度

1、時(shí)間復(fù)雜度 （1）時(shí)間頻度 一個(gè)算法執(zhí)行所耗費(fèi)的時(shí)間，從理論上是不能算出來(lái)的，必須上機(jī)運(yùn)行測(cè)試才能知道。但我們不可能也沒有必要對(duì)每個(gè)算法都上機(jī)測(cè)試，只需知道哪個(gè)算法花費(fèi)的時(shí)間多，哪個(gè)算法花費(fèi)的時(shí)間少就可以了。并且一個(gè)算法花費(fèi)的時(shí)間與算法中語(yǔ)句的執(zhí)行次數(shù)成正比例，哪個(gè)算法中語(yǔ)句執(zhí)行次數(shù)多，它花費(fèi)時(shí)間就多。一個(gè)算法中的語(yǔ)句執(zhí)行次數(shù)稱為語(yǔ)句頻度或時(shí)間頻度。記為T(n)。（2）時(shí)間復(fù)雜度 在剛才提到的時(shí)間頻度中，n稱為問題的規(guī)模，當(dāng)n不斷變化時(shí)，時(shí)間頻度T(n)也會(huì)不斷變化。但有時(shí)我們想知道它變化時(shí)呈現(xiàn)什么規(guī)律。為此，我們引入時(shí)間復(fù)雜度概念。 一般情況下，算法中基本操作重復(fù)執(zhí)行的次數(shù)是問題規(guī)模n的某個(gè)函數(shù)，用T(n)表示，若有某個(gè)輔助函數(shù)f(n),使得當(dāng)n趨近于無(wú)窮大時(shí)，T(n)/f(n)的極限值為不等于零的常數(shù)，則稱f(n)是T(n)的同數(shù)量級(jí)函數(shù)。記作T(n)=Ｏ(f(n)),稱Ｏ(f(n)) 為算法的漸進(jìn)時(shí)間復(fù)雜度，簡(jiǎn)稱時(shí)間復(fù)雜度。
另外，上面公式中用到的 Landau符號(hào)其實(shí)是由德國(guó)數(shù)論學(xué)家保羅·巴赫曼（Paul Bachmann）在其1892年的著作《解析數(shù)論》首先引入，由另一位德國(guó)數(shù)論學(xué)家艾德蒙·朗道（Edmund Landau）推廣。Landau符號(hào)的作用在于用簡(jiǎn)單的函數(shù)來(lái)描述復(fù)雜函數(shù)行為，給出一個(gè)上或下（確）界。在計(jì)算算法復(fù)雜度時(shí)一般只用到大O符號(hào)，Landau符號(hào)體系中的小o符號(hào)、Θ符號(hào)等等比較不常用。這里的O，最初是用大寫希臘字母，但現(xiàn)在都用大寫英語(yǔ)字母O；小o符號(hào)也是用小寫英語(yǔ)字母o，Θ符號(hào)則維持大寫希臘字母Θ。** T (n) = Ο(f (n))** 表示存在一個(gè)常數(shù)C，使得在當(dāng)n趨于正無(wú)窮時(shí)總有 T (n) ≤ C * f(n)。簡(jiǎn)單來(lái)說，就是T(n)在n趨于正無(wú)窮時(shí)最大也就跟f(n)差不多大。也就是說當(dāng)n趨于正無(wú)窮時(shí)T (n)的上界是C * f(n)。其雖然對(duì)f(n)沒有規(guī)定，但是一般都是取盡可能簡(jiǎn)單的函數(shù)。例如，O(2n2
+n +1) = O (3n2
+n+3) = O (7n2

• n) = O ( n2
  ) ，一般都只用O(n2
  )表示就可以了。注意到大O符號(hào)里隱藏著一個(gè)常數(shù)C，所以f(n)里一般不加系數(shù)。如果把T(n)當(dāng)做一棵樹，那么O(f(n))所表達(dá)的就是樹干，只關(guān)心其中的主干，其他的細(xì)枝末節(jié)全都拋棄不管。 在各種不同算法中，若算法中語(yǔ)句執(zhí)行次數(shù)為一個(gè)常數(shù)，則時(shí)間復(fù)雜度為O(1),另外，在時(shí)間頻度不相同時(shí)，時(shí)間復(fù)雜度有可能相同，如T(n)=n2
  +3n+4與T(n)=4n2
  +2n+1它們的頻度不同，但時(shí)間復(fù)雜度相同，都為O(n2
  )。 按數(shù)量級(jí)遞增排列，常見的時(shí)間復(fù)雜度有：常數(shù)階O(1),對(duì)數(shù)階O(log2
  n),線性階O(n),** 線性對(duì)數(shù)階O(nlog2
  n),平方階O(n2
  )，立方階O(n3
  ),...， k次方階O(nk
  ),指數(shù)階O(2n
  )。隨著問題規(guī)模n的不斷增大，上述時(shí)間復(fù)雜度不斷增大，算法的執(zhí)行效率越低。
  
  ** 從圖中可見，我們應(yīng)該盡可能選用多項(xiàng)式階O(nk
  )的算法，而不希望用指數(shù)階的算法。**
  常見的算法時(shí)間復(fù)雜度由小到大依次為：Ο(1)＜Ο(log2
  n)＜Ο(n)＜Ο(nlog2
  n)＜Ο(n2
  )＜Ο(n3
  )＜…＜Ο(2n
  )＜Ο(n!)**
  一般情況下，對(duì)一個(gè)問題（或一類算法）只需選擇一種基本操作來(lái)討論算法的時(shí)間復(fù)雜度即可，有時(shí)也需要同時(shí)考慮幾種基本操作，甚至可以對(duì)不同的操作賦予不同的權(quán)值，以反映執(zhí)行不同操作所需的相對(duì)時(shí)間，這種做法便于綜合比較解決同一問題的兩種完全不同的算法。
  （3）求解算法的時(shí)間復(fù)雜度的具體步驟是：
  　?、?找出算法中的基本語(yǔ)句；
  　　算法中執(zhí)行次數(shù)最多的那條語(yǔ)句就是基本語(yǔ)句，通常是最內(nèi)層循環(huán)的循環(huán)體。
  　?、?計(jì)算基本語(yǔ)句的執(zhí)行次數(shù)的數(shù)量級(jí)；
  　　只需計(jì)算基本語(yǔ)句執(zhí)行次數(shù)的數(shù)量級(jí)，這就意味著只要保證基本語(yǔ)句執(zhí)行次數(shù)的函數(shù)中的最高次冪正確即可，可以忽略所有低次冪和最高次冪的系數(shù)。這樣能夠簡(jiǎn)化算法分析，并且使注意力集中在最重要的一點(diǎn)上：增長(zhǎng)率。
  　?、?用大Ο記號(hào)表示算法的時(shí)間性能。
  　　將基本語(yǔ)句執(zhí)行次數(shù)的數(shù)量級(jí)放入大Ο記號(hào)中。
  　　如果算法中包含嵌套的循環(huán)，則基本語(yǔ)句通常是最內(nèi)層的循環(huán)體，如果算法中包含并列的循環(huán)，則將并列循環(huán)的時(shí)間復(fù)雜度相加。例如：
  [java] view plain copy

for (i=1; i<=n; i++)
x++;
for (i=1; i<=n; i++)
　for (j=1; j<=n; j++)
x++;

第一個(gè)for循環(huán)的時(shí)間復(fù)雜度為Ο(n)，第二個(gè)for循環(huán)的時(shí)間復(fù)雜度為Ο(n2
)，則整個(gè)算法的時(shí)間復(fù)雜度為Ο(n+n2
)=Ο(n2
)。
　　Ο(1)表示基本語(yǔ)句的執(zhí)行次數(shù)是一個(gè)常數(shù)，一般來(lái)說，只要算法中不存在循環(huán)語(yǔ)句，其時(shí)間復(fù)雜度就是Ο(1)。其中Ο(log2
n)、Ο(n)、 Ο(nlog2
n)、Ο(n2
)和Ο(n3
)稱為多項(xiàng)式時(shí)間，而Ο(2n
)和Ο(n!)稱為指數(shù)時(shí)間。計(jì)算機(jī)科學(xué)家普遍認(rèn)為前者（即多項(xiàng)式時(shí)間復(fù)雜度的算法）是有效算法，把這類問題稱為P（Polynomial,多項(xiàng)式）類問題，而把后者（即指數(shù)時(shí)間復(fù)雜度的算法）稱為NP（Non-Deterministic Polynomial, 非確定多項(xiàng)式）問題。
一般來(lái)說多項(xiàng)式級(jí)的復(fù)雜度是可以接受的，很多問題都有多項(xiàng)式級(jí)的解——也就是說，這樣的問題，對(duì)于一個(gè)規(guī)模是n的輸入，在n^k的時(shí)間內(nèi)得到結(jié)果，稱為P問題。有些問題要復(fù)雜些，沒有多項(xiàng)式時(shí)間的解，但是可以在多項(xiàng)式時(shí)間里驗(yàn)證某個(gè)猜測(cè)是不是正確。比如問4294967297是不是質(zhì)數(shù)？如果要直接入手的話，那么要把小于4294967297的平方根的所有素?cái)?shù)都拿出來(lái)，看看能不能整除。還好歐拉告訴我們，這個(gè)數(shù)等于641和6700417的乘積，不是素?cái)?shù)，很好驗(yàn)證的，順便麻煩轉(zhuǎn)告費(fèi)馬他的猜想不成立。大數(shù)分解、Hamilton回路之類的問題，都是可以多項(xiàng)式時(shí)間內(nèi)驗(yàn)證一個(gè)“解”是否正確，這類問題叫做NP問題。
****（4）在計(jì)算算法時(shí)間復(fù)雜度時(shí)有以下幾個(gè)簡(jiǎn)單的程序分析法則:**
(1).對(duì)于一些簡(jiǎn)單的輸入輸出語(yǔ)句或賦值語(yǔ)句,近似認(rèn)為需要O(1)時(shí)間
(2).對(duì)于順序結(jié)構(gòu),需要依次執(zhí)行一系列語(yǔ)句所用的時(shí)間可采用大O下"求和法則"
求和法則:是指若算法的2個(gè)部分時(shí)間復(fù)雜度分別為 T1(n)=O(f(n))和 T2(n)=O(g(n)),則 T1(n)+T2(n)=O(max(f(n), g(n)))
特別地,若T1(m)=O(f(m)), T2(n)=O(g(n)),則 T1(m)+T2(n)=O(f(m) + g(n))
(3).對(duì)于選擇結(jié)構(gòu),如if語(yǔ)句,它的主要時(shí)間耗費(fèi)是在執(zhí)行then字句或else字句所用的時(shí)間,需注意的是檢驗(yàn)條件也需要O(1)時(shí)間
(4).對(duì)于循環(huán)結(jié)構(gòu),循環(huán)語(yǔ)句的運(yùn)行時(shí)間主要體現(xiàn)在多次迭代中執(zhí)行循環(huán)體以及檢驗(yàn)循環(huán)條件的時(shí)間耗費(fèi),一般可用大O下"乘法法則"
乘法法則: 是指若算法的2個(gè)部分時(shí)間復(fù)雜度分別為 T1(n)=O(f(n))和 T2(n)=O(g(n)),則 T1T2=O(f(n)g(n))
(5).對(duì)于復(fù)雜的算法,可以將它分成幾個(gè)容易估算的部分,然后利用求和法則和乘法法則技術(shù)整個(gè)算法的時(shí)間復(fù)雜度
另外還有以下2個(gè)運(yùn)算法則:(1) 若g(n)=O(f(n)),則O(f(n))+ O(g(n))= O(f(n))；(2) O(Cf(n)) = O(f(n)),其中C是一個(gè)正常數(shù)
（5）下面分別對(duì)幾個(gè)常見的時(shí)間復(fù)雜度進(jìn)行示例說明：
(1)、O(1)
Temp=i; i=j; j=temp;
以上三條單個(gè)語(yǔ)句的頻度均為1，該程序段的執(zhí)行時(shí)間是一個(gè)與問題規(guī)模n無(wú)關(guān)的常數(shù)。算法的時(shí)間復(fù)雜度為常數(shù)階，記作T(n)=O(1)。注意：如果算法的執(zhí)行時(shí)間不隨著問題規(guī)模n的增加而增長(zhǎng)，即使算法中有上千條語(yǔ)句，其執(zhí)行時(shí)間也不過是一個(gè)較大的常數(shù)。此類算法的時(shí)間復(fù)雜度是O(1)。
****(2)、O(n2
)**
2.1. 交換i和j的內(nèi)容
[java] view plain copy

sum=0； （一次）
for(i=1;i<=n;i++) （n+1次）
for(j=1;j<=n;j++) （n2次）
sum++； （n2次）

解：因?yàn)棣?2n2
+n+1)=n2
（Θ即：去低階項(xiàng)，去掉常數(shù)項(xiàng)，去掉高階項(xiàng)的常參得到），所以T(n)= =O(n2
)；**
2.2.
[java] view plain copy

for (i=1;i<n;i++)
{
y=y+1; ①
for (j=0;j<=(2*n);j++)
x++; ②
}

解： 語(yǔ)句1的頻度是n-1 語(yǔ)句2的頻度是(n-1)(2n+1)=2n2
-n-1 f(n)=2n2
-n-1+(n-1)=2n2
-2；
又Θ(2n2
-2)=n2
** 該程序的時(shí)間復(fù)雜度T(n)=O(*n2
**).
　　一般情況下，對(duì)步進(jìn)循環(huán)語(yǔ)句只需考慮循環(huán)體中語(yǔ)句的執(zhí)行次數(shù)，忽略該語(yǔ)句中步長(zhǎng)加1、終值判別、控制轉(zhuǎn)移等成分，當(dāng)有若干個(gè)循環(huán)語(yǔ)句時(shí)，算法的時(shí)間復(fù)雜度是由嵌套層數(shù)最多的循環(huán)語(yǔ)句中最內(nèi)層語(yǔ)句的頻度f(wàn)(n)決定的。
(3)、O(n)
[java] view plain copy

a=0;
b=1; ①
for (i=1;i<=n;i++) ②
{
s=a+b;　　　　③
b=a;　　　　?、?br> a=s;　　　　　⑤
}

解： 語(yǔ)句1的頻度：2, 語(yǔ)句2的頻度： n, 語(yǔ)句3的頻度： n-1, 語(yǔ)句4的頻度：n-1, 語(yǔ)句5的頻度：n-1, T(n)=2+n+3(n-1)=4n-1=O(n).(4)、O(log2
n)**
[java] view plain copy

i=1; ①
hile (i<=n)
i=i*2; ②

解： 語(yǔ)句1的頻度是1, 設(shè)語(yǔ)句2的頻度是f(n), 則：2^f(n)<=n;f(n)<=log2
n** 取最大值f(n)=log2
n, T(n)=O(log2
n** )
(5)、O(n3
)**
[java] view plain copy

for(i=0;i<n;i++)
{
for(j=0;j<i;j++)
{
for(k=0;k<j;k++)
x=x+2;
}
}

解：當(dāng)i=m, j=k的時(shí)候,內(nèi)層循環(huán)的次數(shù)為k當(dāng)i=m時(shí), j 可以取 0,1,...,m-1 , 所以這里最內(nèi)循環(huán)共進(jìn)行了0+1+...+m-1=(m-1)m/2次所以,i從0取到n, 則循環(huán)共進(jìn)行了: 0+(1-1)1/2+...+(n-1)n/2=n(n+1)(n-1)/6所以時(shí)間復(fù)雜度為O(n3
).
******（5）常用的算法的時(shí)間復(fù)雜度和空間復(fù)雜度

空間復(fù)雜度

與時(shí)間復(fù)雜度類似，空間復(fù)雜度是指算法在計(jì)算機(jī)內(nèi)執(zhí)行時(shí)所需存儲(chǔ)空間的度量。記作:
S(n)=O(f(n))
算法執(zhí)行期間所需要的存儲(chǔ)空間包括3個(gè)部分：
·算法程序所占的空間；
·輸入的初始數(shù)據(jù)所占的存儲(chǔ)空間；
·算法執(zhí)行過程中所需要的額外空間。
在許多實(shí)際問題中，為了減少算法所占的存儲(chǔ)空間，通常采用壓縮存儲(chǔ)技術(shù)