Snip20170526_404.png

算法復雜度

• 時間復雜度
• 空間復雜度

什么是時間復雜度

算法執(zhí)行時間需通過依據(jù)該算法編制的程序在計算機上運行時所消耗的時間來度量

怎么度量程序執(zhí)行時間

• 事后統(tǒng)計的方法
  這種方法可行，但不是一個好的方法。該方法有兩個缺陷：一是要想對設計的算法的運行性能進行評測，必須先依據(jù)算法編制相應的程序并實際運行；二是所得時間的統(tǒng)計量依賴于計算機的硬件、軟件等環(huán)境因素，有時容易掩蓋算法本身的優(yōu)勢。
• 事前分析估算的方法
  因事后統(tǒng)計方法更多的依賴于計算機的硬件、軟件等環(huán)境因素，有時容易掩蓋算法本身的優(yōu)劣。因此人們常常采用事前分析估算的方法。

決定時間消耗的因素

• 算法采用的策略、方法
• 編譯產(chǎn)生的代碼質(zhì)量
• 問題的輸入規(guī)模
• 機器執(zhí)行指令的速度。

具體度量方式

• 一個算法是由控制結(jié)構(gòu)（順序、分支和循環(huán)3種）和原操作（指固有數(shù)據(jù)類型的操作）構(gòu)成的，則算法時間取決于兩者的綜合效果。為了便于比較同一個問題的不同算法，通常的做法是，從算法中選取一種對于所研究的問題（或算法類型）來說是基本操作的原操作，以該基本操作的重復執(zhí)行的次數(shù)作為算法的時間量度。

時間復雜度與時間頻度

• 時間頻度
• 時間復雜度

時間頻度

• 一個算法執(zhí)行所耗費的時間，從理論上是不能算出來的，必須上機運行測試才能知道。但我們不可能也沒有必要對每個算法都上機測試，只需知道哪個算法花費的時間多，哪個算法花費的時間少就可以了。并且一個算法花費的時間與算法中語句的執(zhí)行次數(shù)成正比例，哪個算法中語句執(zhí)行次數(shù)多，它花費時間就多。一個算法中的語句執(zhí)行次數(shù)稱為語句頻度或時間頻度。記為T(n)。

時間復雜度

• 在剛才提到的時間頻度中，n稱為問題的規(guī)模，當n不斷變化時，時間頻度T(n)也會不斷變化。但有時我們想知道它變化時呈現(xiàn)什么規(guī)律。為此，我們引入時間復雜度概念。 一般情況下，算法中基本操作重復執(zhí)行的次數(shù)是問題規(guī)模n的某個函數(shù)，用T(n)表示，若有某個輔助函數(shù)f(n),使得當n趨近于無窮大時，T(n)/f(n)的極限值為不等于零的常數(shù)，則稱f(n)是T(n)的同數(shù)量級函數(shù)。記作T(n)=Ｏ(f(n)),稱Ｏ(f(n)) 為算法的漸進時間復雜度，簡稱時間復雜度。

• T (n) = Ο(f (n)) 表示存在一個常數(shù)C，使得在當n趨于正無窮時總有 T (n) ≤ C * f(n)。簡單來說，就是T(n)在n趨于正無窮時最大也就跟f(n)差不多大。也就是說當n趨于正無窮時T (n)的上界是C * f(n)。其雖然對f(n)沒有規(guī)定，但是一般都是取盡可能簡單的函數(shù)。例如，O(2n2+n +1) = O (3n2+n+3) = O (7n2 + n) = O ( n2 ) ，一般都只用O(n2)表示就可以了。注意到大O符號里隱藏著一個常數(shù)C，所以f(n)里一般不加系數(shù)。如果把T(n)當做一棵樹，那么O(f(n))所表達的就是樹干，只關心其中的主干，其他的細枝末節(jié)全都拋棄不管。

Landau符號:上面的O是符號中的一個

• Landau符號是由德國數(shù)論學家保羅·巴赫曼（Paul Bachmann）在其1892年的著作《解析數(shù)論》首先引入，由另一位德國數(shù)論學家艾德蒙·朗道（Edmund Landau）推廣。Landau符號的作用在于用簡單的函數(shù)來描述復雜函數(shù)行為，給出一個上或下（確）界。在計算算法復雜度時一般只用到大O符號，Landau符號體系中的小o符號、Θ符號等等比較不常用。這里的O，最初是用大寫希臘字母，但現(xiàn)在都用大寫英語字母O；小o符號也是用小寫英語字母o，Θ符號則維持大寫希臘字母Θ。

常見的時間復雜度

在各種不同算法中，若算法中語句執(zhí)行次數(shù)為一個常數(shù)，則時間復雜度為O(1),另外，在時間頻度不相同時，時間復雜度有可能相同，如T(n)=n2+3n+4與T(n)=4n2+2n+1它們的頻度不同，但時間復雜度相同，都為O(n2)。 按數(shù)量級遞增排列，常見的時間復雜度有：常數(shù)階O(1),對數(shù)階O(log2n),線性階O(n), 線性對數(shù)階O(nlog2n),平方階O(n2)，立方階O(n3),...， k次方階O(nk),指數(shù)階O(2n)。隨著問題規(guī)模n的不斷增大，上述時間復雜度不斷增大，算法的執(zhí)行效率越低。

常見的算法時間復雜度由小到大依次為：
Ο(1)＜Ο(log2n)＜Ο(n)＜Ο(nlog2n)＜Ο(n2)＜Ο(n3)＜…＜Ο(2n)＜Ο(n!)

求解時間復雜度的步驟

• 找出算法中的基本語句；
  算法中執(zhí)行次數(shù)最多的那條語句就是基本語句，通常是最內(nèi)層循環(huán)的循環(huán)體。
• 計算基本語句的執(zhí)行次數(shù)的數(shù)量級；
  只需計算基本語句執(zhí)行次數(shù)的數(shù)量級，這就意味著只要保證基本語句執(zhí)行次數(shù)的函數(shù)中的最高次冪正確即可，可以忽略所有低次冪和最高次冪的系數(shù)。這樣能夠簡化算法分析，并且使注意力集中在最重要的一點上：增長率。
• 用大Ο記號表示算法的時間性能。
  將基本語句執(zhí)行次數(shù)的數(shù)量級放入大Ο記號中。

計算時間復雜度示例：

• 原則
  如果算法中包含嵌套的循環(huán)，則基本語句通常是最內(nèi)層的循環(huán)體，如果算法中包含并列的循環(huán)，則將并列循環(huán)的時間復雜度相加。
• 示例

for (int i = 1; i <= n; i++)  
       x++;  
for (int i = 1; i <= n; i++)  
    　for (int j = 1; j <= n; j++)  
          x++;  

• 分析
  第一個for循環(huán)的時間復雜度為Ο(n)，第二個for循環(huán)的時間復雜度為Ο(n2)，則整個算法的時間復雜度為Ο(n+n2)=Ο(n2)。

PS:
Ο(1)表示基本語句的執(zhí)行次數(shù)是一個常數(shù)，一般來說，只要算法中不存在循環(huán)語句，其時間復雜度就是Ο(1)。其中Ο(log2n)、Ο(n)、 Ο(nlog2n)、Ο(n2)和Ο(n3)稱為多項式時間，而Ο(2n)和Ο(n!)稱為指數(shù)時間。計算機科學家普遍認為前者（即多項式時間復雜度的算法）是有效算法，把這類問題稱為P（Polynomial,多項式）類問題，而把后者（即指數(shù)時間復雜度的算法）稱為NP（Non-Deterministic Polynomial, 非確定多項式）問題。
一般來說多項式級的復雜度是可以接受的，很多問題都有多項式級的解——也就是說，這樣的問題，對于一個規(guī)模是n的輸入，在n^k的時間內(nèi)得到結(jié)果，稱為P問題。有些問題要復雜些，沒有多項式時間的解，但是可以在多項式時間里驗證某個猜測是不是正確。比如問4294967297是不是質(zhì)數(shù)？如果要直接入手的話，那么要把小于4294967297的平方根的所有素數(shù)都拿出來，看看能不能整除。還好歐拉告訴我們，這個數(shù)等于641和6700417的乘積，不是素數(shù)，很好驗證的，順便麻煩轉(zhuǎn)告費馬他的猜想不成立。大數(shù)分解、Hamilton回路之類的問題，都是可以多項式時間內(nèi)驗證一個“解”是否正確，這類問題叫做NP問題。

計算時間復雜度的分析法則

• 對于一些簡單的輸入輸出語句或賦值語句,近似認為需要O(1)時間
• 對于順序結(jié)構(gòu),需要依次執(zhí)行一系列語句所用的時間可采用大O下"求和法則"

求和法則:
是指若算法的2個部分時間復雜度分別為 T1(n)=O(f(n))和 T2(n)=O(g(n)),
則 T1(n)+T2(n)=O(max(f(n), g(n)))
特別地,若T1(m)=O(f(m)), T2(n)=O(g(n)),則 T1(m)+T2(n)=O(f(m) + g(n))

• 對于選擇結(jié)構(gòu),如if語句,它的主要時間耗費是在執(zhí)行then字句或else字句所用的時間,需注意的是檢驗條件也需要O(1)時間
• 對于循環(huán)結(jié)構(gòu),循環(huán)語句的運行時間主要體現(xiàn)在多次迭代中執(zhí)行循環(huán)體以及檢驗循環(huán)條件的時間耗費,一般可用大O下"乘法法則"

乘法法則: 
是指若算法的2個部分時間復雜度分別為 T1(n)=O(f(n))和 T2(n)=O(g(n)),
則 T1*T2=O(f(n)*g(n))

• 對于復雜的算法,可以將它分成幾個容易估算的部分,然后利用求和法則和乘法法則技術整個算法的時間復雜度

另外還有以下2個運算法則:
(1) 若g(n)=O(f(n)),則O(f(n))+ O(g(n))= O(f(n))；
(2) O(Cf(n)) = O(f(n)),其中C是一個正常數(shù)

常見時間復雜度示例：

• O(1)
  Temp=i; i=j; j=temp;
  解：

以上三條單個語句的頻度均為1，該程序段的執(zhí)行時間是一個與問題規(guī)模n無關的常數(shù)。
算法的時間復雜度為常數(shù)階，記作T(n)=O(1)。
注意：如果算法的執(zhí)行時間不隨著問題規(guī)模n的增加而增長，即使算法中有上千條語句，其執(zhí)行時間也不過是一個較大的常數(shù)。
此類算法的時間復雜度是O(1)。

• O(n2)
• 示例1

sum=0；                 （一次）  
for(int i = 1; i <= n; i++)     （n+1次）  
      for(int j = 1; j <= n; j++) （n2次）  
           sum++；            （n2次）

解：

因為Θ(2n2+n+1)=n2（Θ即：去低階項，去掉常數(shù)項，去掉高階項的常參得到）
所以T(n)= =O(n2)；

• 示例2

for (int i = 1; i < n; i++)  
 {   
       y = y + 1;         ①     
       for (int j = 0; j <= (2 * n); j++)      
            x++;         ②        
 }     

解：

語句1的頻度是n-1
語句2的頻度是(n-1)*(2n+1)=2n2-n-1
f(n)=2n2-n-1+(n-1)=2n2-2；
又Θ(2n2-2)=n2
該程序的時間復雜度T(n)=O(n2).  

PS: 一般情況下，對步進循環(huán)語句只需考慮循環(huán)體中語句的執(zhí)行次數(shù)，忽略該語句中步長加1、終值判別、控制轉(zhuǎn)移等成分，當有若干個循環(huán)語句時，算法的時間復雜度是由嵌套層數(shù)最多的循環(huán)語句中最內(nèi)層語句的頻度f(n)決定的。

• O(n)

int s;
int a = 0;  
int b = 1;                      ①  
  for (int i = 1; i <= n; i++) ②  
  {    
     s = a + b;　　　　③  
     b = a;　　　　　④    
     a = s;　　　　　⑤  
  }  

解：

語句1的頻度：2,        
語句2的頻度： n,        
語句3的頻度： n-1,        
語句4的頻度：n-1,    
語句5的頻度：n-1,                                  
T(n)=2+n+3(n-1)=4n-1=O(n).

• O(log2n)

int i = 1;     ①  
while (i <= n)  
  i = i * 2; ②  

解：

語句1的頻度是1,  
設語句2的頻度是f(n),   則：2^f(n)<=n;f(n)<=log2n    
取最大值f(n)=log2n,
T(n)=O(log2n )

• O(n3)

for(int i = 0; i < n; i++)  
   {    
      for(int j = 0; j < i; j++)    
      {  
         for(int k = 0; k < j; k++)  
            x = x + 2;    
      }  
   }  

解：

當i=m, j=k的時候,內(nèi)層循環(huán)的次數(shù)為k當i=m時, j 可以取 0,1,...,m-1 , 
所以這里最內(nèi)循環(huán)共進行了0+1+...+m-1=(m-1)m/2次所以,i從0取到n, 
則循環(huán)共進行了: 0+(1-1)*1/2+...+(n-1)n/2=n(n+1)(n-1)/6所以時間復雜度為O(n3).

常用算法的時間復雜度

• O(1): 表示算法的運行時間為常量
  O(n): 表示該算法是線性算法
  O(㏒2n): 二分查找算法
  O(n2): 對數(shù)組進行排序的各種簡單算法，例如直接插入排序的算法。
  O(n3): 做兩個n階矩陣的乘法運算
  O(2n): 求具有n個元素集合的所有子集的算法
  O(n!): 求具有N個元素的全排列的算法
• 優(yōu)<---------------------------<劣
  O(1)<O(㏒2n)<O(n)<O(n2)<O(2n)
  時間復雜度按數(shù)量級遞增排列依次為：常數(shù)階O(1)、對數(shù)階O(log2n)、線性階O(n)、線性對數(shù)階O(nlog2n)、平方階O(n2)、立方階O(n3)、……k次方階O(nk)、指數(shù)階O(2n)。

Snip20170526_410.png

空間復雜度

• 類似于時間復雜度的討論，一個算法的空間復雜度(Space Complexity)S(n)定義為該算法所耗費的存儲空間，它也是問題規(guī)模n的函數(shù)。漸近空間復雜度也常常簡稱為空間復雜度。
• 空間復雜度(Space Complexity)是對一個算法在運行過程中臨時占用存儲空間大小的量度。一個算法在計算機存儲器上所占用的存儲空間，包括存儲算法本身所占用的存儲空間，算法的輸入輸出數(shù)據(jù)所占用的存儲空間和算法在運行過程中臨時占用的存儲空間這三個方面。算法的輸入輸出數(shù)據(jù)所占用的存儲空間是由要解決的問題決定的，是通過參數(shù)表由調(diào)用函數(shù)傳遞而來的，它不隨本算法的不同而改變。存儲算法本身所占用的存儲空間與算法書寫的長短成正比，要壓縮這方面的存儲空間，就必須編寫出較短的算法。算法在運行過程中臨時占用的存儲空間隨算法的不同而異，有的算法只需要占用少量的臨時工作單元，而且不隨問題規(guī)模的大小而改變，我們稱這種算法是“就地/"進行的，是節(jié)省存儲的算法，如這一節(jié)介紹過的幾個算法都是如此；有的算法需要占用的臨時工作單元數(shù)與解決問題的規(guī)模n有關，它隨著n的增大而增大，當n較大時，將占用較多的存儲單元，快速排序和歸并排序算法就屬于這種情況。
• 如當一個算法的空間復雜度為一個常量，即不隨被處理數(shù)據(jù)量n的大小而改變時，可表示為O(1)；當一個算法的空間復雜度與以2為底的n的對數(shù)成正比時，可表示為0(10g2n)；當一個算法的空I司復雜度與n成線性比例關系時，可表示為0(n).若形參為數(shù)組，則只需要為它分配一個存儲由實參傳送來的一個地址指針的空間，即一個機器字長空間；若形參為引用方式，則也只需要為其分配存儲一個地址的空間，用它來存儲對應實參變量的地址，以便由系統(tǒng)自動引用實參變量。

常用時間復雜度的記法

• 訪問數(shù)組中的元素是常數(shù)時間操作，或說O(1)操作。
• 一個算法如 果能在每個步驟去掉一半數(shù)據(jù)元素，如二分檢索，通常它就取 O(logn)時間。
• 用strcmp比較兩個具有n個字符的串需要O(n)時間 。
• 常規(guī)的矩陣乘算法是O(n^3)，因為算出每個元素都需要將n對 元素相乘并加到一起，所有元素的個數(shù)是n^2。
• 指數(shù)時間算法通常來源于需要求出所有可能結(jié)果。例如，n個元 素的集合共有2n個子集,所以要求出所有子集的算法將是O(2n)的 。指數(shù)算法一般說來是太復雜了，除非n的值非常小，因為，在 這個問題中增加一個元素就導致運行時間加倍。不幸的是，確實有許多問題 (如著名 的“巡回售貨員問題” )，到目前為止找到的算法都是指數(shù)的。如果我們真的遇到這種情況， 通常應該用尋找近似最佳結(jié)果的算法替代之。

參考

• 算法的時間復雜度
• 算法的時間復雜度和空間復雜度
• 算法的時間復雜度和空間復雜度-總結(jié)

以上！

小七