? ? 工業時代我們習慣了牛頓的思維模式，一切都是確定性的、可測量的、可觀測的、可預測的，當然牛頓世界觀改變了我們的生活，對于我們還是至關重要的，但是你有沒有發現呢現在好多事物都是不確定性的。比如股市的此起彼伏，不管多么重量級的人去預測總有很多的失誤很大的不確定性。面對這個不確定性的世界我們該如何應對呢？下面給大家介紹下香農的信息論，從信息的角度來理解不確定性。
1.如何度量信息
? ? 香農把信息和世界的不確定性（無序狀態）聯系到了一起，稱作信息熵，可以用來度量信息。熵用來描述一個系統中趨向于恒溫的程度，當這個系統完全達到恒溫時就無法做功了，這時熵最大。
? ? 那么可以用信息來消除這種不確定性嗎？玻爾茲曼給我們介紹了一種方法論，把熵（宏觀特性）和封閉系統的無序狀態（每一個分子的微觀特性u）聯系起來。E＝Klog (u)
信息論是建立在不確定性基礎上，要消除不確定性就要引入信息。用不確定性眼光看世界，再用信息消除不確定性。
2.對具有相關性的信息又該如何度量呢
? ? ? 互信息這個概念實現了對相關性的量化度量，相關性。
3.香農的兩個定律
? ? 兩個相關信息處理和通信的最基本的規律即香農第一定理。對于信源發出的所有信息設計一種編碼，那么編碼的平均長度一定大于該信源的信息熵，但一定存在一種編碼方式(最優的)使得編碼的平均長度無限接近于它的信息熵(不確定性)。比如說給漢字編碼，怎么做到最優化呢？霍夫曼給了一個非常簡單的方法－只要把只要把最短的編碼分配給最常見的漢字即可。與經濟學上的吉爾德定律即盡量多地采用便宜的資源，盡可能節省貴的資源，本質上是相同的。摩爾定律使得計算機越來越便宜，人力成本越來越貴，用機器替代人力就是很好的例子。
? ? 香農第二定律即信息的傳播速率不可能超過信道的容量。比如互聯網發展的各個階段實際上是建立在不斷拓寬帶寬的基礎之上的。早期使用電話調制解調器，到使用DSL（數字用戶線路）再到后來使用寬帶電纜，最后光纖都是圍繞著不斷增加信道容量而進行的。如人脈就是人與人交往的寬帶，人脈越多發出的信息和獲得的信息越多，生意做的也就越大。
? ? 信息時代的香農定律就相當于工業時代的牛頓定律，用不確定性來看待世界，再永信息來消除這種不確定性。
4.最大熵原理
? ? ? 最大熵原理即當我們要對未知事件尋找一個概率模型時，這個模型應當滿足我們所有已經看到的數據，但對未知的情況不要做任何主觀假設。被廣泛用于機器學習。已經不同于“大膽假設、小心求證”的方法論，因為它要求不引入主觀的假設。不做主觀假設的前提是取得了足夠多的數據，否則最大熵模型只能給出一些平均值而已，而不能對任何細節進行描述和預測。
? ? 人最難改變的就是人的思維模式，但是我們已經無法選擇了，必須接受這個世界。學會用不確定性來看待這個世界，用概率思維來看待這個世界，用自己盡可能多的信息來消除不確定性。希望能對你有用，有啟發。
