序一 大數(shù)據(jù)與機(jī)器智能催生智能時(shí)代

（鄔賀銓，中國(guó)工程院院士）

<em>數(shù)據(jù) </em>：指所有輸入計(jì)算機(jī)并被計(jì)算機(jī)程序處理的符號(hào)介質(zhì)的總稱，是用于輸入電子計(jì)算機(jī)進(jìn)行處理的具有一定意義的數(shù)字字母符號(hào)和模擬量等的通稱。廣義上的數(shù)據(jù)，則是以適于更好使用或處理的方式來(lái)表示或編碼的信息或知識(shí)，它可以被測(cè)量，收集和報(bào)告及分析，能夠使用圖形或圖像來(lái)顯示。

Q：為什么現(xiàn)在才出現(xiàn)大數(shù)據(jù)熱？
A：《智能時(shí)代》給出了答案。

科學(xué)發(fā)展的四個(gè)范式:

• 描述自然現(xiàn)象的科學(xué)實(shí)驗(yàn)
• 以牛頓定律和麥克斯韋方程等為代表的理論科學(xué)
• 模擬復(fù)雜現(xiàn)象的計(jì)算科學(xué)
• 如今數(shù)據(jù)密集型科學(xué)

數(shù)據(jù)密集型科學(xué)產(chǎn)生的背景

面對(duì)更加復(fù)雜的自然和社會(huì)環(huán)境，多維度和多變量導(dǎo)致很大的不確定性，雖然不能用解析式來(lái)說明因果關(guān)系，但如果從足夠多的數(shù)據(jù)中發(fā)現(xiàn)相關(guān)性也能把我事物發(fā)展的軌跡。

大數(shù)據(jù)熱的技術(shù)發(fā)展背景

• 互聯(lián)網(wǎng)的帶寬化
• 移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)技術(shù)與應(yīng)用源源不斷產(chǎn)生數(shù)據(jù)
• 摩爾定律所支撐的計(jì)算力的增長(zhǎng)
• 云計(jì)算的集約化運(yùn)用模式降低了成本
• 機(jī)器智能的發(fā)展

智能時(shí)代

從感知到認(rèn)知并智能決策的升華，
這是一個(gè)計(jì)算無(wú)所不在、軟件定義一切、數(shù)據(jù)驅(qū)動(dòng)發(fā)展的新時(shí)代。
第四次產(chǎn)業(yè)革命，智能革命。

啟示

抓住智能時(shí)代的機(jī)遇并認(rèn)真對(duì)待挑戰(zhàn)，力爭(zhēng)在新一輪產(chǎn)業(yè)變革浪潮中占領(lǐng)先機(jī)。

序二 智能時(shí)代，未來(lái)已來(lái)

李善友，混沌大學(xué)創(chuàng)始人

大數(shù)據(jù)時(shí)解決不確定性的良藥

不確定來(lái)自兩個(gè)方面

• 影響世界的變量太多以至于無(wú)法用數(shù)學(xué)模型描述
• 不確定來(lái)自客觀世界本身

香農(nóng)，用信息論將世界的不確定性與信息聯(lián)系在一起。
基于不確定的理論，是如今大數(shù)據(jù)和人工智能研究的基石

現(xiàn)有產(chǎn)業(yè) + 新技術(shù) = 新產(chǎn)業(yè)

• 第一次工業(yè)革命：蒸汽機(jī)
• 第二次工業(yè)革命：電力
• 第三次信息革命：計(jì)算機(jī)與半導(dǎo)體
• 第四次智能革命：大數(shù)據(jù)和機(jī)器智能

智能革命帶來(lái)前所未有的不連續(xù)挑戰(zhàn)

機(jī)器智能革命的發(fā)生來(lái)自于大數(shù)據(jù)量的積累達(dá)到質(zhì)變的奇點(diǎn)

什么是連續(xù)性：幾千年來(lái)，人類的認(rèn)知建立在歸納法上，即未來(lái)將繼續(xù)和過去一樣，也叫連續(xù)性假設(shè)
然而如今面臨的智能時(shí)代，是不連續(xù)的。我們需要跨越思維的不連續(xù)性。

前言

人類的勝利

計(jì)算機(jī)戰(zhàn)勝人類的原因

大數(shù)據(jù)和智能算法

AlphaGo的關(guān)鍵技術(shù)

• 把棋盤上當(dāng)前的狀態(tài)編程一個(gè)獲勝概率的數(shù)學(xué)模型，又?jǐn)?shù)據(jù)訓(xùn)練出來(lái)
• 啟發(fā)式搜索算法---蒙特卡洛樹搜索算法

AlphaGo開發(fā)目的

讓計(jì)算機(jī)能夠解決問題

Google的工作

讓幾十年前的機(jī)器學(xué)習(xí)和博弈樹搜索算法在上萬(wàn)臺(tái)甚至百萬(wàn)臺(tái)服務(wù)器上并行運(yùn)行。

本書內(nèi)容和結(jié)構(gòu)

介紹大數(shù)據(jù)的本質(zhì)、作用，大數(shù)據(jù)和機(jī)器智能的關(guān)系，機(jī)器智能的原理和發(fā)展歷程，以及對(duì)未來(lái)產(chǎn)業(yè)和社會(huì)的影響。

第一章 數(shù)據(jù) ——人類創(chuàng)建文明的基石

如果我們把資本和機(jī)械動(dòng)能作為大航海時(shí)代以來(lái)全球近代化的推動(dòng)力話，那么數(shù)據(jù)將成為下一次技術(shù)革命和社會(huì)變革的核心動(dòng)力。

現(xiàn)象、數(shù)據(jù)、信息和知識(shí)

信息是關(guān)于世界、人和事的描述，它比數(shù)據(jù)來(lái)得抽象。
數(shù)據(jù)的作用在于承載信息，然而并非所有數(shù)據(jù)都承載了有意義的信息。
對(duì)數(shù)據(jù)和信息進(jìn)行處理后，可以獲得知識(shí)。
數(shù)據(jù)中隱藏的信息和知識(shí)是客觀存在的，但很難挖掘出來(lái)。

數(shù)據(jù)的作用：文明的基石

人類文明過程
獲取數(shù)據(jù) -> 分析數(shù)據(jù) -> 建立模型 -> 預(yù)測(cè)未知

過去數(shù)據(jù)被忽視的原因

• 過去數(shù)據(jù)量不足，積累大量數(shù)據(jù)所花費(fèi)時(shí)間太長(zhǎng)
• 數(shù)據(jù)與想獲取的信息之間的聯(lián)系通常是間接的。
  相關(guān)性是讓數(shù)據(jù)發(fā)揮作用的魔法棒

相關(guān)性：使用數(shù)據(jù)的鑰匙

阿米特·帕特爾博士（Amit Patel），谷歌趨勢(shì)：氣候，疾病。
很多時(shí)候，我們無(wú)法直接獲得信息，但是我們可以將相關(guān)聯(lián)的信息量化，然后透過數(shù)學(xué)模型，間接地得到所想要的信息。

統(tǒng)計(jì)學(xué)：點(diǎn)石成金的魔棒

準(zhǔn)確的統(tǒng)計(jì)結(jié)果需要：

• 統(tǒng)計(jì)數(shù)量龐大
• 采樣數(shù)據(jù)具有代表性

數(shù)學(xué)模型： 數(shù)據(jù)驅(qū)動(dòng)方法的基礎(chǔ)

切比雪夫不等式：當(dāng)忘本足夠多時(shí)，一個(gè)隨機(jī)變量和它的數(shù)學(xué)期望值之間的誤差值可以任意小。

解決問題：——機(jī)器學(xué)習(xí)

• 找模型
• 找模型參數(shù)

（思路）完美模型難以找到，用簡(jiǎn)單模型疊加實(shí)現(xiàn)復(fù)雜模型的功能
這種方法被稱為：數(shù)據(jù)驅(qū)動(dòng)的方法（先有大量數(shù)據(jù)，然后用簡(jiǎn)單模型去契合數(shù)據(jù)）
前提：數(shù)據(jù)量大；數(shù)據(jù)具有代表性
數(shù)據(jù)驅(qū)動(dòng)方法的優(yōu)勢(shì)：最大化利用計(jì)算機(jī)的優(yōu)勢(shì)

小結(jié)

數(shù)據(jù)的范疇遠(yuǎn)比我們想到要廣。
人類認(rèn)識(shí)自然的過程，科學(xué)實(shí)踐的過程，以及在經(jīng)濟(jì)，社會(huì)領(lǐng)域的行為，總是伴隨著數(shù)據(jù)的產(chǎn)生。
從某種程度上說，獲得和利用數(shù)據(jù)的水平反映出文明的水平。數(shù)據(jù)將帶來(lái)全球化智能革命。

第二章 大數(shù)據(jù)與機(jī)器智能

在有大數(shù)據(jù)之前，計(jì)算機(jī)并不擅長(zhǎng)于解決需要人類智能的問題，但是今天這些個(gè)問題換個(gè)思路就解決了，其核心就是變智能問題為數(shù)據(jù)問題。由此，全世界開始了新一輪的技術(shù)革命——智能革命

什么是機(jī)器智能

圖靈測(cè)試：讓一臺(tái)機(jī)器和一個(gè)人坐在幕后，讓一個(gè)裁判同時(shí)與幕后的人和機(jī)器交流，如果這個(gè)裁判無(wú)法判斷自己交流的對(duì)象是人還是機(jī)器，就說這臺(tái)機(jī)器有了和人同等的智能。

飛鳥派：人工智能1.0

傳統(tǒng)的人工智能：首先了解人類的智能是如何產(chǎn)生，然后讓計(jì)算機(jī)按照人的思維去做。這時(shí)人們直覺中，最容易想到的方法。正如懷特兄弟的飛機(jī)是靠空氣動(dòng)力學(xué)而不是仿生學(xué)，現(xiàn)代人工智能也不再堅(jiān)持機(jī)器按照人的思維工作。

另辟蹊徑：統(tǒng)計(jì)+數(shù)據(jù)

賈里尼克與語(yǔ)音識(shí)別系統(tǒng)

人的大腦是信息源，從思考到找到合適的語(yǔ)句，再到說出來(lái)，是一個(gè)編碼的過程，經(jīng)過媒介傳播到耳朵，到最后理解內(nèi)容，是解碼的過程。這是一個(gè)典型的通信問題：可以用解決通信的方法解決。
因此，兩個(gè)數(shù)學(xué)模型分別描述信源和信道，從語(yǔ)音中提取特征。
李開復(fù)的博士論文：連續(xù)語(yǔ)音識(shí)別系統(tǒng) sphinx。

機(jī)器翻譯

傳統(tǒng)：人力編寫機(jī)器翻譯所需要使用的語(yǔ)法規(guī)則
奧科博士：采用死記硬背的方式，通過數(shù)據(jù)學(xué)習(xí)不同語(yǔ)言之間很長(zhǎng)句子成分的對(duì)應(yīng)，然后直接把一種語(yǔ)言翻譯成另一種語(yǔ)言。
數(shù)據(jù)驅(qū)動(dòng)的方法：利用統(tǒng)計(jì)數(shù)據(jù)訓(xùn)練模型

數(shù)據(jù)創(chuàng)造奇跡：量變到質(zhì)變

2005年，谷歌打敗全世界機(jī)器翻譯研究團(tuán)隊(duì)。得益與谷歌大數(shù)據(jù)。

<em>數(shù)據(jù)驅(qū)動(dòng)方法出現(xiàn)于70年代，八十九十年代緩慢發(fā)展，21世紀(jì)后，隨著互聯(lián)網(wǎng)的發(fā)展，優(yōu)勢(shì)愈加明顯，完成了量變到質(zhì)變的飛躍。</em>

大數(shù)據(jù)的特征

• 體量大（Vast）
• 多樣性（Variety）
• 及時(shí)性（Velocity）

<em>大數(shù)據(jù)最重要的是傳達(dá)了一種思維方式的變化</em>

變智能問題為數(shù)據(jù)問題

例子：國(guó)際象棋，圍棋，
谷歌回答復(fù)雜問題

1. 把目標(biāo)設(shè)定在只回答那些在網(wǎng)頁(yè)中存在答案的問題
2. 把問題和網(wǎng)頁(yè)中的每一句話進(jìn)行匹配，挑出可能是答案的片段，至于怎么挑，依靠機(jī)器學(xué)習(xí)
3. 利用自然語(yǔ)言處理技術(shù)，將答案合并。

小結(jié)

我們對(duì)大數(shù)據(jù)重要性的認(rèn)識(shí)不應(yīng)該停留在統(tǒng)計(jì)、改進(jìn)產(chǎn)品和銷售，或者提供決策支持上，而是應(yīng)該看到它（和摩爾定律、數(shù)學(xué)模型一起）導(dǎo)致了機(jī)器智能的產(chǎn)生。
而機(jī)器一旦產(chǎn)生和人類類似的智能，就將對(duì)人類社會(huì)產(chǎn)生重大影響。
毫不夸張的說，決定今后20年經(jīng)濟(jì)發(fā)展的是大數(shù)據(jù)和由之而來(lái)的智能革命。

第三章 思維革命

在無(wú)法確定因果關(guān)系時(shí)，數(shù)據(jù)為我們提供了解決問題的新方法，數(shù)據(jù)中所包含的信息可以幫助我們消除不確定性，而數(shù)據(jù)之間的相關(guān)性在某種程度上可以取代原來(lái)的因果關(guān)系，幫助我們得到我們想知道的答案，這邊是大數(shù)據(jù)思維的核心。

機(jī)械思維是現(xiàn)代文明的基石。

思維方式?jīng)Q定科學(xué)成就：從歐幾里得、托勒密到牛頓

機(jī)械思維可以追溯到古希臘，即思辨的思想和邏輯推理的能力，依靠實(shí)現(xiàn)中總結(jié)的最基本公理，然后通過因果邏輯構(gòu)建起整個(gè)科學(xué)大廈。
托勒密的方法論：通過觀察獲得數(shù)學(xué)模型的雛形，然后利用數(shù)據(jù)來(lái)細(xì)化模型。
核心思想：

• 有一個(gè)簡(jiǎn)單的模型
• 模型和歷史數(shù)據(jù)契合

這樣的思想如今還在動(dòng)態(tài)規(guī)劃管理上唄廣泛應(yīng)用。

思維方式和方法遠(yuǎn)不如方法論對(duì)科學(xué)的發(fā)展 有作用。

笛卡爾的貢獻(xiàn)在于提出了科學(xué)的方法論：大膽假設(shè)，小心求證。

牛頓：總結(jié)出全新的方法論。用簡(jiǎn)單優(yōu)雅的數(shù)學(xué)公式破解了自然之謎。牛頓讓世人相信，萬(wàn)物的運(yùn)動(dòng)規(guī)律是可以被認(rèn)識(shí)的。
核心：

• 第一：世界變化的規(guī)律是確定的
• 第二：因?yàn)橛写_定性作保障，一次規(guī)律不僅可以被認(rèn)識(shí)，而卻可以同簡(jiǎn)單的公式或者語(yǔ)言描述清楚。
• 第三：這些規(guī)律放之四海而皆準(zhǔn)，可以運(yùn)用到各種未知領(lǐng)域。

<em>機(jī)械思維的本質(zhì)</em>

工業(yè)革命，機(jī)械思維的結(jié)果

瓦特是通過科學(xué)原理直接改進(jìn)蒸汽機(jī)，而不是靠長(zhǎng)期經(jīng)驗(yàn)的累積。
機(jī)械思維的重要特征：所有的問題有一個(gè)通用的解決方法。
機(jī)械思維導(dǎo)致了工業(yè)革命，工業(yè)革命帶來(lái)的不僅是財(cái)富，也大大延長(zhǎng)了人類的壽命。
機(jī)械思維更廣泛的影響力是作為一種準(zhǔn)則指導(dǎo)人們的行為，其核心思想可以概括成確定性（或者預(yù)測(cè)性）和因果關(guān)系。
愛伊斯坦發(fā)現(xiàn)廣義相對(duì)論的例子表明，人類找到真正的因果關(guān)系時(shí)一件很難的事情，里面運(yùn)氣的成分很大，機(jī)械思維在認(rèn)識(shí)世界時(shí)，還是有很多局限性的。
局限性更多的是來(lái)自于他否認(rèn)不確定性和不可知性。
隨著人類對(duì)世界認(rèn)識(shí)得越來(lái)越清楚，人們發(fā)現(xiàn)世界本身存在著很大的不確定性，并非如過去想象的那樣一切都是可以確定的。

世界的不確定性

世界的不確定性來(lái)源：

• 我們對(duì)世界的方方面面了解得越來(lái)越細(xì)致，發(fā)現(xiàn)影響世界的變量非常多，已經(jīng)無(wú)法通過簡(jiǎn)單的辦法或者公式算出結(jié)果，因此，我們寧愿采用一些針對(duì)隨機(jī)事件的方法來(lái)處理它們。

• 客觀世界本身不確定，宇宙的特性。

在概率論的基礎(chǔ)上，香農(nóng)博士建立的信息論，將世界地不確定性和信息聯(lián)系起來(lái)。給了人們看待世界和處理問題的新思路。

墑——一種新的世界觀

如何度量信息？
信息熵，量化地給出了信息的作用。
玻爾茲曼等人發(fā)現(xiàn)，在一個(gè)封閉的系統(tǒng)中，熵永遠(yuǎn)是朝著不斷增加的方向發(fā)展的。
香農(nóng)指出，信息量與不確定性有關(guān)。
信息論完全是建立在不確定性基礎(chǔ)上的，而要消除這種不確定性，就要引入信息。
也就是說，誰(shuí)掌握了信息，誰(shuí)就能夠獲取財(cái)富，這就如同在工業(yè)時(shí)代，誰(shuí)掌握了資本誰(shuí)就能獲得財(cái)富一樣。

從賈里尼克等人的工作開始，人類在機(jī)器智能領(lǐng)域的成就，其實(shí)就是不斷地把各種智能問題轉(zhuǎn)化成消除不確定性的問題，然后在找到能夠消除不確定性的信息。
<em>互信息，mutual information </em> 實(shí)現(xiàn)了對(duì)相關(guān)性的量化度量。
香農(nóng)第一定律：信號(hào)源發(fā)出所有信息設(shè)計(jì)編碼，那么編碼的平均長(zhǎng)度一定大于該信號(hào)源的信息熵。
延伸：經(jīng)濟(jì)學(xué)上的吉爾德定律（Gilder's Law），盡可能多地采用便宜的資源，盡可能節(jié)省寶貝的資源。

香農(nóng)第二定律：信息的傳播速率不可能超過信道的容量。

最大熵定律：當(dāng)我們對(duì)未知事件尋找一個(gè)概率模型時(shí)，這個(gè)模型應(yīng)當(dāng)滿足我們已知所有看到的數(shù)據(jù)，但是對(duì)未知的情況不要做任何主觀假設(shè)。

大數(shù)據(jù)的本質(zhì)

大數(shù)據(jù)量的重要性：數(shù)量多可以盡可能的消除不確定性
大數(shù)據(jù)維度的重要性：1. 為了獲得相關(guān)系需要多個(gè)維度的信息

2. 為了交叉驗(yàn)證
   大數(shù)據(jù)完備性的重要性：減少交叉熵，減少黑天鵝效應(yīng)。

交叉熵，反映兩個(gè)信息源之間的一致性，完全一致時(shí)，交叉熵為0,。
黑天鵝效應(yīng)：極為罕見，在通常預(yù)期之外的時(shí)間，他們發(fā)生之前沒有前例可以證明，但一旦發(fā)生就會(huì)產(chǎn)生極端的影響。

大數(shù)據(jù)的科學(xué)基礎(chǔ)是信息論，它的本質(zhì)是利用信息消除不確定性。

從因果關(guān)系到強(qiáng)相關(guān)關(guān)系

在大數(shù)據(jù)時(shí)代，我們得益與一種新的思維方式——從大量數(shù)據(jù)好著呢個(gè)直接找到答案，即使不知道原因。

數(shù)據(jù)公司谷歌

搜索行業(yè)，在數(shù)據(jù)層的競(jìng)爭(zhēng)。
谷歌廣告系統(tǒng)不是由規(guī)則決定的，而完全是利用數(shù)據(jù)、碗蕨相關(guān)性的結(jié)果。
谷歌采用了大數(shù)據(jù)的思維，通過從大量數(shù)據(jù)中挖掘相關(guān)性，直接用于產(chǎn)品，一次給人一種產(chǎn)品更新非常快的感覺。

小結(jié)

很多時(shí)候，落后和先進(jìn)的差距，不是購(gòu)買一些機(jī)器或者引進(jìn)一些技術(shù)就能夠彌補(bǔ)的，落后最可怕的是思維方式的落后。
大數(shù)據(jù)思維是對(duì)互聯(lián)網(wǎng)思維的補(bǔ)充。
在新時(shí)代，一定需要新的方法論，也一定會(huì)產(chǎn)生新的方法論。

第四章 大數(shù)據(jù)與商業(yè)

在未來(lái)我們可以看到，大數(shù)據(jù)和機(jī)器智能的工具就如同水和電這樣的資源，由專門的公司提供給全社會(huì)使用。

大數(shù)據(jù)思維不是抽象的，而是要一整套方法讓人們能通過數(shù)據(jù)尋找相關(guān)性，最后解決各種各樣的難題。

從大數(shù)據(jù)中找規(guī)律

案例

• 通過用電分析，抓住在家種大麻的人
• 稅務(wù)局
• 塔吉特利用大數(shù)據(jù)做生意（懷孕女兒的故事）

大數(shù)據(jù)思維的三個(gè)亮點(diǎn)：

• 用統(tǒng)計(jì)規(guī)律和個(gè)案對(duì)比，做到精準(zhǔn)定位
• 社會(huì)其實(shí)默認(rèn)了在取證是利用相關(guān)性來(lái)代替直接證據(jù)
• 執(zhí)法成本，運(yùn)營(yíng)成本大幅度下降

巨大的商業(yè)利好：相關(guān)性、時(shí)效性和個(gè)性化的重要性

案例

• 沃爾瑪和亞馬遜
• Netfix 電影推薦系統(tǒng)
• 谷歌的相關(guān)搜索

<em>技術(shù)的進(jìn)步可以改變?nèi)藗兊乃季S方式，從而讓產(chǎn)品呈現(xiàn)出新的形態(tài)</em>

大數(shù)據(jù)商業(yè)的共同點(diǎn)——盡在數(shù)據(jù)流中

數(shù)據(jù)收集時(shí)，數(shù)據(jù)的流向從枝末流的局部到整體。我們利用大數(shù)據(jù)得到的規(guī)律知道商業(yè)行為和其他行為時(shí)，數(shù)據(jù)的流向是從整體到局部。

把控每一個(gè)細(xì)節(jié)

（to C）

• 硅谷酒吧的故事
• Prada的銷售變化，在每件商品上添加RFID，智能試衣間
  （to B）
• 中國(guó)金風(fēng)公司，風(fēng)能發(fā)電機(jī)，利用IBM的機(jī)制，轉(zhuǎn)型提供服務(wù)。

金風(fēng)公司的成果對(duì)很多行業(yè)具有借鑒意義。

重新認(rèn)識(shí)窮舉法——完備性帶來(lái)的結(jié)果

案例

• 谷歌對(duì)固有關(guān)鍵詞的窮舉法搜索整理
• 谷歌自動(dòng)駕駛汽車，利用數(shù)據(jù)獲得智能

從歷史經(jīng)驗(yàn)看大數(shù)據(jù)的作用

新技術(shù)+原有產(chǎn)業(yè)=新產(chǎn)業(yè)

案例

• 蒸汽機(jī)
  • 紡織業(yè)
  • 運(yùn)輸業(yè)
• 電，第二次工業(yè)革命
  • 人口高密度的大城市
  • 公共交通
  • 電話電報(bào)為核心的通信產(chǎn)業(yè)
  • 冶金工業(yè)
• 信息革命 ->摩爾定律
  • 金融業(yè)，銀行ATM機(jī)，證券交易
  • 農(nóng)業(yè)，孟山都公司

技術(shù)改變商業(yè)模式

安迪比爾定律

• 首先，技術(shù)革命導(dǎo)致商業(yè)模式變化
• 其次，生產(chǎn)越來(lái)越過剩，單純制造業(yè)利潤(rùn)越來(lái)越低，大型公司轉(zhuǎn)向提供軟件和服務(wù)
• 最后，商業(yè)模式的變化具有繼承性，又有創(chuàng)新性

<em>IT軟件和服務(wù)也依然會(huì)是IT領(lǐng)域最好的行業(yè)，而且這個(gè)趨勢(shì)將更加明顯。</em>

加大數(shù)據(jù)締造新產(chǎn)業(yè)

• 金風(fēng)公司
• GE電器公司
• 小米和格力賭約（大數(shù)據(jù)時(shí)代和摩爾時(shí)代不同思維方式的沖突）

如今公司的選擇，加入時(shí)代的潮流，自己研發(fā)或者使用別的公司提供的技術(shù)；固守自我，逐漸消亡。
為全世界提供技術(shù)的公司站在了浪潮之巔，成為了相應(yīng)時(shí)代的偉大公司。

小結(jié)

從工業(yè)革命開始，幾次主要的技術(shù)革命都遵循相似的規(guī)律。
首先，大部分現(xiàn)有產(chǎn)業(yè)加上新技術(shù)等于新產(chǎn)業(yè)
其次，并非每一家公司都要從事新技術(shù)產(chǎn)品本身的制作，更多的是利用新技術(shù)改造原有產(chǎn)業(yè)。
每次技術(shù)革命都會(huì)誕生新的思維方式和商業(yè)模式，企業(yè)只有在思維上跟上新的時(shí)代，才能在未來(lái)的商業(yè)中立于不敗之地。

第五章 大數(shù)據(jù)和智能革命的技術(shù)挑戰(zhàn)

大數(shù)據(jù)的數(shù)據(jù)量大、維度多、數(shù)據(jù)完備等特點(diǎn)，是得它從搜集開始，到存儲(chǔ)和處理，再到應(yīng)用，都與過去的數(shù)據(jù)方法與很大的不同。因此，使用好大數(shù)據(jù)也需要在技術(shù)和工程上采用與過去不同的方法。

技術(shù)的拐點(diǎn)

科學(xué)技術(shù)的發(fā)展并非是勻速的。科技短時(shí)間單點(diǎn)突破后，新科技全面迸發(fā)，這便是拐點(diǎn)。
大數(shù)據(jù)的拐點(diǎn)在過去的十年和未來(lái)的一二十年，
所有和數(shù)據(jù)相關(guān)的準(zhǔn)備條件在這個(gè)時(shí)間點(diǎn)開始成熟，從四個(gè)芳年分析大數(shù)據(jù)形成的技術(shù)條件。

數(shù)據(jù)的產(chǎn)生

• 電腦
• 傳感器 RFID
• 過去已經(jīng)存在的，以非數(shù)字化形式存在的信息數(shù)字化
• 互聯(lián)網(wǎng)時(shí)代，用戶產(chǎn)生的數(shù)據(jù)

信息的存儲(chǔ)

摩爾定律導(dǎo)致的存儲(chǔ)器容量的增長(zhǎng)和價(jià)格的降低，讀寫速度的提升

傳輸?shù)募夹g(shù)

移動(dòng)互聯(lián)網(wǎng)時(shí)代，第四代LTE通用移動(dòng)通信技術(shù)的有效數(shù)據(jù)傳輸速率的提升，WIFI的全覆蓋

信息的處理

云計(jì)算的興起。通過互聯(lián)網(wǎng)，廉價(jià)服務(wù)器，比較成熟的并行計(jì)算工具，實(shí)現(xiàn)了大規(guī)模的并行計(jì)算，大數(shù)據(jù)的處理成為可能。

數(shù)據(jù)收集：看似簡(jiǎn)單的難題

數(shù)據(jù)收集的難題：間接的收集數(shù)據(jù)，然后利用數(shù)據(jù)的相關(guān)性導(dǎo)出自己所要知道的信息。

數(shù)據(jù)存儲(chǔ)的壓力和數(shù)據(jù)表示的難題

目前節(jié)約存儲(chǔ)的技術(shù)表現(xiàn)在兩方面：

• 存儲(chǔ)同樣的信息占用的空間小，數(shù)據(jù)的壓縮，去除冗余的信息
• 數(shù)據(jù)涉及數(shù)據(jù)安全，數(shù)據(jù)不丟失，不損壞。
  如何節(jié)儉和如何存儲(chǔ)才能便于使用。

大數(shù)據(jù)面臨的另一個(gè)技術(shù)難題：如何標(biāo)準(zhǔn)話數(shù)據(jù)格式，以便共享。

并行計(jì)算和實(shí)時(shí)處理：并非增加機(jī)器這么簡(jiǎn)單

mapreduce和Hadoop

• 首先，任何一個(gè)問題總有一部分計(jì)算式無(wú)法并行的，這類計(jì)算占的比例越大，并行處理效率越低
• 影響并行計(jì)算的效率的因素在于無(wú)法保證每個(gè)小任務(wù)的計(jì)算量是相同的。

要解決事實(shí)處理大叔的問題，需要從根本上改變系統(tǒng)設(shè)計(jì)與算法，而不是增加機(jī)器。

Dremel 基于內(nèi)存，以數(shù)據(jù)列優(yōu)先的方式存儲(chǔ)

數(shù)據(jù)挖掘：機(jī)器智能的關(guān)鍵

谷歌大腦：把過去的人工神經(jīng)網(wǎng)絡(luò)并行的實(shí)現(xiàn)了。
各個(gè)IT公司在大數(shù)據(jù)的挖掘和處理上進(jìn)行戰(zhàn)略性布局。

數(shù)據(jù)安全技術(shù)

• 在文件系統(tǒng)和操作系統(tǒng)設(shè)計(jì)上加以改進(jìn)
• 利用大數(shù)據(jù)本身的特點(diǎn)來(lái)保護(hù)大數(shù)據(jù)的信息安全，利用大數(shù)據(jù)分析和機(jī)器學(xué)習(xí)了解公司的業(yè)務(wù)流程，發(fā)現(xiàn)并防止異常操作。

保護(hù)隱私：靠大數(shù)據(jù)長(zhǎng)期掙錢的必要條件

• 一類是從數(shù)據(jù)手機(jī)端對(duì)數(shù)據(jù)進(jìn)行預(yù)處理
• 另一類是雙向監(jiān)視

小結(jié)

大數(shù)據(jù)在今天這個(gè)時(shí)間點(diǎn)爆發(fā)，是各種技術(shù)條件具備的結(jié)果。但是，要讓大數(shù)據(jù)真正發(fā)揮巨大的作用，讓計(jì)算機(jī)變得更聰明，還是有很多技術(shù)挑戰(zhàn)要應(yīng)對(duì)。
使用好大數(shù)據(jù)需要在技術(shù)和工程上采用和過去不同的方法，要改變思維定式，迎接技術(shù)上的難題，比如對(duì)數(shù)據(jù)安全的考慮，對(duì)隱私保護(hù)的考慮。
在今后，任何一個(gè)能提供某些大數(shù)據(jù)關(guān)鍵技術(shù)的公司和個(gè)人，在未來(lái)的智能革命中，都將有大展宏圖的機(jī)會(huì)。

第六章 未來(lái)智能化產(chǎn)業(yè)

現(xiàn)有產(chǎn)業(yè)+機(jī)器智能=新產(chǎn)業(yè)
未來(lái)的農(nóng)業(yè)、制造業(yè)、體育、醫(yī)療等將迎來(lái)嶄新形態(tài)，新產(chǎn)業(yè)講取代舊產(chǎn)業(yè)滿足人類的個(gè)性化需求，大數(shù)據(jù)將導(dǎo)致我們整個(gè)社會(huì)的升級(jí)和變遷。

未來(lái)農(nóng)業(yè)

以色列

未來(lái)體育

硅谷地區(qū)的金州勇士，斯蒂芬?guī)炖?/p>

未來(lái)的制造業(yè)

特斯拉不招生產(chǎn)線上的工人
戴爾公司采用智能化管理降低企業(yè)成本。

未來(lái)醫(yī)療

• 降低醫(yī)療成本
• 解決醫(yī)療資源短缺問題
• 制藥業(yè)的革命（個(gè)性化制藥）

未來(lái)律師業(yè)

計(jì)算機(jī)閱讀和分析法律文件

未來(lái)的記者和編輯

熟讀唐詩(shī)三百首

小結(jié)

大數(shù)據(jù)將導(dǎo)致我們社會(huì)的產(chǎn)業(yè)升級(jí)和變遷。不過，如果對(duì)比每一次產(chǎn)業(yè)革命前后的變化，你會(huì)發(fā)現(xiàn)其實(shí)人類很多基本的需求沒有變，只是采用了新技術(shù)后，新產(chǎn)業(yè)會(huì)取代舊產(chǎn)業(yè)滿足人類的需求。在技術(shù)革命時(shí)，舊產(chǎn)業(yè)是沒有出路的。
機(jī)器智能會(huì)給人類帶來(lái)一個(gè)終極問題：既然什么事情都可以讓機(jī)器來(lái)做，而卻還比人做的好，那么人類怎么辦？

智能革命和未來(lái)社會(huì)

在歷次技術(shù)革命中，一個(gè)人，一家企業(yè)，甚至一個(gè)國(guó)家，可以選擇的道路只有兩條：要么加入浪潮，成為前2%的人，要么徘徊觀望，被淘汰。

智能化社會(huì)

*　2014年跨年夜上海踩踏事件

• 大數(shù)據(jù)管理交通
• 大數(shù)據(jù)反恐

精細(xì)化社會(huì)

區(qū)塊鏈

• 追蹤每一次交易——比特幣
• 從標(biāo)準(zhǔn)化到個(gè)性化的服務(wù)
  當(dāng)今工業(yè)化時(shí)代的一個(gè)特征是，一切標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化在很多情況下對(duì)顧客不是最優(yōu)的。智能時(shí)代，機(jī)器的智能水平將為我們提供個(gè)性化的服務(wù)。

無(wú)隱私的社會(huì)

• 首先是人們對(duì)這個(gè)問題缺乏認(rèn)識(shí)
• 其次是低估了機(jī)器智能的力量
• 最后，一廂情愿的吧個(gè)人隱私寄托在數(shù)據(jù)擁有者的善意上。
  大數(shù)據(jù)對(duì)隱私帶來(lái)的威脅在于，無(wú)形中造就一個(gè)big brother。

<em>隱私就像自由，只有人們逝去它的時(shí)候，才會(huì)知道它的可貴。</em>

機(jī)器搶掉人的飯碗

歷屆工業(yè)革命的影響
依然沒有消化完的信息革命
解決問題的方法只有靠時(shí)間

智能革命的沖擊

• 首先，信息革命本身帶來(lái)的影響還沒有消化完，全球信息化帶來(lái)的效率已經(jīng)使很多人無(wú)事可做，很少人制造出來(lái)的東西就可以足夠全球人口消費(fèi)。
• 其次，全球化使得消化掉技術(shù)革命的郵箱要比工業(yè)革命難得多。
• 最后，智能革命所要代替的是人類最值得驕傲的部分，大腦。

大量勞動(dòng)力被淘汰，沒有良好的解決方法。
如何讓自己收益：爭(zhēng)當(dāng)2%的人，不被拋棄。

爭(zhēng)當(dāng)2%的人

接受新的思維方式，利用好大數(shù)據(jù)和機(jī)器智能，勇敢投身到技術(shù)革命大潮中。

小結(jié)

大數(shù)據(jù)導(dǎo)致機(jī)器革命的到來(lái)，這對(duì)未來(lái)社會(huì)的影響不僅僅存在于經(jīng)濟(jì)領(lǐng)域，而是全方位的。盡管整體上這些影響是正面的，從長(zhǎng)遠(yuǎn)看會(huì)使我們未來(lái)社會(huì)便得更好；不過，和以往的技術(shù)革命一樣，智能革命也會(huì)帶來(lái)負(fù)面影響，在發(fā)展之初，影響深遠(yuǎn)。
任何一次技術(shù)革命，最初的受益者都是發(fā)展它、使用它的人，而遠(yuǎn)離它、拒絕它的人，在很長(zhǎng)時(shí)間內(nèi)都將是迷茫的一代。
我們需要在這樣的環(huán)境中學(xué)會(huì)生存。
這將是一個(gè)讓我們振奮的時(shí)代，也是一個(gè)給我們帶來(lái)空前挑戰(zhàn)的時(shí)代。