關于大數據，有這樣一段話：

Big data is like teenage sex,everyone talks about it,nobody really knows how to do it,everyone thinks everyone else is doing it,so everyone claims they are doing it.”

看完這句話，大家對什么是“大數據”有點概念了嗎？目前，大多數人對大數據的概念還停留在：就是海量的數據，PB（1PB=1024TB）級別的，甚至是 EB、ZB 以上的數據，通過對這些數據進行深入分析，就能得出非常有價值的結論，指引企業做出最佳決策。

大數據就是那種每個人都聽過，或者看過此類文章，但卻不怎么了解的事物。

其實，現在的大數據指的并不僅僅是海量數據，更準確而言是對大數據分析的方法。傳統的數據分析，是通過提出假設然后獲得相應數據，最后通過數據分析來驗證假設。而大數據不是這樣的，大數據是從收集的海量數據中，通過算法將這些來自不同渠道、格式的數據進行直接分析，從中尋找到數據之間的相關性。簡單而言，大數據更偏重于發現，以及猜測/印證的循環逼近過程。

而大數據的價值體現在對它的分析利用上。一直以來，大數據的瓶頸并不是數據規模巨大導致的存儲、運算等問題，而是在前端數據的收集途徑，以及對數據進行結構化處理，進而引導后期的商業決策中的模型和算法問題。

各個行業都在產生數據，現代社會的數據量正持續地以前所未有的速度增加著。這些不同類型的數據和數據型，極其復雜，包括結構化、半結構化和非結構化的數據。企業需要整合并分析來自復雜的傳統和非傳統信息源的數據，包括企業內部和外部的數據。隨著傳感器、智能設備和社會協同技術的爆炸性增長，數據的類型變得難以計數，包括文本、微博、傳感器數據、音頻、視頻等。

而現在大熱的數據分析師正在做的是這樣的工作：收集信息，將信息結構化數據化，最后才是我們能看到的大數據帶來的神奇力量。但問題是其中對數據進行處理工作量太大了。根據訪談和專家測算，數據分析師的 50%~80% 的時間都花在了處理數據上。

在智能手環公司 Jawbone 負責數據工作的 Monica Rogati 說：

處理數據是整項工作中巨大的部分。但有時我們感到沮喪，因為好像不停地處理數據就是我們做的所有事情。

這聽起來有點像冰山理論，即我們能看到的大數據只是冰山露出來的一個小角，而我們看不到的地方，如大數據的前期工作，就是海水下是更巨大的部分。

但咨詢公司麥肯錫曾在 2011 的報告中指出：

“數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對于海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來。”

是的，存在問題的地方也潛藏著機會。原始數據的格式和來源不可計數，舉一個例子，假如一家食品行業的企業需要進行大數據的收集和分析，它能收集的數據包括產量、出貨的位置信息、天氣報告、零售商每日銷售量、社交媒體評論等。而根據這些信息，企業能夠洞察出市場的風向和需求的變化，進而制定相應的產品計劃。

的確，獲得的信息越多越有利于企業做出明智的決策。但這個決策是建立在不同的數據集之上的，這些來自各種傳感器、文檔、網頁、數據庫的的數據，全部都是不同的格式，它們必須要被轉換為統一的格式，這樣軟件才能理解它們，進行分析。

將各類數據進行格式統一是一個嚴峻的挑戰，因為數據和人類語言一樣都具有模糊性，有些數據人類知道是什么意思，但電腦卻不能識別，因此我們需要人工來一次又一次地重復這個工作。

　　現在已經有不少的初創公司試圖開發相關的技術來減輕這項工作，例如ClearStory Data，一家在帕洛阿爾托的初創公司，它開發的軟件能識別不同的數據來源，將它們整合，并將結果用視覺方式呈現，如圖表、圖形或數據地圖。再如 Paxata，一家加州的初創公司，專注于數據的自動化——發現、清理、調配數據，通過 Paxata 處理過的數據能被送入各種分析或可視化軟件工具。

大數據目前的情況和計算機發展的軌跡有點相似。一種先進的技術，最初往往只被幾名精英掌握，但隨著時間流逝，通過不斷地技術創新和投資，這項技術，或者說工具，會變得越來越好。特別是當其融入到商業領域中后，這項工具就能得到廣泛應用，成為社會中的主流。

所以我們現在是歷史的見證者，看著大數據如何一步步完善，我們都需要掌握或選擇一個最佳的分析方法，以更好地挖掘出大數據的價值。

繼續探索吧。

轉載自網易新聞