數據連接
- 各行業數據、政府業務數據、地區城市運行數據、互聯網數據,從離線、分散、零星采集,轉向隨時在線、邏輯集中、統一采集。
- 不同類型、不同協議的物聯網感知設施充分部署,促進物理空間、網絡空間、社會空間邊界融合下的數據流動,以信息資源調配物質資源,改善社會資源,打通虛實世界,形成感知-認知-操控-反饋的閉環機制;
數據匯聚
- 在數據持續連接基礎上,不斷豐富形成數據匯聚三類層次;
- 全量數據:物理空間、網絡空間和社會空間數據的集合,
- 全域數據:在全量數據基礎上,增加時間維度,形成時空數據,增加事件的軌跡、演變過程;
- 全息數據:在全域時空數據基礎上,增加數據之間的關聯關系,形成主對象為核心的,數據融合、關聯網絡,打破因數據割裂造成的天然孤島,形成關聯數據的疊加價值。
- 數據匯聚的目標成效,是確保隨時可進行抽取、關聯與分析。與匯聚的物理地址無關,因為數據匯聚既可以邏輯集中,物理分散存儲,也可以物理集中存儲。
- 前者,務必要按照統一規范和標準,對分散在不同物理地址的數據獨立清理,形成統一數據格式,隨時可供程序調用。這種方式要求各分散單元有數據清洗能力,或者通過第三方統一進行清洗。
- 后者,可以將所有數據庫統一上云,形成天然的物理集中,不過云中存儲的數據依然屬于不同租戶,每個租戶存留的數據,并不天然互通共享,依然還需經過清洗處理后,方可統一調度。
- 一般而言,邏輯集中物理分散存儲更符合數據處理方向。但實際操作中,尤其是地方政府,往往采用統一上云的方式集中存儲,由專門的數據資源機構,如大數據資源管理局等,進行統一加工處理,這種方式更有利于工作推進,否則分散存儲在不同物理地點的數據,依然被各部門獨立把持,無法發揮數據效益。
貴州案例 :明確集中存儲更有利于數據統一調度;
上海案例: 通過對數據資源使用的地方立法,要求全量數據的集中歸集;
- 數據匯聚過程中,有兩類做法,
- 第一類是構建全量數據資源目錄,劃分其中一部分作為可共享的資源目錄,對這部分數據資源進行獨立存放。
- 優勢是數據資源目錄梳理有基礎,對業務的理解和依賴相對較小,每當有新業務和新共享需求時,再定期更新共享資源目錄。
- 劣勢是全量數據的梳理工作量大,可共享的資源目錄更新不及時。
- 第二類是按照業務主對象,形成多個主數據庫,破解過去數據屬性被不同部門、不同行業天然分割的困局。e.g 人事數據,包括黨建關系、調動關系、職稱評定、項目業績等,可以以單一的個人身份作為主對象,構建人事主數據庫。
- 優勢:主數據庫天然有數據之間的依存關系,與業務息息相關,
- 劣勢:各業務部門要明確形成主對象檔案,對業務部門提出專業要求。