數據倉庫系列之元數據管理

????元數據(Meta Data),主要記錄數據倉庫中模型的定義、各層級間的映射關系、監控數據倉庫的數據狀態及 ETL 的任務運行狀態。一般會通過元數據資料庫(Metadata Repository)來統一地存儲和管理元數據,其主要目的是使數據倉庫的設計、部署、操作和管理能達成協同和一致。元數據是數據倉庫管理系統的重要組成部分,元數據管理是企業級數據倉庫中的關鍵組件,貫穿了數據倉庫的整個生命周期,使用元數據驅動數據倉庫的開發,使數據倉庫自動化,可視化。

????構建數據倉庫的主要步驟之一是 ETL。這時元數據將發揮重要的作用,它定義了源數據系統到數據倉庫的映射、數據轉換的規則、數據倉庫的邏輯結構、數據更新的規則、數據導入歷史記錄以及裝載周期等相關內容。數據抽取和轉換的專家以及數據倉庫管理員正是通過元數據高效地構建數據倉庫。


元數據

????用戶在使用數據倉庫時,通過元數據訪問數據,明確數據項的含義以及定制報表。數據倉庫的規模及其復雜性離不開正確的元數據管理,包括增加或移除外部數據源,改變數據清洗方法,控制出錯的查詢以及安排備份等。

一、元數據類型

?元數據可分為技術元數據、業務元數據和管理過程元數據。

1、 技術元數據為開發和管理數據倉庫的 IT 人員使用,它描述了與數據倉庫開發、管理和維護相關的數據,包括數據源信息、數據轉換描述、數據倉庫模型、數據清洗與更新規則、數據映射和訪問權限等。

2、 業務元數據為管理層和業務分析人員服務,從業務角度描述數據,包括商務術語、數據倉庫中有什么數據、數據的位置和數據的可用性等,幫助業務人員更好地理解數據倉庫中哪些數據是可用的以及如何使用。

3、 管理過程元數據指描述管理領域相關的概念、關系和規則的數據,主要包括管理流程、人員組織、角色職責等信息。

二、元數據功能

1、血緣分析:向上追溯元數據對象的數據來源。血緣分析可以幫助您輕松回答:'我正在查看的報告數據來源是什么?'以及'對當前分析的數據應用了哪些轉換處理?'等問題。這樣的機制及對這些問題的回答確保了對所分析的數據更高的信任水平,并有助于實現許多行業(包括醫療、金融、銀行和制造業等)對所呈現數據的特殊監管及合規性要求。

2、影響分析:向下追溯元數據對象對下游的影響。影響分析可以讓您輕松應對變更可能產生的影響,自動識別與其相關的依賴項和潛在的影響還可以跟蹤所有對象及其依賴關系,最后我們還提供數據全生命周期的可視化顯示。例如,如果您的某一信息系統中準備將“銷售額”從包含稅費更改為不包括稅費,則SE-DWA將自動顯示所有使用了“銷售金額”字段,以便您可以確定有哪些工作需要完成,并且建議您在更改前完成該工作。

3、同步檢查:檢查源表到目標表的數據結構是否發生變更。

4、指標一致性分析:定期分析指標定義是否和實際情況一致。

5、實體關聯查詢:事實表與維度表的代理鍵自動關聯

三、元數據應用

1、ETL自動化管理:使用元數據信息自動生成物理模型,ETL程序腳本,任務依賴關系和調度程序。

2、數據質量管理:使用數據質量規則元數據進行數據質量測量。數據質量根據設定的規則幫助您過濾出有問題的數據,并智能分析數據質量缺陷。

3、數據安全管理:使用元數據信息進行報表權限控制。可以方便查看用戶和訪問權限,并啟用對象級和行級安全管理。對象級安全性確保通過身份驗證的用戶只能訪問他們被授權查看的數據、表或列,其它數據則不可見。基于行的安全性會更進一步,可以限制特定的組成員只可以訪問表中特定的數據。

4、數據標準管理:使用元數據信息生成標準的維度模型。

5、數據接口管理:使用元數據信息進行接口統一管理。多種數據源接入,并提供多種插件對接最流行的源系統。應該可以簡單方便獲取數據。

6、項目文檔管理:使用元數據可以自動、方便的生成的健壯全面的項目文檔,其以幫助您應對各種對于數據合規性要求。讀取元數據模型,并生成pdf格式的描述文件。生成文檔您查看每個對象的名稱、設置、描述和代碼。

7、數據語義管理:業務用戶在自助服務分析中面臨的挑戰他們不了解數據倉庫從而無法正確解釋數據,使用元數據可以語義層建模,使用易于業務用戶理解的描述來轉換數據。

四、總結

?????由上可見,元數據不僅定義了數據倉庫中數據的模式、來源、抽取和轉換規則等,而且是整個數據倉庫系統運行的基礎,元數據把數據倉庫系統中各個松散的組件聯系起來,組成了一個整體數據倉庫解決方案。

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,837評論 6 531
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,196評論 3 414
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,688評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,654評論 1 309
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,456評論 6 406
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 54,955評論 1 321
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,044評論 3 440
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,195評論 0 287
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,725評論 1 333
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,608評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,802評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,318評論 5 358
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,048評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,422評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,673評論 1 281
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,424評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,762評論 2 372

推薦閱讀更多精彩內容