數(shù)據(jù)目錄管理
數(shù)據(jù)源管理
- 查看、創(chuàng)建、編輯、刪除
- 元數(shù)據(jù)獲取
- 手動執(zhí)行
- 定時執(zhí)行
數(shù)據(jù)源類型管理
- 創(chuàng)建數(shù)據(jù)源類型時需要添加類型的元數(shù)據(jù)模型定義，模型定義是Json格式，會提供相應(yīng)的模板來供用戶參考并支持在線驗證格式是否正確
數(shù)據(jù)資產(chǎn)管理
資產(chǎn)類型
- 物理數(shù)據(jù)資產(chǎn)
- 資產(chǎn)信息由元數(shù)據(jù)抓取工具實時抓取生成，類型由數(shù)據(jù)源類型決定，例如文件系統(tǒng)、關(guān)系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫和消息隊列等。
- 業(yè)務(wù)數(shù)據(jù)資產(chǎn)
- 資產(chǎn)信息由已有數(shù)據(jù)源和業(yè)務(wù)邏輯生成，目前只支持由關(guān)系型數(shù)據(jù)庫類型的數(shù)據(jù)源生成，屬于派生數(shù)據(jù)源。
資產(chǎn)搜索
- 根據(jù)類型、名字或者標(biāo)簽搜索到相應(yīng)的數(shù)據(jù)資產(chǎn)，如表、列、文件等，可點擊查看該資產(chǎn)的詳細信息。
資產(chǎn)詳情（表級別）
概況
- 資產(chǎn)名字
- 資產(chǎn)類型
- 資產(chǎn)標(biāo)簽
- 資產(chǎn)相關(guān)術(shù)語
- 資產(chǎn)所有者
- 資產(chǎn)的創(chuàng)建時間
- 資產(chǎn)的更新時間
- 資產(chǎn)的相關(guān)指標(biāo)
- 不同資產(chǎn)的指標(biāo)不一樣，例如文件類型資產(chǎn)的相關(guān)指標(biāo)有文件大小、文件格式等，數(shù)據(jù)庫表類型的資產(chǎn)的相關(guān)指標(biāo)有總行數(shù)、列數(shù)量等
基準
- 每一列或者選擇的列的Null、Distinct Count、Max、Min、Distribution、Freshness、Uniqutes、Format等值
異常項
- 展示數(shù)據(jù)基準監(jiān)控、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)漂移監(jiān)控中發(fā)現(xiàn)的異常項
樣例數(shù)據(jù)
數(shù)據(jù)血緣
- 優(yōu)先支持查看表之間的血緣關(guān)系
- 進行數(shù)據(jù)影響推斷，盡快地發(fā)現(xiàn)數(shù)據(jù)質(zhì)量的下游影響節(jié)點
Schema 監(jiān)控
- 自動監(jiān)控各種數(shù)據(jù)源的結(jié)構(gòu)變化，進行schema的自動更新，同時進行告警
- 查詢Schema變化歷史數(shù)據(jù)
監(jiān)控策略管理
策略配置
- 數(shù)據(jù)基準監(jiān)控策略
- 數(shù)據(jù)質(zhì)量監(jiān)控策略
- 數(shù)據(jù)漂移監(jiān)控策略
- 數(shù)據(jù)核對監(jiān)控策略
- 用于比對當(dāng)前資產(chǎn)表和目標(biāo)資產(chǎn)表的數(shù)據(jù)，包括一致性、值比對等
策略執(zhí)行結(jié)果查看
數(shù)據(jù)評價體系
Metric 管理
- 內(nèi)置Metric，讓用戶開箱即用
- 內(nèi)置多個維度多類型的Metric
- 自定義Metric
- 支持SQL類型的自定義語句
- 根據(jù)歷史數(shù)據(jù)自動推斷合適的閾值
SLAs
issue管理
- 根據(jù)不同metric生成不同的issue警告，并可以管理issue的狀態(tài)，超時未處理會再通知、可以點擊誤報來關(guān)閉issue
告警插件管理
- 支持多種告警插件，包括郵箱、企業(yè)微信、釘釘、Slack等
