不少朋友抱怨我的博客晦澀難懂,實際元數據、主數據、數據質量、數據分析已經非常小眾了,小眾的以至于在ITPUB發博都找不到分類,實際這也是我看好它的原因。隨著未來智慧地球、物聯網的建設,信息化進程大大加快,需要虛擬化(云計算)、IT資源監管(數據資產、軟硬件資產)、移動應用。我們的小眾是屬于數據資產監管中的一部分。
上周挖了不少坑,本周先填一個坑,填元數據模型的坑。元數據模型簡稱元模型。元數據有哪幾類元數據模型就有幾類,粗分下分為數據移動(ETL)元數據、數據分析(BI)元數據、數據存儲元數據,數據質量元數據、數據管控元數據等。下面逐一介紹下這幾類元數據:
數據存儲元數據模型:要分結構化和非結構化兩種介紹,先說大家常見的結構化數據的元數據模型。我們知道描述數據庫信息需要Catalog、Schema、Table、View、Trigger和storage process,當然一般把Trigger和SP理解為數據移動,這些元數據都有哪些屬性你可以看看power designer。對于非結構化數據解決方案不多,因為對于非結構化數據與查詢息息相關,一般針對索引條件建立元數據模型。
數據移動元數據模型:這一直是我思考的問題,參照主流ETL工具我們可以定義Workflow、Task、mapping、source、target等,記得source與target與數據存儲元數據模型可以互聯。Mapping要記錄source至target間的轉換過程。
數據應用元數據模型:主要考慮帶OLAP引擎的CUBE模型,主要有:Cube、Dimension、member Of、Hierarchy、Fact等。
講到這里,基本解決了的元數據管理中元數據存儲和展示的問題。但這并是問題的本質,實質是元數據模型與CWM之間的關系,但為了避免文章晦澀難懂,我跳過這些。