不少朋友抱怨我的博客晦澀難懂,實際元數(shù)據(jù)、主數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)分析已經(jīng)非常小眾了,小眾的以至于在ITPUB發(fā)博都找不到分類,實際這也是我看好它的原因。隨著未來智慧地球、物聯(lián)網(wǎng)的建設,信息化進程大大加快,需要虛擬化(云計算)、IT資源監(jiān)管(數(shù)據(jù)資產(chǎn)、軟硬件資產(chǎn))、移動應用。我們的小眾是屬于數(shù)據(jù)資產(chǎn)監(jiān)管中的一部分。
上周挖了不少坑,本周先填一個坑,填元數(shù)據(jù)模型的坑。元數(shù)據(jù)模型簡稱元模型。元數(shù)據(jù)有哪幾類元數(shù)據(jù)模型就有幾類,粗分下分為數(shù)據(jù)移動(ETL)元數(shù)據(jù)、數(shù)據(jù)分析(BI)元數(shù)據(jù)、數(shù)據(jù)存儲元數(shù)據(jù),數(shù)據(jù)質(zhì)量元數(shù)據(jù)、數(shù)據(jù)管控元數(shù)據(jù)等。下面逐一介紹下這幾類元數(shù)據(jù):
數(shù)據(jù)存儲元數(shù)據(jù)模型:要分結(jié)構(gòu)化和非結(jié)構(gòu)化兩種介紹,先說大家常見的結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)模型。我們知道描述數(shù)據(jù)庫信息需要Catalog、Schema、Table、View、Trigger和storage process,當然一般把Trigger和SP理解為數(shù)據(jù)移動,這些元數(shù)據(jù)都有哪些屬性你可以看看power designer。對于非結(jié)構(gòu)化數(shù)據(jù)解決方案不多,因為對于非結(jié)構(gòu)化數(shù)據(jù)與查詢息息相關,一般針對索引條件建立元數(shù)據(jù)模型。
數(shù)據(jù)移動元數(shù)據(jù)模型:這一直是我思考的問題,參照主流ETL工具我們可以定義Workflow、Task、mapping、source、target等,記得source與target與數(shù)據(jù)存儲元數(shù)據(jù)模型可以互聯(lián)。Mapping要記錄source至target間的轉(zhuǎn)換過程。
數(shù)據(jù)應用元數(shù)據(jù)模型:主要考慮帶OLAP引擎的CUBE模型,主要有:Cube、Dimension、member Of、Hierarchy、Fact等。
講到這里,基本解決了的元數(shù)據(jù)管理中元數(shù)據(jù)存儲和展示的問題。但這并是問題的本質(zhì),實質(zhì)是元數(shù)據(jù)模型與CWM之間的關系,但為了避免文章晦澀難懂,我跳過這些。