<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    我的一畝三分地

      BlogJava :: 首頁 :: 新隨筆 :: 聯系 :: 聚合  :: 管理 ::
      7 隨筆 :: 0 文章 :: 17 評論 :: 0 Trackbacks

    2007年6月26日 #

    不少朋友抱怨我的博客晦澀難懂,實際元數據、主數據、數據質量、數據分析已經非常小眾了,小眾的以至于在ITPUB發博都找不到分類,實際這也是我看好它的原因。隨著未來智慧地球、物聯網的建設,信息化進程大大加快,需要虛擬化云計算)、IT資源監管(數據資產、軟硬件資產)、移動應用。我們的小眾是屬于數據資產監管中的一部分。

    上周挖了不少坑,本周先填一個坑,填元數據模型的坑。元數據模型簡稱元模型。元數據有哪幾類元數據模型就有幾類,粗分下分為數據移動(ETL)元數據、數據分析(BI)元數據、數據存儲元數據,數據質量元數據、數據管控元數據等。下面逐一介紹下這幾類元數據:

    數據存儲元數據模型:要分結構化和非結構化兩種介紹,先說大家常見的結構化數據的元數據模型。我們知道描述數據庫信息需要Catalog、Schema、Table、View、Trigger和storage process,當然一般把Trigger和SP理解為數據移動,這些元數據都有哪些屬性你可以看看power designer。對于非結構化數據解決方案不多,因為對于非結構化數據與查詢息息相關,一般針對索引條件建立元數據模型。

    數據移動元數據模型:這一直是我思考的問題,參照主流ETL工具我們可以定義Workflow、Task、mapping、source、target等,記得source與target與數據存儲元數據模型可以互聯。Mapping要記錄source至target間的轉換過程。

    數據應用元數據模型:主要考慮帶OLAP引擎的CUBE模型,主要有:Cube、Dimension、member Of、Hierarchy、Fact等。

    講到這里,基本解決了的元數據管理中元數據存儲和展示的問題。但這并是問題的本質,實質是元數據模型與CWM之間的關系,但為了避免文章晦澀難懂,我跳過這些。

    posted @ 2010-09-12 23:15 西北狼 閱讀(197) | 評論 (0)編輯 收藏

    元數據的定義就五字-數據的數據,這種極度抽象的定義直接導致我們對元數據的認知是極度抽象的,這種極度抽象就造成了元數據的神化,我想接下來要做的就是將元數據拉下神壇。
        元數據是數據的數據,我們一般采用數據模型對抽象定義數據及數據的關系,那么元數據一定也能被數據模型表述。那元數據的數據模型是什么樣的?它與數據的數據模型有哪些異同。目前元數據建模標準體系,我們一般采用OMG(請記住這個國際知名的標準化組織,因為除了元數據模型標準外,它們還制定了MDA、UML、XMI等)的CWM標準。那么一個標準的元數據模型體系由什么組成呢,除了包外,每個元模型由管理、分析、資源、基礎和對象。管理是指數據倉庫操作和過程;分析是指OLAP、數據挖掘、信息可視化、ETL;資源是指對象、關系、記錄、多維、XML;基礎是指業務信息、數據類型、表達式、鍵和索引、軟件部署、類型映射。介紹了這么如果你搞過業務智能你會明白CWM描述了整個數據倉庫的全部,如果你參與過我們的項目會知道,這是我們數據管控平臺的理論依據。那么數據倉儲的元數據如何定義?數據移動的元數據如何定義?數據分析的元數據如何定義?先挖坑以后慢慢填。
         下面說說元數據如何管理如何應用:首先是元數據獲取,元數據獲取的內容包括分析元數據、數據倉儲元數據、數據轉換元數據等等,元數據獲取方式方式包括自動獲取或手工獲取,當然元數據獲取最難的是非結構化元數據的獲取,但是也有解決的辦法只是這里存在獲取準確度的問題,為了保證文檔的純潔性,我再次挖坑。其次是元數據倉儲,簡單的說包括數據庫表結構如何存儲,CUBE的結構如何存儲,ETL過程如何存儲等等,實際這是個模型的問題,但這純粹存儲模型的問題。同上,我再次挖坑。最后是元數據應用,包括血緣分析、重要度分析、相似度分析等等。
         最后說下元數據管理的衍生業務:一是元數據的質量管理,這是個雞和蛋的問題,為了保證數據質量我們引入元數據定義數據的質量,但引入元數據后又要保證元數據的質量;二是基于元數據的數據倉庫開發,同志們baidu都有,我不說了;三是基于元數據的安全管理,引入元數據除解決質量問題外,就是密級問題;四是基于元數據的指標體系管理。
          挖了很多坑,終于理出元數據的脈絡,當然元數據管理系統也初見輪廓。
    posted @ 2010-09-11 21:09 西北狼 閱讀(248) | 評論 (0)編輯 收藏

         摘要: 亂彈數據倉庫的第二彈,ODS的功能和作用。希望對大家有用  閱讀全文
    posted @ 2007-07-29 14:01 西北狼 閱讀(2194) | 評論 (2)編輯 收藏

         摘要: 關于客戶方面對軟件項目影響,最近也是遇到了幾個類似的項目,有感而發寫下來,希望對大家有用。  閱讀全文
    posted @ 2007-07-02 22:12 西北狼 閱讀(1032) | 評論 (1)編輯 收藏

         摘要: 亂彈數據倉庫,用通俗易懂的方式講清楚數據倉庫。讓老鳥見笑了。  閱讀全文
    posted @ 2007-06-27 23:11 西北狼 閱讀(1409) | 評論 (4)編輯 收藏

         摘要: 總結前一階段項目成功與失敗的地方,有些方法和想法與各位share下。  閱讀全文
    posted @ 2007-06-26 17:50 西北狼 閱讀(1634) | 評論 (6)編輯 收藏

    主站蜘蛛池模板: 久久精品国产亚洲Aⅴ蜜臀色欲 | 亚洲蜜芽在线精品一区| 一级毛片免费不卡| 久久久久亚洲精品天堂久久久久久| 色偷偷尼玛图亚洲综合| 日本牲交大片免费观看| WWW亚洲色大成网络.COM| 免费在线观看毛片| 一本久久免费视频| 亚洲精品午夜国产VA久久成人| 亚洲五月午夜免费在线视频| 国产亚洲A∨片在线观看| 国产在线一区二区综合免费视频| 久久被窝电影亚洲爽爽爽| 久久精品无码专区免费青青| 亚洲av片不卡无码久久| 日韩免费三级电影| 人人爽人人爽人人片A免费| 国产成人亚洲综合无码精品| 免费A级毛片无码视频| 一本久久免费视频| 亚洲成在人线av| 91精品免费在线观看| 亚洲av永久无码精品秋霞电影秋 | 亚洲视频网站在线观看| 青青青国产在线观看免费| 亚洲a在线视频视频| 日韩吃奶摸下AA片免费观看 | 国产成人精品日本亚洲11| 日本一区二区免费看| 中文字幕日韩亚洲| 亚欧免费无码aⅴ在线观看| 亚洲一区二区三区四区视频| 日韩精品成人亚洲专区| 亚洲av片在线观看| 亚洲精品无码午夜福利中文字幕| 51精品视频免费国产专区| 久久久久亚洲av无码专区喷水| 成人午夜18免费看| 久爱免费观看在线网站| 亚洲av永久无码精品网址|