<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    ivaneeo's blog

    自由的力量,自由的生活。

      BlogJava :: 首頁 :: 聯(lián)系 :: 聚合  :: 管理
      669 Posts :: 0 Stories :: 64 Comments :: 0 Trackbacks
    ETL的簡(jiǎn)介:
        ETL即數(shù)據(jù)抽取(Extract)、轉(zhuǎn)換(Transform)、裝載(Load)的過程,它是構(gòu)建數(shù)據(jù)倉庫的重要環(huán)節(jié)
    1、 數(shù)據(jù)清洗

    數(shù)據(jù)清洗的任務(wù)是過濾那些不符合要求的數(shù)據(jù),將過濾的結(jié)果交給業(yè)務(wù)主管部門,確認(rèn)是否過濾掉還是由業(yè)務(wù)單位修正之后再進(jìn)行抽取。不符合要求的數(shù)據(jù)主要是有不完整的數(shù)據(jù)、錯(cuò)誤的數(shù)據(jù)、重復(fù)的數(shù)據(jù)三大類。

      (1)不完整的數(shù)據(jù):這一類數(shù)據(jù)主要是一些應(yīng)該有的信息缺失,如供應(yīng)商的名稱、分公司的名稱、客戶的區(qū)域信息缺失、業(yè)務(wù)系統(tǒng)中主表與明細(xì)表不能 匹配等。對(duì)于這一類數(shù)據(jù)過濾出來,按缺失的內(nèi)容分別寫入不同Excel文件向客戶提交,要求在規(guī)定的時(shí)間內(nèi)補(bǔ)全。補(bǔ)全后才寫入數(shù)據(jù)倉庫。

      (2)錯(cuò)誤的數(shù)據(jù):這一類錯(cuò)誤產(chǎn)生的原因是業(yè)務(wù)系統(tǒng)不夠健全,在接收輸入后沒有進(jìn)行判斷直接寫入后臺(tái)數(shù)據(jù)庫造成的,比如數(shù)值數(shù)據(jù)輸成全角數(shù)字字 符、字符串?dāng)?shù)據(jù)后面有一個(gè)回車操作、日期格式不正確、日期越界等。這一類數(shù)據(jù)也要分類,對(duì)于類似于全角字符、數(shù)據(jù)前后有不可見字符的問題,只能通過寫 SQL語句的方式找出來,然后要求客戶在業(yè)務(wù)系統(tǒng)修正之后抽取。日期格式不正確的或者是日期越界的這一類錯(cuò)誤會(huì)導(dǎo)致ETL運(yùn)行失敗,這一類錯(cuò)誤需要去業(yè)務(wù) 系統(tǒng)數(shù)據(jù)庫用SQL的方式挑出來,交給業(yè)務(wù)主管部門要求限期修正,修正之后再抽取。

      (3)重復(fù)的數(shù)據(jù):對(duì)于這一類數(shù)據(jù)——特別是維表中會(huì)出現(xiàn)這種情況——將重復(fù)數(shù)據(jù)記錄的所有字段導(dǎo)出來,讓客戶確認(rèn)并整理。

      數(shù)據(jù)清洗是一個(gè)反復(fù)的過程,不可能在幾天內(nèi)完成,只有不斷的發(fā)現(xiàn)問題,解決問題。對(duì)于是否過濾,是否修正一般要求客戶確認(rèn),對(duì)于過濾掉的數(shù)據(jù), 寫入Excel文件或者將過濾數(shù)據(jù)寫入數(shù)據(jù)表,在ETL開發(fā)的初期可以每天向業(yè)務(wù)單位發(fā)送過濾數(shù)據(jù)的郵件,促使他們盡快地修正錯(cuò)誤,同時(shí)也可以做為將來驗(yàn) 證數(shù)據(jù)的依據(jù)。數(shù)據(jù)清洗需要注意的是不要將有用的數(shù)據(jù)過濾掉,對(duì)于每個(gè)過濾規(guī)則認(rèn)真進(jìn)行驗(yàn)證,并要用戶確認(rèn)。



    2、 數(shù)據(jù)轉(zhuǎn)換

    數(shù)據(jù)轉(zhuǎn)換的任務(wù)主要進(jìn)行不一致的數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)粒度的轉(zhuǎn)換,以及一些商務(wù)規(guī)則的計(jì)算。

      (1)不一致數(shù)據(jù)轉(zhuǎn)換:這個(gè)過程是一個(gè)整合的過程,將不同業(yè)務(wù)系統(tǒng)的相同類型的數(shù)據(jù)統(tǒng)一,比如同一個(gè)供應(yīng)商在結(jié)算系統(tǒng)的編碼是XX0001,而在CRM中編碼是YY0001,這樣在抽取過來之后統(tǒng)一轉(zhuǎn)換成一個(gè)編碼。

      (2)數(shù)據(jù)粒度的轉(zhuǎn)換:業(yè)務(wù)系統(tǒng)一般存儲(chǔ)非常明細(xì)的數(shù)據(jù),而數(shù)據(jù)倉庫中數(shù)據(jù)是用來分析的,不需要非常明細(xì)的數(shù)據(jù)。一般情況下,會(huì)將業(yè)務(wù)系統(tǒng)數(shù)據(jù)按照數(shù)據(jù)倉庫粒度進(jìn)行聚合。

      (3)商務(wù)規(guī)則的計(jì)算:不同的企業(yè)有不同的業(yè)務(wù)規(guī)則、不同的數(shù)據(jù)指標(biāo),這些指標(biāo)有的時(shí)候不是簡(jiǎn)單的加加減減就能完成,這個(gè)時(shí)候需要在ETL中將這些數(shù)據(jù)指標(biāo)計(jì)算好了之后存儲(chǔ)在數(shù)據(jù)倉庫中,以供分析使用。

    三、ETL日志、警告發(fā)送

    1、 ETL日志

      ETL日志分為三類。一類是執(zhí)行過程日志,這一部分日志是在ETL執(zhí)行過程中每執(zhí)行一步的記錄,記錄每次運(yùn)行每一步驟的起始時(shí)間,影響了多少行 數(shù)據(jù),流水賬形式。一類是錯(cuò)誤日志,當(dāng)某個(gè)模塊出錯(cuò)的時(shí)候?qū)戝e(cuò)誤日志,記錄每次出錯(cuò)的時(shí)間、出錯(cuò)的模塊以及出錯(cuò)的信息等。第三類日志是總體日志,只記錄 ETL開始時(shí)間、結(jié)束時(shí)間是否成功信息。如果使用ETL工具,ETL工具會(huì)自動(dòng)產(chǎn)生一些日志,這一類日志也可以作為ETL日志的一部分。記錄日志的目的是 隨時(shí)可以知道ETL運(yùn)行情況,如果出錯(cuò)了,可以知道哪里出錯(cuò)。

      2、 警告發(fā)送

      如果ETL出錯(cuò)了,不僅要形成ETL出錯(cuò)日志,而且要向系統(tǒng)管理員發(fā)送警告。發(fā)送警告的方式多種,一般常用的就是給系統(tǒng)管理員發(fā)送郵件,并附上出錯(cuò)的信息,方便管理員排查錯(cuò)誤。

      ETL是BI項(xiàng)目的關(guān)鍵部分,也是一個(gè)長(zhǎng)期的過程,只有不斷的發(fā)現(xiàn)問題并解決問題,才能使ETL運(yùn)行效率更高,為BI項(xiàng)目后期開發(fā)提供準(zhǔn)確的數(shù)據(jù)。


    posted on 2007-04-18 09:12 ivaneeo 閱讀(1473) 評(píng)論(0)  編輯  收藏 所屬分類: bi(商務(wù)智能)
    主站蜘蛛池模板: 日韩一卡2卡3卡4卡新区亚洲| 中文字幕免费在线| 又粗又大又长又爽免费视频| 亚洲 暴爽 AV人人爽日日碰| 亚洲三级高清免费| 亚洲国产成人久久三区| 在线看片免费不卡人成视频| 亚洲第一网站免费视频| 97在线线免费观看视频在线观看| 亚洲午夜成激人情在线影院 | 亚洲嫩草影院在线观看| 久久精品乱子伦免费| 久久综合日韩亚洲精品色| 亚洲免费在线播放| 亚洲福利电影在线观看| 免费观看AV片在线播放| 亚洲欧美在线x视频| 亚洲乱码中文字幕手机在线| 你懂的免费在线观看| 免费国产成人高清在线观看麻豆| 亚洲av成人片在线观看| 亚洲午夜日韩高清一区| 国产成人AV免费观看| 亚洲伦理一二三四| 日本v片免费一区二区三区| japanese色国产在线看免费| 18级成人毛片免费观看| 黑人大战亚洲人精品一区| 国产精品免费AV片在线观看| 亚洲成av人片不卡无码| 在线免费观看一级片| 国产高清视频免费在线观看| 久久久亚洲AV波多野结衣| 国内自产少妇自拍区免费| a级毛片免费高清视频| 97亚洲熟妇自偷自拍另类图片 | 免费国产高清毛不卡片基地| 国精无码欧精品亚洲一区| 麻豆最新国产剧情AV原创免费| 精品久久久久亚洲| 91精品国产亚洲爽啪在线影院|