今天早上在網(wǎng)上看到了kettle發(fā)布了最新的版本,忽然想起最近其實(shí)做了不少工作應(yīng)該是ETL工具的拿手好戲,趕緊下載下來(lái)看看,看是否能夠在實(shí)際的工作中應(yīng)用起來(lái)。
順便講一下,為啥看到kettle會(huì)兩眼發(fā)光。
最近寫(xiě)了好幾個(gè)小程序,用于從一個(gè)ftp去獲取數(shù)據(jù),然后轉(zhuǎn)發(fā)至另一個(gè)ftp去,或者是從一個(gè)數(shù)據(jù)庫(kù)獲取數(shù)據(jù)然后保存至本地的數(shù)據(jù)庫(kù)中,使用的是jdk中的Timer實(shí)現(xiàn)的定時(shí)調(diào)度,本來(lái)也沒(méi)什么問(wèn)題,連續(xù)運(yùn)行幾個(gè)月都不會(huì)出錯(cuò)。
可是最近網(wǎng)絡(luò)不是太好,周期性抽風(fēng),ping包時(shí),每5分鐘大概會(huì)丟7-8個(gè)包,從而導(dǎo)致程序也會(huì)假死,過(guò)一段時(shí)間后就不正常干活了,估計(jì)是因?yàn)橛昧藬?shù)據(jù)庫(kù)連接池的問(wèn)題,要是每次發(fā)起數(shù)據(jù)庫(kù)連接可能就不會(huì)有問(wèn)題了,偷懶也不想改了,因?yàn)榫W(wǎng)絡(luò)最終肯定是會(huì)修好的 :-) 但是想試試ETL工具,因?yàn)楹竺孢€有一些類(lèi)似的東西要處理,不想寫(xiě)代碼了,用別人的輪子感覺(jué)比較好,呵呵
首先下載了kettle的最新版,kettle3.1,解壓后即可運(yùn)行,一般的開(kāi)發(fā)人員稍微摸索一下,看看例子簡(jiǎn)單的轉(zhuǎn)換還是會(huì)做的,今天小試了一把,有幾個(gè)注意點(diǎn)記下來(lái)。
- 使用資源庫(kù)(repository)登錄時(shí),默認(rèn)的用戶(hù)名和密碼是admin/admin
- 當(dāng)job是存放在資源庫(kù)(一般資源庫(kù)都使用數(shù)據(jù)庫(kù))中時(shí),使用Kitchen.bat執(zhí)行job時(shí),需使用如下的命令行:
Kitchen.bat /rep kettle /user admin /pass admin /job job名
- 當(dāng)job沒(méi)有存放在資源庫(kù)而存放在文件系統(tǒng)時(shí),使用Kitchen.bat執(zhí)行job時(shí),需使用如下的命令行:
Kitchen.bat /norep /file user-transfer-job.kjb
- 可以使用命令行執(zhí)行job后,就可以使用windows或linux的任務(wù)調(diào)度來(lái)定時(shí)執(zhí)行任務(wù)了
在一開(kāi)始使用命令行方式執(zhí)行job時(shí),總是報(bào)如下的錯(cuò)誤,琢磨了好長(zhǎng)時(shí)間總算整明白正確的方式了。
Unexpected error during transformation metadata load
No repository defined!
下一步準(zhǔn)備按照實(shí)際情況定制Job,做好了再寫(xiě)小結(jié)。
posted on 2008-12-04 22:48
The Matrix 閱讀(10381)
評(píng)論(13) 編輯 收藏 所屬分類(lèi):
Kettle