開源BI系統(tǒng)簡(jiǎn)述
1. 概述
開源的BI項(xiàng)目在在2005年之前并沒(méi)有太大的發(fā)展，到了2005年才開始呈現(xiàn)繁榮之勢(shì)，并在2006年蓬勃發(fā)展。這些眾多的BI項(xiàng)目從規(guī)模和對(duì)BI系統(tǒng)支撐的完善程度上來(lái)說(shuō)，大體可以分為Framework、Stand-alone Tools和BI Suit三種類型。
l Framework
開源框架，這是在商業(yè)BI系統(tǒng)中所沒(méi)有的。我們可以使用它們來(lái)構(gòu)建自己的BI工具，或者增強(qiáng)和擴(kuò)展我們的BI解決方案。
l Stand-alone Tools
獨(dú)立的BI工具，這是開源項(xiàng)目中數(shù)量最多的一類。很多工具只側(cè)重BI系統(tǒng)中的某個(gè)環(huán)節(jié)和方面，如ETL、Report、OLAP和Database等等。
l BI Suit
在統(tǒng)一的架構(gòu)下提供了多種BI系統(tǒng)的特性的工具集合。就目前的情況看，不管是商業(yè)軟件還是開源軟件，還沒(méi)有任何一個(gè)套件提供了完整的端到端的BI解決方案。這些開源的BI Suit是通過(guò)連接多個(gè)其他的組件和工具的方式形成套件的，由于BI系統(tǒng)涉及到的工具是非常多的，所以整合一套完整的BI解決方案是很困難的。
一個(gè)完整的BI解決方案中有多種工具來(lái)完成BI系統(tǒng)中各個(gè)階段的工作。
數(shù)據(jù)抽取、轉(zhuǎn)換和加載工具。優(yōu)秀的ETL工具應(yīng)該具有以下特性：
1、 Workflow Management, Job Execution and Scheduling Manager。能方便地定義流程并自動(dòng)化執(zhí)行ETL任務(wù)。
2、 Centralized Metadata Repository and Management。集中存儲(chǔ)和管理符合業(yè)界標(biāo)準(zhǔn)的元數(shù)據(jù)。
3、 Data Profile and Validation。可以檢驗(yàn)數(shù)據(jù)的質(zhì)量。
4、 High Performance。在大負(fù)荷的任務(wù)執(zhí)行中仍然有良好的性能。
5、 Scalable, Platform Independent。具有良好的彈性，支持多種操作系統(tǒng)和數(shù)據(jù)庫(kù)系統(tǒng)，能操作多種異構(gòu)的數(shù)據(jù)源。
6、 Open Architecture and API。具有開放的架構(gòu)和易于使用的二次開發(fā)接口。
目前較為知名的開源ETL工具有：
1、 KETL，由具有IBM和KPMG背景的Kinetic Networks公司開發(fā)，現(xiàn)在已經(jīng)有三年多的產(chǎn)品應(yīng)用歷史，成功應(yīng)用于一些產(chǎn)品中，在點(diǎn)擊流（ClickStream）分析應(yīng)用中表現(xiàn)出色。KETL采用Plug-in的架構(gòu)，使用Java開發(fā)。
2、 KETTLE，為一個(gè)元數(shù)據(jù)驅(qū)動(dòng)的ETL工具。已經(jīng)加入Pentaho。
3、 Clover ETL，為一個(gè)基于Java的ETL Framework，可以用來(lái)開發(fā)自己的ETL應(yīng)用。
4、 Enhydra Octopus，為一個(gè)基于Java的ETL工具，使用JDBC來(lái)連接各種數(shù)據(jù)源，易于使用和部署。曾有人應(yīng)用于電信網(wǎng)絡(luò)資源分析系統(tǒng)中。
優(yōu)秀的報(bào)表工具通常具有以下特性：
1、 支持多種數(shù)據(jù)源。
2、 直觀的可視化設(shè)計(jì)器，簡(jiǎn)單易用的報(bào)表定制功能。
3、 方便的數(shù)據(jù)訪問(wèn)和格式化，豐富的數(shù)據(jù)呈現(xiàn)方式。
4、 符合數(shù)據(jù)呈現(xiàn)的通用標(biāo)準(zhǔn)，能和應(yīng)用程序很好地進(jìn)行結(jié)合。
5、 易于擴(kuò)展和部署。
目前較為知名的開源報(bào)表工具有：
1、 JasperReports，一個(gè)優(yōu)秀的Java報(bào)表工具，始于2001，現(xiàn)在JasperSoft公司持續(xù)開發(fā)和支持該工具。該工具類似于商業(yè)軟件Crystal Report，支持PDF、HTML、XLS、CSV和XML文件輸出格式，現(xiàn)在是Java開發(fā)者最常用的報(bào)表工具。
2、 OpenReports，提供基于web的靈活報(bào)表解決方案，通過(guò)瀏覽器自動(dòng)生成動(dòng)態(tài)PDF,XLS,HTMLCSV 和Chart報(bào)表，它是用Java開發(fā)的，使用JasperReports 作為報(bào)表引擎，利用到的開源技術(shù)有Hibernate,Veloctiy,Webwork。
3、 JFreeReport，現(xiàn)在是Pentaho的一部分，它是一個(gè)優(yōu)秀的用來(lái)生成報(bào)表的Java類庫(kù)。它為Java應(yīng)用程序提供一個(gè)靈活的打印 功能并支持輸出到打印機(jī)和PDF, Excel, HTML和XHTML, PlainText, XML和CSV文件中。
4、 Eclipse BIRT，是Eclipse下面的一個(gè)企業(yè)智能和報(bào)表 工具，能為J2EE的WEB應(yīng)用程序創(chuàng)建漂亮醒目的PDF或者HTML格式的報(bào)表，它提供了核心的報(bào)表功能。
聯(lián)機(jī)分析處理工具。目前開源的OLAP工具也分為MOLAP、ROLAP和HOLAP，優(yōu)秀的OLAP工具通常有以下特性：
1、 良好的執(zhí)行性能，能快速地進(jìn)行分析處理工作。
2、 良好的適用性和可伸縮性。
3、 開放式接口和豐富的API。
目前較為知名的開源OLAP工具有：
1、 Mondrian，是Pentaho的一部分，為一個(gè)用Java開發(fā)的OLAP服務(wù)器，實(shí)現(xiàn)了MDX語(yǔ)言、XML解析和JOLAP規(guī)范，可以不寫SQL就能分析存儲(chǔ)于SQL 數(shù)據(jù)庫(kù)的龐大數(shù)據(jù)集，可以封裝JDBC數(shù)據(jù)源并把數(shù)據(jù)以多維的方式展現(xiàn)出來(lái)。
2、 JPivot，是一個(gè)JSP 自定制的標(biāo)簽庫(kù)，可以繪制一個(gè)OLAP表格和圖表。用戶可以執(zhí)行 典型的OLAP導(dǎo)航，如下鉆，切片和方塊。它使用Mondrian 作為其OLAP服務(wù)器。它使用WCF (Web Component Framework) ，基于XML/XSLT來(lái)渲染Web UI組件。JPivot在元數(shù)據(jù)緩存方面的過(guò)于簡(jiǎn)化的整體性初始化裝載的做法將限制它只能處理很小的立方體（Cube）。
開源的數(shù)據(jù)庫(kù)也有很多，大多數(shù)為關(guān)系型數(shù)據(jù)庫(kù)，少數(shù)為應(yīng)用于數(shù)據(jù)倉(cāng)庫(kù)環(huán)境做了專門的優(yōu)化工作。Bizgres以PostgreSQL為基礎(chǔ)進(jìn)行了數(shù)據(jù)倉(cāng)庫(kù)環(huán)境下的優(yōu)化，提高了分析查詢性能。
下面列出相對(duì)成熟和完整，并且有借鑒意義的開源BI套件。
為GreenPlum公司主導(dǎo)的開源項(xiàng)目，和Sun公司達(dá)成合作關(guān)系。Bizgres為BI應(yīng)用而對(duì)PostgreSQL做了優(yōu)化，提高了大負(fù)荷的并行計(jì)算能力，在BI環(huán)境中，相對(duì)于普通的關(guān)系型數(shù)據(jù)庫(kù)具有卓越的數(shù)據(jù)處理性能。Bizgres的數(shù)據(jù)庫(kù)平臺(tái)可以和KETL和JasperReports進(jìn)行整合，從而形成一個(gè)BI套件：
1、 數(shù)據(jù)庫(kù)：BI專業(yè)數(shù)據(jù)庫(kù)Bizgres，或者大型應(yīng)用中的高性能服務(wù)器Bizgres MPP，能比普通關(guān)系數(shù)據(jù)庫(kù)快20倍
2、 ETL工具：KETL
3、 報(bào)表工具：JasperReports
是一個(gè)Java開發(fā)的Web應(yīng)用，能對(duì)OLAP服務(wù)器、關(guān)系數(shù)據(jù)庫(kù)和數(shù)據(jù)挖掘服務(wù)器進(jìn)行分析和報(bào)表展示，非常易于使用和部署，界面美觀友好，后續(xù)還將支持?jǐn)?shù)據(jù)挖掘和ETL等。Openi主要包括：
1、 OLAP展示：JPivot
2、 報(bào)表工具：JFreeChart
3、 分析數(shù)據(jù)源連接器
是一個(gè)以工作流為核心的、強(qiáng)調(diào)面向解決方案而非工具組件的BI套件，整合了多個(gè)開源項(xiàng)目，目標(biāo)是和商業(yè)BI相抗衡。它包括：
1、 工作流引擎：Shark and JaWE
2、 數(shù)據(jù)庫(kù)：Firebird RDBMS
3、 集成管理和開發(fā)環(huán)境：Eclipse
4、 報(bào)表工具：Eclipse BIRT
5、 ETL工具：Enhydra/Kettle
6、 OLAP Server：Mondrian
7、 OLAP展示：JPivot
8、 數(shù)據(jù)挖掘組件：Weka
9、 應(yīng)用服務(wù)器和Portal服務(wù)器：JBoss
10、 單點(diǎn)登陸服務(wù)及LDap認(rèn)證：JOSSO
11、 自定義腳本支持：Mozilla Rhino Javascript腳本處理器
由上可見Pentaho是一個(gè)很完善的BI解決方案。Pentaho偏向于與業(yè)務(wù)流程相結(jié)合的BI解決方案，側(cè)重于大中型企業(yè)應(yīng)用。
SpagoBI 集成了Mondrain和JProvit，能夠通過(guò)OpenLaszlo產(chǎn)生實(shí)時(shí)報(bào)表。SpagoBI使用java開發(fā)，不依賴于具體的操作系統(tǒng)，有很強(qiáng)的擴(kuò)展能力。它主要包括：
1、 報(bào)表工具：JasperReports /Eclipse BIRT/ iReport
2、 OLAP Server：Mondrian
3、 OLAP展示：JPivot
4、 數(shù)據(jù)挖掘組件：Weka
5、 Map引擎：Geo
6、 ETL：BIE
7、 搜索引擎：Lucene
8、 Dashboard：OpenLaszlo
9、 Portal Server：JBoss/ Tomcat/ JOnAS
根據(jù)其Roadmap可以看出，SpagoBI將融入更多的BI功能，甚至BI之外的功能。