復(fù)旦大學(xué)的中文語料庫分為訓(xùn)練集和驗(yàn)證集兩部分,兩部分的文檔數(shù)量基本相等,但現(xiàn)在做測評一般都不采用這種預(yù)先劃分的方法,而多用交叉驗(yàn)證,因此在將訓(xùn)練集與驗(yàn)證集合并之后,得到該語料庫的一些基本信息如下：

類別總數(shù)量:20

文檔總數(shù)量:19637

       類別名稱(類別代碼):文檔數(shù)量

       Agriculture(C32):2043篇

       Art(C3):1482篇

       Communication(C17):52篇

       Computer(C19):2715篇

       Economy(C34):3201篇

       Education(C5):120篇

       Electronics(C16):55篇

       Energy(C15):65篇

       Enviornment(C31):2435篇

       History(C7):934篇

       Law(C35):103篇

       Literature(C4):67篇

       Medical(C36):104篇

       Military(C37):150篇

       Mine(C23):67篇

       Philosophy(C6):89篇

       Politics(C38):2050篇

       Space(C11):1282篇

       Sports(C39):2507篇

Transport(C29):116篇

同時(shí),在使用ictclas4j分詞包對其進(jìn)行分詞的過程中,發(fā)現(xiàn)復(fù)旦語料庫中存在一些文章會使得ictclas4j報(bào)錯(cuò),其中因?yàn)榉衷~包本身字庫缺少某些文字,以及一些神秘的字符組合(確實(shí)很神秘)會導(dǎo)致分詞過程出錯(cuò),因此能夠被成功分詞而供后續(xù)使用的文檔數(shù)并不如上面所列這么多,在分詞之后,情況如下:

類別總數(shù)量:20

文檔總數(shù)量:18185

    類別名稱(類別代碼):文檔數(shù)量

    Agriculture(C32):1949篇

    Art(C3):1237篇

    Communication(C17):52篇

    Computer(C19):2591篇

    Economy(C34):2912篇

    Education(C5):111篇

    Electronics(C16):51篇

    Energy(C15):63篇

    Environment(C31):2347篇

    History(C7):708篇

    Law(C35):103篇

    Literature(C4):65篇

    Medical(C36):98篇

    Military(C37):147篇

    Mine(C23):63篇

    Philosophy(C6):86篇

    Politics(C38):1920篇

    Space(C11):1226篇

Sports(C39):2344篇

Transport(C29):112篇

在已分詞后的語料庫里,可以看出這樣幾個(gè)特點(diǎn),一,文檔總數(shù)比未分詞的版本少了1448篇(可見ictclas4j的錯(cuò)誤還是滿普遍的)；第二，文檔數(shù)量分布仍不均衡，最多的經(jīng)濟(jì)類文章有2912篇，而最少的電子類與通信類文章僅有51篇與52篇，往好的方向說可以考察你所開發(fā)的系統(tǒng)如何應(yīng)對數(shù)據(jù)集偏斜的問題，往壞的方向說給要上線的系統(tǒng)作訓(xùn)練集恐怕不太合適。

在下一篇文章中,我將進(jìn)一步總結(jié)詞頻統(tǒng)計(jì)的結(jié)果.

假設(shè)我們有以下的類別層次:

Layer1 --> Layer2 --> Layer3 --> Layer4

其中Layer1是位于最高位置的基類,Layer2是Layer1的直接子類,而Layer3又是Layer2的直接子類,等等.

我們在使用數(shù)組時(shí)會有這樣的用法:

Layer1[] layerArray=new Layer2[10];

此時(shí)盡管運(yùn)行時(shí)可能產(chǎn)生某些錯(cuò)誤,例如往一個(gè)明明是Layer2的數(shù)組中加入一個(gè)Layer1的實(shí)例,但編譯期并不會有什么問題.這是因?yàn)?/span>Java的數(shù)組存在稱之為”協(xié)變”的現(xiàn)象,即如果Layer2是Layer1的子類,那么Layer2的數(shù)組也是Layer1的數(shù)組的子類.我們可以這樣來驗(yàn)證:

Layer2[] layer2Array=new Layer2[10];

System.out.println(layer2Array instanceof Layer1[]);

程序輸出的結(jié)果為true.

像Layer1[] layerArray=new Layer2[10];這樣寫有一個(gè)很大的缺點(diǎn)，那就是你可以寫

layerArray[0]=new Layer1();

這樣的代碼，編譯器不會報(bào)錯(cuò)，但實(shí)際上我們往一個(gè)Layer2的數(shù)組里塞了一個(gè)Layer1的實(shí)例，這在運(yùn)行時(shí)會扔出一個(gè)java.lang.ArrayStoreException。即是說數(shù)組沒有提供編譯期的類型檢查。

而容器(例如List)很容易被我們認(rèn)為是另一種數(shù)組，只是能夠容納各種類型以及動態(tài)改變大小而已。在JavaSE5之前，即使這樣認(rèn)為也不會給編程帶來麻煩，因?yàn)槿萜鳑]有辦法指定所容納的具體類型。但在引入泛型之后，我們可能為了編譯期的類型檢查以及動態(tài)改變大小兩個(gè)理由而迫不及待的用容器徹底代替數(shù)組，也就有可能想當(dāng)然的寫出這樣的代碼：

List<Layer1> list=new ArrayList<Layer2>();

這樣寫的理由很簡單，總是希望用基類型的引用來提供靈活性。然而遺憾的是，上述代碼編譯不能通過（或許編譯期就不能通過這一點(diǎn)，反而是好事），原因就在于容器沒有“協(xié)變”現(xiàn)象，一個(gè)Layer2的List并不是Layer1的List的子類，而是完全不同的類。因此上面的代碼同

Integer i=new String("你好");

一樣荒謬，自然逃不過編譯器的法眼。

難道就不能用泛型創(chuàng)建這樣一種List的引用，類型參數(shù)只使用基類型，而在實(shí)例化的時(shí)候可以使用子類型，但又可以借助泛型的編譯期檢查么？

例如我想要一個(gè)List<Layer1>類型的引用，這個(gè)引用可以指向ArrayList<Layer2>或ArrayList<Layer4>（因?yàn)槲也幌腙P(guān)心實(shí)例化時(shí)的具體類型），但是一旦實(shí)例化一個(gè)ArrayList<Layer2>以后，又能借助編譯器來檢查向其中添加的確實(shí)是Layer2的實(shí)例，而非String或Integer。這能不能辦到呢？

答案是不能，雖然初試之下，我們可能會利用泛型通配符想當(dāng)然的寫出如下代碼：

List<? extends Layer1> layer1List=new ArrayList<Layer2>();

乍看之下，代碼的本意是要建立一個(gè)泛型List的引用，而泛型的類別參數(shù)是任何Layer1的子類均可，這不正好合我們剛才所說的意思嗎？而且這回編譯器也沒有報(bào)錯(cuò)，應(yīng)該OK了吧!

接下來的事情卻讓人哭笑不得，這個(gè)List竟然不能添加任何元素，無論是寫

layer1List.add(new Layer1());

還是寫

layer1List.add(new Layer2());

均報(bào)錯(cuò)（編譯期即錯(cuò)，不用待到運(yùn)行時(shí)）。甚至是

layer1List.add(new Object());

也報(bào)錯(cuò)（這證明了無論提供的類型參數(shù)是Layer1的子類還是超類，亦或者Layer1本身，均報(bào)錯(cuò)）。

這是為什么呢？（給讀者３分鐘思考，然后帶著詭異的微笑揭曉答案）

原來extends關(guān)鍵字圈定的是泛型參數(shù)的上界，回頭單看

List<? extends Layer1>

這一句，其實(shí)說的是，我有一個(gè)泛型的List，它的類別參數(shù)是Layer1的一個(gè)子類，因此如果這個(gè)子類是Layer3，那么Layer2以上的類別就不能向該List中添加（這個(gè)沒什么問題吧，別繞進(jìn)去了哦），如果這個(gè)子類別是Layer4，那么Layer3以上的類別就不能向該List中添加（想象我們的類別體系還存在Layer5,Layer6等等，顯然子類別是哪一個(gè)都有可能，那就是說拒絕任何一個(gè)類別都是說得通的）。因此編譯器根本無法確定這個(gè)List到底可以放什么不可以放什么，所以統(tǒng)統(tǒng)拒絕。

更正式一點(diǎn)說，extends給了一個(gè)上界，只有該界以下的類別才能合法的添加到List中，但是這個(gè)上界本身都是不確定的（它可以無限往類別體系的下方移動），自然也就說不出哪些類別是合法的了。

結(jié)論：想要容器提供類似于數(shù)組那樣的協(xié)變效果，而又要有類型檢查，至少在我所知范圍，辦不到。

需要首先說明的是，不同于以前的C++版提供的JNI調(diào)用，本次使用的是純Java版本的ICTCLAS，下載地址在http://ictclas.org/Down_OpenSrc.asp。

好，假設(shè)你已經(jīng)下載了我們需要使用的Java版本ictclas4j，現(xiàn)在把它解壓縮，然后把Data文件夾整個(gè)拷貝到Eclipse項(xiàng)目的文件夾下,而bin目錄下的org文件夾整個(gè)拷貝到你Eclipse項(xiàng)目的bin目錄下，把src目錄下的org文件夾整個(gè)拷貝到Eclipse項(xiàng)目的src目錄下（最簡單快捷的使用方式，或者你自己打成jar包，這樣無論放到哪里，都可以在build path里面導(dǎo)入這個(gè)jar包啦）。

現(xiàn)在就可以在你的項(xiàng)目里新建一個(gè)類來試試。我新建了一個(gè)類，代碼如下：

import org.ictclas4j.bean.SegResult;

import org.ictclas4j.segment.SegTag;

public class OneMain {

public static void main(String[] args) {

System.out.println("This is OneMain");

SegTag st = new SegTag(1);

SegResult sr = st

.split("一塊勤奮地漂亮的一塊錢,/打造經(jīng)濟(jì)的航空母艦。ABCD.#$% Hello World!\n又一段文本123輛 ！3.0");

System.out.println(sr.getFinalResult());

}

}

很顯然文本“一塊勤奮地漂亮的一塊錢,/打造經(jīng)濟(jì)的航空母艦。ABCD.#$% Hello World!"n又一段文本123輛 ！3.0”就是我們用來測試的文本，其中包含了中文，英文，標(biāo)點(diǎn)符號，亂七八糟符號（笑）及阿拉伯?dāng)?shù)字。

我們運(yùn)行剛才的程序，看下輸出結(jié)果：

This is OneMain

一塊/s 勤奮/a 地/u 漂亮/a 的/u 一/m 塊/q 錢/n ,/w //nx 打造/v 經(jīng)濟(jì)/n 的/u 航空母艦/n 。/w ABCD.#$%/nx Hello/nx World/nx !/w 又/d 一/m 段/q 文本/n 123/m 輛/q

看到了么，分詞的結(jié)果是一個(gè)長長的String類數(shù)據(jù)，用空格區(qū)分出每個(gè)詞，每個(gè)詞還用/后面的英文標(biāo)號標(biāo)出了詞性。一起來看看幾個(gè)有趣的地方。

原文中其實(shí)有兩個(gè)“一塊”，一處是“一塊勤奮”，這里很正確的識別為了副詞，而后面的“一塊錢”中的“一塊”也正確的識別為數(shù)量詞。

阿拉伯?dāng)?shù)字正確識別為數(shù)詞，包括小數(shù)形式的“3.0”。而英文和亂七八糟符號（包括那個(gè)不可見的換行符，你找到它在哪了嗎？）則都被劃為一類——/nx！（因?yàn)槲乙膊恢?/span>ICTCLAS內(nèi)部人員管它叫什么啦，非法字符啊，還是無效字符啊，或者其它字符啊，名字可以自己取嘛）

測試文本中還有兩個(gè)嘆號，一個(gè)是英文半角的!，一個(gè)是中文全角的！，兩者也都被正確識別為標(biāo)點(diǎn)符號，但英文的句號“.“就被認(rèn)為是/nx啦。

測試文本中的空格被完全忽略。

好，十分簡單對不對？去玩玩吧。

“之所以如此關(guān)心間隔這個(gè)東西，是因?yàn)殚g隔與樣本的誤分次數(shù)間存在關(guān)系：

”

此處更確切的說法應(yīng)該是幾何間隔與樣本的誤分次數(shù)存在上述關(guān)系。

就在剛才這段話的下面，我解釋R代表的含義時(shí)說它是“R是空間中一個(gè)能完全包含樣本數(shù)據(jù)的球的半徑”，很遺憾這是錯(cuò)誤的，正確的定義是

R=max ||xi||  i=1,...,n

即R是所有樣本中（xi是以向量表示的第i個(gè)樣本）向量長度最長的值。

犯下上述錯(cuò)誤，委實(shí)顯得不專業(yè)，在此道歉。

上回說到對于文本分類這樣的不適定問題（有一個(gè)以上解的問題稱為不適定問題），需要有一個(gè)指標(biāo)來衡量解決方案（即我們通過訓(xùn)練建立的分類模型）的好壞，而分類間隔是一個(gè)比較好的指標(biāo)。

在進(jìn)行文本分類的時(shí)候，我們可以讓計(jì)算機(jī)這樣來看待我們提供給它的訓(xùn)練樣本，每一個(gè)樣本由一個(gè)向量（就是那些文本特征所組成的向量）和一個(gè)標(biāo)記（標(biāo)示出這個(gè)樣本屬于哪個(gè)類別）組成。如下：

D_i=(x_i,y_i)

x_i就是文本向量（維數(shù)很高），y_i就是分類標(biāo)記。

在二元的線性分類中，這個(gè)表示分類的標(biāo)記只有兩個(gè)值，1和-1（用來表示屬于還是不屬于這個(gè)類）。有了這種表示法，我們就可以定義一個(gè)樣本點(diǎn)到某個(gè)超平面的間隔：

δ_i=y_i(wx_i+b)

這個(gè)公式乍一看沒什么神秘的，也說不出什么道理，只是個(gè)定義而已，但我們做做變換，就能看出一些有意思的東西。

首先注意到如果某個(gè)樣本屬于該類別的話，那么wx_i+b>0（記得么？這是因?yàn)槲覀兯x的g(x)=wx+b就通過大于0還是小于0來判斷分類），而y_i也大于0；若不屬于該類別的話，那么wx_i+b<0，而y_i也小于0，這意味著y_i(wx_i+b)總是大于0的，而且它的值就等于|wx_i+b|！（也就是|g(x_i)|）

現(xiàn)在把w和b進(jìn)行一下歸一化，即用w/||w||和b/||w||分別代替原來的w和b，那么間隔就可以寫成

這個(gè)公式是不是看上去有點(diǎn)眼熟？沒錯(cuò)，這不就是解析幾何中點(diǎn)x_i到直線g(x)=0的距離公式嘛！（推廣一下，是到超平面g(x)=0的距離， g(x)=0就是上節(jié)中提到的分類超平面）

小Tips：||w||是什么符號？||w||叫做向量w的范數(shù)，范數(shù)是對向量長度的一種度量。我們常說的向量長度其實(shí)指的是它的2-范數(shù)，范數(shù)最一般的表示形式為p-范數(shù)，可以寫成如下表達(dá)式

    向量w=(w₁, w₂, w₃,…… w_n)

它的p-范數(shù)為

   

看看把p換成2的時(shí)候，不就是傳統(tǒng)的向量長度么？當(dāng)我們不指明p的時(shí)候，就像||w||這樣使用時(shí)，就意味著我們不關(guān)心p的值，用幾范數(shù)都可以；或者上文已經(jīng)提到了p的值，為了敘述方便不再重復(fù)指明。

當(dāng)用歸一化的w和b代替原值之后的間隔有一個(gè)專門的名稱，叫做幾何間隔，幾何間隔所表示的正是點(diǎn)到超平面的歐氏距離，我們下面就簡稱幾何間隔為“距離”。以上是單個(gè)點(diǎn)到某個(gè)超平面的距離（就是間隔，后面不再區(qū)別這兩個(gè)詞）定義，同樣可以定義一個(gè)點(diǎn)的集合（就是一組樣本）到某個(gè)超平面的距離為此集合中離超平面最近的點(diǎn)的距離。下面這張圖更加直觀的展示出了幾何間隔的現(xiàn)實(shí)含義：

H是分類面，而H₁和H₂是平行于H，且過離H最近的兩類樣本的直線，H₁與H，H₂與H之間的距離就是幾何間隔。

之所以如此關(guān)心間隔這個(gè)東西，是因?yàn)殚g隔與樣本的誤分次數(shù)間存在關(guān)系：

其中的δ是樣本集合到分類面的間隔，R是空間中一個(gè)能完全包含樣本數(shù)據(jù)的球的半徑（也就是說代表樣本的分布有多么廣）。先不必追究誤分次數(shù)的具體定義和推導(dǎo)過程，只要記得這個(gè)誤分次數(shù)一定程度上代表分類器的誤差。而從上式可以看出，誤分次數(shù)的上界由間隔決定！（當(dāng)然，是樣本已知的時(shí)候）

至此我們就明白為何要選擇間隔來作為評價(jià)一個(gè)解優(yōu)劣的指標(biāo)了，原來間隔越大的解，它的誤差上界越小。因此最大化間隔成了我們訓(xùn)練階段的目標(biāo)，而且，與二把刀作者所寫的不同，最大化分類間隔并不是SVM的專利，而是早在線性分類時(shí)期就已有的思想。

但是看過一些關(guān)于SVM的論文的人一定記得什么優(yōu)化的目標(biāo)是要最小化||w||這樣的說法，這是怎么回事呢？回頭再看看

這個(gè)公式，這里的|g(x)|代表樣本集到超平面g(x)=0距離最近的點(diǎn)的值，因此是一個(gè)定值，注意到間隔與||w||是成反比的，因此最大化間隔與最小化||w||完全是一回事。而我們常用的方法并不是固定||w||的大小而尋求最大間隔，而是固定間隔（例如固定為1），尋找最小的||w||。

現(xiàn)在有了一個(gè)線性分類函數(shù)，也有了判斷解優(yōu)劣的標(biāo)準(zhǔn)（有了優(yōu)化的目標(biāo)），接下來自然關(guān)心如何求解，且聽下回分解。

線性分類器(一定意義上,也可以叫做感知機(jī)) 是最簡單也很有效的分類器形式.在一個(gè)線性分類器中,可以看到SVM形成的思路,并接觸很多SVM的核心概念.

用一個(gè)二維空間里僅有兩類樣本的分類問題來舉個(gè)小例子。如圖所示

^­C₁和C₂是要區(qū)分的兩個(gè)類別，在二維平面中它們的樣本如上圖所示。中間的直線就是一個(gè)分類函數(shù)，它可以將兩類樣本完全分開。一般的，如果一個(gè)線性函數(shù)能夠?qū)颖就耆_的分開，就稱這些數(shù)據(jù)是線性可分的，否則稱為非線性可分的。

什么叫線性函數(shù)呢？在一維空間里就是一個(gè)點(diǎn)，在二維空間里就是一條直線，三維空間里就是一個(gè)平面，可以如此想象下去，如果不關(guān)注空間的維數(shù)，這種線性函數(shù)還有一個(gè)統(tǒng)一的名稱——超平面（Hyper Plane）！

實(shí)際上，一個(gè)線性函數(shù)是一個(gè)實(shí)值函數(shù)（即函數(shù)的值是連續(xù)的實(shí)數(shù)），而我們的分類問題（例如這里的二元分類問題——回答一個(gè)樣本屬于還是不屬于一個(gè)類別的問題）需要離散的輸出值，例如用1表示某個(gè)樣本屬于類別C₁，而用0表示不屬于（不屬于C₁也就意味著屬于C₂），這時(shí)候只需要簡單的在實(shí)值函數(shù)的基礎(chǔ)上附加一個(gè)閾值即可，通過分類函數(shù)執(zhí)行時(shí)得到的值大于還是小于這個(gè)閾值來確定類別歸屬。 例如我們有一個(gè)線性函數(shù)

g(x)=wx+b

我們可以取閾值為0，這樣當(dāng)有一個(gè)樣本x_i需要判別的時(shí)候，我們就看g(x_i)的值。若g(x_i)>0，就判別為類別C₁，若g(x_i)<0，則判別為類別C₂（等于的時(shí)候我們就拒絕判斷，呵呵）。此時(shí)也等價(jià)于給函數(shù)g(x)附加一個(gè)符號函數(shù)sgn()，即f(x)=sgn [g(x)]是我們真正的判別函數(shù)。

關(guān)于g(x)=wx+b這個(gè)表達(dá)式要注意三點(diǎn)：一，式中的x不是二維坐標(biāo)系中的橫軸，而是樣本的向量表示，例如一個(gè)樣本點(diǎn)的坐標(biāo)是(3,8)，則x^T=(3,8) ，而不是x=3（一般說向量都是說列向量，因此以行向量形式來表示時(shí)，就加上轉(zhuǎn)置）。二，這個(gè)形式并不局限于二維的情況，在n維空間中仍然可以使用這個(gè)表達(dá)式，只是式中的w成為了n維向量（在二維的這個(gè)例子中，w是二維向量，注意這里的w嚴(yán)格的說也應(yīng)該是轉(zhuǎn)置的形式，為了表示起來方便簡潔，以下均不區(qū)別列向量和它的轉(zhuǎn)置，聰明的讀者一看便知）；三，g(x)不是中間那條直線的表達(dá)式，中間那條直線的表達(dá)式是g(x)=0，即wx+b=0，我們也把這個(gè)函數(shù)叫做分類面。

實(shí)際上很容易看出來，中間那條分界線并不是唯一的，我們把它稍微旋轉(zhuǎn)一下，只要不把兩類數(shù)據(jù)分錯(cuò)，仍然可以達(dá)到上面說的效果，稍微平移一下，也可以。此時(shí)就牽涉到一個(gè)問題，對同一個(gè)問題存在多個(gè)分類函數(shù)的時(shí)候，哪一個(gè)函數(shù)更好呢？顯然必須要先找一個(gè)指標(biāo)來量化“好”的程度，通常使用的都是叫做“分類間隔”的指標(biāo)。下一節(jié)我們就仔細(xì)說說分類間隔，也補(bǔ)一補(bǔ)相關(guān)的數(shù)學(xué)知識。