?由于常常要和漢字處理打交道，因此，我常常受到漢字編碼問題的困擾。在不斷的打擊與堅持中，也積累了一點漢字編碼方面的經(jīng)驗，想和大家一起分享。

一、漢字編碼的種類

??? 漢字編碼中現(xiàn)在主要用到的有三類，包括GBK，GB2312和Big5。

??? 1 、GB2312又稱國標(biāo)碼， 由國家標(biāo)準(zhǔn)總局發(fā)布， 1981 年 5 月 1 日實施，通行于大陸。新加坡等地也使用此編碼。它是一個簡化字的編碼規(guī)范，當(dāng)然也包括其他的符號、字母、日文假名等，共 7445 個圖形字符，其中漢字占 6763 個。我們平時說 6768 個漢字，實際上里邊有 5 個編碼為空白，所以總共有 6763 個漢字。

? ??? GB2312 規(guī)定“對任意一個圖形字符都采用兩個字節(jié)表示，每個字節(jié)均采用七位編碼表示”，習(xí)慣上稱第一個字節(jié)為“高字節(jié)”，第二個字節(jié)為“低字節(jié)”。 GB2312 中漢字的編碼范圍為，第一字節(jié)0xB0-0xF7(對應(yīng)十進制為176-247)，第二個字節(jié)0xA0-0xFE（對應(yīng)十進制為160-254）。

??? GB2312 將代碼表分為 94 個區(qū)，對應(yīng)第一字節(jié)（ 0xa1-0xfe ）；每個區(qū) 94 個位（ 0xa1-0xfe ），對應(yīng)第二字節(jié)，兩個字節(jié)的值分別為區(qū)號值和位號值加 32 （ 2OH ），因此也稱為區(qū)位碼。 01-09 區(qū)為符號、數(shù)字區(qū)， 16-87 區(qū)為漢字區(qū)（ 0xb0-0xf7 ）， 10-15 區(qū)、 88-94 區(qū)是有待進一步標(biāo)準(zhǔn)化的空白區(qū)。

?

?????? 2 、 Big5 又稱大五碼，主要為香港與臺灣使用，即是一個繁體字編碼。 每個漢字由兩個字節(jié)構(gòu)成，第一個字節(jié)的范圍從 0X81 － 0XFE （即 129-255 ），共 126 種。第二個字節(jié)的范圍不連續(xù)，分別為 0X40 － 0X7E （即 64-126 ）， 0XA1 － 0XFE （即 161-254 ），共 157 種。

?

??? 3 、GBK是GB2312的擴展，是向上兼容的，因此GB2312中的漢字的編碼與GBK中漢字的相同。另外，GBK中還包含繁體字的編碼，它與Big5編碼之間的關(guān)系我還沒有弄明白，好像是不一致的。GBK中每個漢字仍然包含兩個字節(jié)，第一個字節(jié)的范圍是0x81-0xFE（即129-254），第二個字節(jié)的范圍是0x40-0xFE（即64-254）。GBK中有碼位23940個，包含漢字21003個。

????????????????????????????????????

?????????????????????????????????? 表1 漢字編碼范圍

名稱	第一字節(jié)	第二字節(jié)
GB2312	0xB0-0xF7(176-247)	0xA0-0xFE （ 160-254 ）
GBK	0x81-0xFE （ 129-254 ）	0x40-0xFE （ 64-254 ）
Big5	0x81-0xFE （ 129-255 ）	0x40-0x7E （ 64-126 ） 0xA1 － 0xFE （ 161-254 ）

?

?

二、對漢字進行hash

??? 為了處理漢字的方便，在查找漢字的時候，我們通常會用到hash的方法，那怎么來確定一個漢字位置呢？這就和每種編碼的排列有關(guān)了，這里主要給出一種hash函數(shù)的策略。

??? 對于GB2312編碼，設(shè)輸入的漢字為GBword，我們可以采用公式(C1-176)*94 + (C2-161)確定GBindex。其中，C1表示第一字節(jié)，C2表示第二字節(jié)。具體如下：

??? GBindex = ((unsigned char)GBword.at(0)-176)*94 + (unsigned char)GBword.at(1) - 161;

??? 之所以用unsigned char類型，是因為char是一個字節(jié)，如果用unsigend int，因為int是4個字節(jié)的，所以會造成擴展，導(dǎo)致錯誤。

?????? 對于GBK編碼，設(shè)輸入的漢字為GBKword，則可以采用公式?? index=(ch1-0x81)*190+(ch2-0x40)-(ch2/128) ，其中ch1是第一字節(jié)，ch2是第二字節(jié)。

??? 具體的，

??? GBKindex = ((unsigned char)GBKword[0]-129)*190 +

??????? ?????? ((unsigned char)GBKword[1]-64) - (unsigned char)GBKword[1]/128;

?

三、怎樣判斷一個漢字的是什么編碼

直接根據(jù)漢字的編碼范圍判斷，對于GB2312和GBK可用下面兩個程序?qū)崿F(xiàn)。

1 、判斷是否是GB2312

bool isGBCode(const string& strIn)

{

??? unsigned char ch1;

??? unsigned char ch2;

???

??? if (strIn.size() >= 2)

??? {

??????? ch1 = (unsigned char)strIn.at(0);

??????? ch2 = (unsigned char)strIn.at(1);

??????? if (ch1>=176 && ch1<=247 && ch2>=160 && ch2<=254)

??????????? return true;

??????? else return false;

??? }

??? else return false;

}

2 、判斷是否是GBK編碼

bool isGBKCode(const string& strIn)

{

??? unsigned char ch1;

??? unsigned char ch2;

???

??? if (strIn.size() >= 2)

??? {

??????? ch1 = (unsigned char)strIn.at(0);

??????? ch2 = (unsigned char)strIn.at(1);

??????? if (ch1>=129 && ch1<=254 && ch2>=64 && ch2<=254)

??????????? return true;

??????? else return false;

??? }

??? else return false;

}

?

3 、對于Big5

??? 它的范圍為：高字節(jié)從0xA0到0xFE，低字節(jié)從0x40到0x7E，和0xA1到0xFE兩部分。判斷一個漢字是否是BIG5編碼，可以如上對字符的編碼范圍判斷即可。如何定位呢？那么也想象所有編碼排列為一個二維坐標(biāo)，縱坐標(biāo)是高字節(jié)，橫坐標(biāo)是低字節(jié)。這樣一行上的漢字個數(shù)：(0x7E-0x40+1)+(0xFE-0xA1+1)＝157。那么定位算法分兩塊，為: ?

??? if 0x40<=ch2<=0x7E: #is big5 char

??? index=((ch1-0xA1)*157+(ch2-0x40))*2

??? elif 0xA1<=ch2<=0xFE: #is big5 char

??? index=((ch1-0xA1)*157+(ch2-0xA1+63))*2

?

對于第二塊，計算偏移量時因為有兩塊數(shù)值，所以在計算后面一段值時，不要忘了前面還有一段值。0x7E-0x40+1=63。

?

四、如果判斷一個字符是西文字符還是中文字符

??? 大家知道西文字符主要是指 ASCII 碼，它用一個字節(jié)表示。且這個字符轉(zhuǎn)換成數(shù)字之后，該數(shù)字是大于0的，而漢字是兩個字節(jié)的，第一個字節(jié)的轉(zhuǎn)化為數(shù)字之后應(yīng)該是小于0的，因此可以根據(jù)每個字節(jié)轉(zhuǎn)化為數(shù)字之后是否小于0，判斷它是否是漢字。

??? 例如，設(shè)輸入字為strin，則，

???? If (strin.at(0) < 0)

?????? cout << ” 是漢字” << endl;

???? else cout << ” 不是漢字” << endl;

　

五、編碼表下載

?? GBK編碼表，下載

?? GB2312編碼表，下載

大盤預(yù)測 國富論