談談我對Java中Unicode、編碼的理解

我們經常會遇到編碼問題。Java號稱國際化的語言,是因為它的class文件采用UTF-8,而JVM運行時使用UTF-16(至于為什么JVM中要采用UTF-16,我沒看過 相關的資料,但我猜可能是因為JAVA里面一個字符(char)就是16位的,而UTF-16正是雙字節編碼),都是unicode的編碼。

unicode 的目標就是能支持世界上所有的字符集,也就是說幾乎所有的字符集包含的字符在unicode中都有對應的編碼。在unicode中,字符與代碼的映射關 系,就是unicode字符集,稱為UCS(Unicode Character Set),每個unicode字符編碼稱為code point(代碼點?)。UTF-8UTF-16是不同的UCS編碼方法,UTF就是UCS Transformation Format。;

Java 中,StringgetBytes()方法就是對特定的字符串(unicode)按照給定的字符集進行編碼(encode),new String()則可以按照某個字符集將字節流轉換回unicodedecode)。Java里面的每一個String都是unicode編碼。

再來看頁面,如果不做特殊處理,Form的提交就按照頁面的ContentType設置中的字符集進行編碼轉換,發送到后臺,后臺必須利用req.setCharacterEncoding來指定參數的編碼格式(不同的應用服務器應有不同的指定方式),才能正確解碼。

Java 里面的encodedecode都是相對于unicode而言的,encode的意思是將char[] --> XXX Encoding byte[]decode就是由XXX Encoding byte[] --> char[]。平常,當我們說GBK編碼轉換為UTF-8編碼的時候,實際的意思就是:GBK Encoding byte[] --> UTF-8 Encoding byte[],這種轉換只有在需要用byte[]傳輸數據的時候才有意義,否則便是毫無意義的。

首先要說明的一點是:Java中的String對象就是一個unicode編碼的字符串。

但是,我們通常會聽到有人說:我們需要將StringISO-8859-1轉換為GBK編碼,這又是怎么回事呢?實際上,我們并不是 一個由ISO-8859-1編碼的String轉換為GBK編碼的String”,反復說明的是,JAVA中的String都是unicode編碼的,所以不存在“ISO- 8859-1編碼的String”“GBK編碼的String”這樣的說法。而需要轉換的唯一的原因是String進行了錯誤的編碼。我們經常會碰到由ISO-8859- 1轉換為諸如GBK/UTF-8等等這樣的需求。所謂的轉換過程是:String --> byte[] -->String。
也許 你非常清楚這個過程的代碼:new String(text.getBytes("ISO-8859-1"),"GBK")。但是,要真正理解起來并不是那么簡單。表面上看似乎很容易理解, 不就是將text String對象按照ISO-8859-1的方式編碼為byte[]然后再把它按照GBK的方式轉換為String嗎?但是這句代碼很容易會被誤解為:text StringISO-8859-1轉換為GBK編碼,這種說法是錯誤的。難道你見過用這樣的代碼:new String(text.getBytes("GBK"),"UTF-8")來對String進行編碼轉換的嗎?

之所以你會經??吹?/span>new String(text.getBytes("ISO-8859-1"),"GBK")這句代碼,是因為一個GBK的字節流被錯誤地以ISO-8859- 1的方式轉換為Stringunicode)了!發生這種情況最普遍的地方是一個GBK編碼的網頁向后臺提交數據的時候,就有可能會看到這句代碼的出 現。GBK的流被錯誤的當成ISO8859-1的流,所以便得到了一個錯誤的String。由于ISO8859-1是單字節編碼,所以每個字節被按照原樣 轉換為String,也就是說,雖然這是一個錯誤的轉換,但編碼沒有改變,所以我們仍然有機會把編碼轉換回來!所以那句經典的new String(text.getBytes("ISO-8859-1"),"GBK")便出現了。

如果系統誤以為是其它編碼格式,就有可能再也轉換不回來了,因為編碼轉換并不是負負得正那么簡單的