字符集

世界上有很多文字，比如中文，英文，韓文，，阿拉伯文等。每種語言的字符形狀各異，中文有自己的字符集合，英文有自己的字符集合。而Unicode字符集，則包含了絕大多數字符集，是一種通用字符集(Universal Character Set, UCS)。

在表示一個Unicode的字符時，通常會用“U+”然后緊接著一組十六進制的數字來表示這一個字符。例如“U+0041”代表字符“A”

Unicode字符集包含了兩個方面的內容：字符的編碼和編碼的實現方式。

字符編碼

通俗點說，就是給每個字符分配一個編號，比如前面提到的字母“A”，它的編號就是41，即U+0041,而漢字“朱”的編號就是6731，即U+6731

Unicode的編碼空間從U+0000到U+10FFFF，共有1,112,064個碼位(code point)可用來映射字符. Unicode的編碼空間可以劃分為17個平面(plane)，每個平面包含65,536個碼位。17個平面的碼位可表示為從U+xx0000到U+xxFFFF，其中xx表示十六進制值從00到10，共計17個平面。第一個平面稱為基本多語言平面(Basic Multilingual Plane, BMP)，或稱第零平面(Plane 0)。其他平面稱為輔助平面(Supplementary Planes)。

基本多語言平面內，從U+D800到U+DFFF之間的碼位區塊是永久保留不映射到Unicode字符。

UTF-16就利用保留下來的0xD800-0xDFFF區段的碼位來對輔助平面的字符的碼位進行編碼。也就是說，在你的程序里只要判斷一個字符是否屬于這個范圍內，就可以知道這個字符是應該被當做一個獨立的Unicode基本字符處理，還是當做半個擴展Unicode字符。比如\uD83D\uDE18，這就是一個emoji表情，是一個字符，雖然有兩個\u

編碼的具體實現方式

Unicode只是字符集合，雖然為每個字符分配了一個唯一的編號(一個整數值)，在傳輸和存儲的時候，卻有很多方式去表示這個整數值。

Unicode字符集規定的標準編碼方案是UCS-2(UTF-16)，用兩個字節表示一個Unicode字符(UTF-16中兩個字節的為基本多語言平面字符，4個字節的為輔助平面字符)。而UCS-4(UTF-32)用4個字節表示一個Unicode字符。另外一個常用的Unicode編碼方案–UTF-8用1到4個變長字節來表示一個Unicode字符，并可以從一個簡單的轉換算法從UTF-16直接得到。所以在使用Unicode字符集時有多種編碼方案，分別用于合適的場景。

JVM規范中明確說明了java的char類型使用的編碼方案是UTF-16。

比如，漢字"嚴"的unicode代碼是U+4E25，轉換成二進制數是100111000100101，有15位，需要2個字節去表示。對于基本平面中的字符，unicode代碼和UTF-16編碼是一樣的，都是用兩個字節來表示，因此漢子“嚴”的UTF-16編碼可以表示為\u4e25

Java中一個字符到底占幾個字節

這是一個容易讓人迷惑的問題，舉個例子

String str = "嚴";

System.out.println("str="+str);

System.out.println("str len=" + str.length());

System.out.println("str getBytes=" + str.getBytes().length+" HEX="+bytes2HexString(str.getBytes()));

System.out.println("str getBytes UTF-8=" + str.getBytes("UTF-8").length+" HEX="+bytes2HexString(str.getBytes("UTF-8")));

System.out.println("str getBytes UTF-16=" + str.getBytes("UTF-16").length+" HEX="+bytes2HexString(str.getBytes("UTF-16")));

System.out.println("str getBytes UTF-16BE=" + str.getBytes("UTF-16BE").length+" HEX="+bytes2HexString(str.getBytes("UTF-16BE")));

System.out.println("str getBytes UTF-16LE=" + str.getBytes("UTF-16LE").length+" HEX="+bytes2HexString(str.getBytes("UTF-16LE")));

System.out.println("str getBytes Unicode=" + str.getBytes("Unicode").length+" HEX="+bytes2HexString(str.getBytes("Unicode")));

運行結果：

str=嚴

str len=1

str getBytes=3 HEX=E4 B8 A5

str getBytes UTF-8=3 HEX=E4 B8 A5

str getBytes UTF-16=4 HEX=FE FF 4E 25

str getBytes UTF-16BE=2 HEX=4E 25

str getBytes UTF-16LE=2 HEX=25 4E

str getBytes Unicode=4 HEX=FE FF 4E 25

可以看出，“嚴”這個字符串的長度是1，如果是UTF-8編碼，需要3個字節來表示，getBytes()方法默認返回了UTF-8編碼的字節。

如果是UTF-16編碼，居然需要4個字節，前兩個字節時FEFF，后兩位才是4E25,這是因為UTF-16以兩個字節為編碼單元，要考慮字節序，所以使用BOM(Byte Order Mark)來標志字節序: FEFF or FFFE.

FEFF: Big Endian

FFEF: Little Endian

而我們直接指定了字節序后，就只需要2個字節了

把str字符串設置為“A”,再次運行程序，得到結果如下

str=A

str len=1

str getBytes=1 HEX=41

str getBytes UTF-8=1 HEX=41

str getBytes UTF-16=4 HEX=FE FF 00 41

str getBytes UTF-16BE=2 HEX=00 41

str getBytes UTF-16LE=2 HEX=41 00

str getBytes Unicode=4 HEX=FE FF 00 41

可以看出，如果都用UTF-16編碼，是比較浪費字節的，如果不指定字節序，需要4個字節，指定了字節序也需要2個字節。而用變長的UTF-8來表示，則只需要一個字節。

再舉個例子，將str字符串設置為“你s👦”,其中“你”是中文，“s”是英文，“👦”是個emoji表情，它的Unicode編碼是U+1F466，轉換成UTF-16表示是“\ud83d\udc66”，因此這個字符串也等價于“你s\ud83d\udc66”

str=你s👦

str len=4

str getBytes=8 HEX=E4 BD A0 73 F0 9F 91 A6

str getBytes UTF-8=8 HEX=E4 BD A0 73 F0 9F 91 A6

str getBytes UTF-16=10 HEX=FE FF 4F 60 00 73 D8 3D DC 66

str getBytes UTF-16BE=8 HEX=4F 60 00 73 D8 3D DC 66

str getBytes UTF-16LE=8 HEX=60 4F 73 00 3D D8 66 DC

str getBytes Unicode=10 HEX=FE FF 4F 60 00 73 D8 3D DC 66

這個字符串只有3個unicode字符(java里也叫3個代碼點 code point)，但是字符串長度是4(java里也叫有4個代碼單元，1個代碼單元其實就是2個字節，一般一個代碼點可由一個代碼單元表示，特殊字符比如emoji需要兩個代碼單元)

至于怎么把一個代碼點U+1F466轉換成UTF-16的編碼方式\ud83d\udc66，可以參考wiki文檔

總結

以上是生活随笔為你收集整理的utf-16 java_Java、Unicode、UTF-8、UTF-16之间的关系的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。