首页 > 代码库 > UTF-8详解

UTF-8详解

UTF-8是一种变长字节的编码方式,它以8位(1字节)为单位对Unicode进行编码。UTF-8理论上最多可以达到6字节长,但目前全世界的字符只需要4字节就可以表示完。

UTF-8规定,对于某一字符的UTF-8编码,如果只有一个字节则其最高位为0;如果是多字节,则其第一字节的开头由N位连续的1加一位0组成,其他字节开头以“10”开头,剩余字节将Unicode的二进制表示从左向右填充。首字节连续的1的个数表示字符编码所需的字节数。如下所示,

UnicodeUTF-8
00 00 ~ 00 7F0xxxxxxx
00 80 ~ 07 FF110xxxxx 10xxxxxx
08 00 ~ FF FF1110xxxx 10xxxxxx 10xxxxxx
1 00 00 ~ 1F FF FF11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
20 00 00 ~ 3 FF FF FF111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
400 00 00 ~ 7F FF FF FF1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

如上表所示,汉字“文”的Unicode编码为0x6587,在0800~FFFF之间,所以UTF-8需要用3字节(1110xxxx 10xxxxxx 10xxxxxx)来表示,x使用0x6587的二进制表示来填充。最终,"文"的UTF-8编码为111001101001011010000111。

UTF-8兼容ASCII。

UTF-8中英文通常占3个字节。

UTF-8详解