首页 > 代码库 > unicode gbk utf-8的差异

unicode gbk utf-8的差异

GB2312(1980年)定义,包含6763个汉字,682个字符

GBK1.0 定义了21003个汉字,21886个字符

ASCII->GB2312->GBK 编码方式向后兼容,即同一个字符在这些编码方案中总是有相同的编码,只是越到后面支持的字符更多

区分中文编码的方法是高字节的最高位不为0(@todo),两个字节的最高位都是1

GB2312,GBK都属于双字节字符集

 

GB18030(2000年)取代GBK1.0成为正式的国家标准,定义了27484个汉字。编码采用单字节,双字节,四字节(四字节码位,收入了CJK扩展的6582个汉字)

CJK(中日韩)扩展 unicode (0x3400—0x4db5)

unicode 为节省码位,将中日韩三国语言中的文字统一编码

 

GB2312的原始编码是区位码,从区位码到内码,需要在高字节和低字节上分别加上 “A0”。

GB2312 用区位码表示,用两个数来编码汉字和中文符号(第一个为区,第二个为位)

内码是指OS内部的编码(早起和语言相关,现在都使用unicode了,已经无关了)

 

任何字符编码,编码单元的顺序都是有编码方案制定的,与endian(字节序)无关。

例如:

GBK 编码单元是字节,用两个字节表示一个汉字,这两个字节的顺序是固定的,不受CPU字节序(endian)的影响。

utf-16 编码单元是word(字),word之间的顺序是由编码方案制定的,word内部的顺序收到endian(字节序)的影响。

DBCS字符流解析,遇到最高位为1的字节,就将下两个字节作为双字节编码。

 

unicode 只与 ASCII 兼容, 与GB不兼容

eg: “汉” 的编码

unicode   6c49

GB          BABA

 

unicode 是一种字符编码方法(兼容世界上所有语言的编码方案)

全称:universal multiple-octet coded character set

简称:USC: unicode character set

unicode 2.0 (1991年)采用 iso-10646-1相同的字库和编码

unicode 最新版本 unicode 4.0(2005年)

USC 规定了如何编码,并未规定如何传输和保存编码

 

内码和code page

windows内核已经支持unicode

windows 曾经使用 code page 适应国际化(支持单字节和双字节编码),但GB180031有一部分是四字解编码的,故code page 无法真正使用。

 

USC 两种格式 USC-2(双字节), USC-4(四字节,实际上只用31位,最高位必须为0)

 

utf-8 以8位为单元对USC进编码(以字节为单元,没有字节序(endian)的问题)

utf-16 以16为单位对USC进行编码,需要知道编码单元的字节序

 

unicode中标记字节序的方法BOM (bill of mark)

FFFE    zero width no-break space, 在USC中不存在(不该出现在实际的传输中)

如果收到 FEFF 表明是 big-endian,如果收到 FFFE 表明是 little-endian

utf-8 不需要 BOM 表明字节序

但可以用BOM来表明编码方式

字符 zero width no-break space 的utf-8是 EF BB BF 故接收者收到 EF BB BF开头的字节流表明是utf-8编码

windows 用BOM标记文本文件的编码方式

 

字节长度

utf-8     中文(3字节)   英文(1字节)

gbk       每个字符(2字节),中文高位为1

故英文多的站点使用utf-8编码可以节省空间。

 

@todo

GBK 不用双字节表示, 00-07 是一位于ASCII一致,96个文字,32个控制符号

unicode 将所有文字都用2个字节表示(编码),编码空间为2^8*2^8=65536

 

 

释义

endian 字节序

big-endian 大字节序

little-endian 小字节序


参考:
unicode, gbk, utf-8区别:http://www.cnblogs.com/cy163/archive/2007/05/31/766886.html

unicode gbk utf-8的差异