首页 > 代码库 > unicode gbk utf-8的差异
unicode gbk utf-8的差异
GB2312(1980年)定义,包含6763个汉字,682个字符
GBK1.0 定义了21003个汉字,21886个字符
ASCII->GB2312->GBK 编码方式向后兼容,即同一个字符在这些编码方案中总是有相同的编码,只是越到后面支持的字符更多
区分中文编码的方法是高字节的最高位不为0(@todo),两个字节的最高位都是1
GB2312,GBK都属于双字节字符集
GB18030(2000年)取代GBK1.0成为正式的国家标准,定义了27484个汉字。编码采用单字节,双字节,四字节(四字节码位,收入了CJK扩展的6582个汉字)
CJK(中日韩)扩展 unicode (0x3400—0x4db5)
unicode 为节省码位,将中日韩三国语言中的文字统一编码
GB2312的原始编码是区位码,从区位码到内码,需要在高字节和低字节上分别加上 “A0”。
GB2312 用区位码表示,用两个数来编码汉字和中文符号(第一个为区,第二个为位)
内码是指OS内部的编码(早起和语言相关,现在都使用unicode了,已经无关了)
任何字符编码,编码单元的顺序都是有编码方案制定的,与endian(字节序)无关。
例如:
GBK 编码单元是字节,用两个字节表示一个汉字,这两个字节的顺序是固定的,不受CPU字节序(endian)的影响。
utf-16 编码单元是word(字),word之间的顺序是由编码方案制定的,word内部的顺序收到endian(字节序)的影响。
DBCS字符流解析,遇到最高位为1的字节,就将下两个字节作为双字节编码。
unicode 只与 ASCII 兼容, 与GB不兼容
eg: “汉” 的编码
unicode 6c49
GB BABA
unicode 是一种字符编码方法(兼容世界上所有语言的编码方案)
全称:universal multiple-octet coded character set
简称:USC: unicode character set
unicode 2.0 (1991年)采用 iso-10646-1相同的字库和编码
unicode 最新版本 unicode 4.0(2005年)
USC 规定了如何编码,并未规定如何传输和保存编码
内码和code page
windows内核已经支持unicode
windows 曾经使用 code page 适应国际化(支持单字节和双字节编码),但GB180031有一部分是四字解编码的,故code page 无法真正使用。
USC 两种格式 USC-2(双字节), USC-4(四字节,实际上只用31位,最高位必须为0)
utf-8 以8位为单元对USC进编码(以字节为单元,没有字节序(endian)的问题)
utf-16 以16为单位对USC进行编码,需要知道编码单元的字节序
unicode中标记字节序的方法BOM (bill of mark)
FFFE zero width no-break space, 在USC中不存在(不该出现在实际的传输中)
如果收到 FEFF 表明是 big-endian,如果收到 FFFE 表明是 little-endian
utf-8 不需要 BOM 表明字节序
但可以用BOM来表明编码方式
字符 zero width no-break space 的utf-8是 EF BB BF 故接收者收到 EF BB BF开头的字节流表明是utf-8编码
windows 用BOM标记文本文件的编码方式
字节长度
utf-8 中文(3字节) 英文(1字节)
gbk 每个字符(2字节),中文高位为1
故英文多的站点使用utf-8编码可以节省空间。
@todo
GBK 不用双字节表示, 00-07 是一位于ASCII一致,96个文字,32个控制符号
unicode 将所有文字都用2个字节表示(编码),编码空间为2^8*2^8=65536
释义
endian 字节序
big-endian 大字节序
little-endian 小字节序
参考:
unicode, gbk, utf-8区别:http://www.cnblogs.com/cy163/archive/2007/05/31/766886.html
unicode gbk utf-8的差异