首页 > 代码库 > Windows平台字符的存储和输出分析
Windows平台字符的存储和输出分析
1. 引言
(写于2011-07-30)
在Windows NT系列的操作系统中最常用的两种字符集是ANSI和Unicode。ANSI是一种泛称,每一个国家或地区的ANSI编码都不一样,比如在Windows XP简体中文版中,ANSI的编码为GBK,而在Windows XP日文版中ANSI的编码是JIS。Unicode的全称是Universal Multiple-Octet Coded Character Set,中文含义是“通用多八位编码字符集”。Unicode的目标是为世界是所有的字符提供一套唯一的、统一的字符编码,所以不管理在作保地方任何操作系统,一个确定字符的编码都是唯一的。由于Unicode采用大于等于2个字节来储存字符编码,所以有可能在不同的操作系统中储存的字节顺序不一样,可分为大端方式和小端方式。
存储方式
以“中文”两个汉字举例说明,在Windows XP简体中文版中,“中文”两个字的ANSI/GBK和Unicode分别为:
字符 | 中 | 文 |
ANSI/GBK | 0XD6D0 | 0XCEC4 |
Unicode | 0X4E2D | 0X6587 |
2. 内存中的储存方式
在VC中,定义字符有两种方式:char类型和wchar_t类型。char类型采用ANSI/GBK编码,而wchar_t采用Unicode编码,wchar_t也是常说的宽字符型。
定义如下两个字符串
char* str = "中文";wchar_t* wcstr = L"中文";
通过调试我们可以看到这两个字符串在内存中的储存方式。编译后,指针str所指向的地址为0x004188CC,“中文”两个字在内存中的表示方式为:d6 d0 ce c4,刚好是“中文”两个字的GBK码,从而可知,如一个字符串在VC中被定义为char*类型,那么字符将被编为ANSI/GBK码,如图 1所示。
图 1 “中文”在内存中的ANSI编码
wchar_t类型指针wcstr所指向的地址为0x004188C4,如图 2所示。从图可知,在VC中,wchar_t类型的字符串将被编译为Unicode码,并按UTF-16小端方式储存。
图 2 “中文”在内存中的Unicode编码
Unicode只规定了字符的编码,没有规定如何储存这些编码。储存Unicode码常用三种方式:
1、UTF-16小端方式:用两个字节储存Unicode码,低字节在前,高字节在后;
2、UTF-16大端方式:用两个字节储存Unicode码,高字节在前,低字节在后;
3、UTF-8:用1~4个字节按一定规则存放Unicode码,汉字需要用3个字节。
图 2中的“2d4e8765”正是“中文”两个汉字的Unicode码“4e2d6587”按UTF-16小端方式储存。
3. 磁盘中的储存方式
打开Windows记事本,输入“中文”两个字,在另存为对话框中的编码下拉框中分别选择ANSI、Unicode、Unicode big endian和UTF-8储存为四个文本文件,然后用十六进制文本编辑器打开,内容如下表
表 1
编码 | 十六进制内容 |
ANSI | D6 D0 CE C4 |
Unicode | FF FE 2D 4E 87 65 |
Unicode big endian | FE FF 4E 2D 65 87 |
UTF-8 | EF BB BF E4 B8 AD E6 96 87 |
从表中可以看出,对于选择ANSI编码,会采用系统默认编码按大端方式直接储存,对于Windows XP简体中文版,系统默认编码是GBK,所以文件中储存的内容就是“中文”两个字的的GBK编码D6 D0 CE C4。
如果是Unicode编码,按照规定,要在文件的开头加上一个“ZERO WIDTH NO-BREAK SPACE”标识,可直译为“零宽度非换行空格”,目标是标识文件是以哪一种方式来储存Unicode码。“中文”的Unicode码为“4E2D 6587”常用三种方式储存
表 2
储存方式 | 字符串编码内容 |
UTF-16 Little Endian (小端) | 2D4E 8765 |
UTF-16 Big Endian (大端) | 4E2D 6587 |
UTF-8 | E4B8AD E69687 |
注:UTF-8是变长的,储存一个字母要一个字节,一个汉字要三个字节;UTF-16是定长的,不管是储存一个字母还是一个汉字都需要两个字节,所以用UTF-16储存字母时会造成空间浪费。
这三种储存方式所对应的标识为
表 3
储存方式 | 对应的标识 |
UTF-16 Little Endian (小端) | FF FE |
UTF-16 Big Endian (大端) | FE FF |
UTF-8 | EF BB BF |
所以从表 1 可知,
1、 如果选择“Unicode”,会将字符串编译为Unicode码,按UTF-16小端方式储存;
2、 如果选择“Unicode big endian”,会将字符串编译为Unicode码,按UTF-16大端方式储存;
3、 如果选择“UTF-8”,会将字符串编译为Unicode码,按UTF-8方式储存。
从上面我们也可知道,如果一个文本文件的前两个字节是“FFFE”,那么这个文件一定是按小端方式储存字符的Unicode码,第三个字节是Unicode码的低字节,第四个字节是Unicode码的高字节,根据这两个高低字节就可以得出一个Unicode字符。第五个字节是第二个字符的Unicode码的低字节,第六个字节是第二个字符的Unicode码的高字节。
UTF-8码是将字符的Unicode码按一定规则存放到1~4个字节中,根据UFT-8码也可以得出字符的Unicode码,请别参考其他文档。
4. 字符的输出方式
知道字符在计算机如何编码,如何储存后,那么如何将这些输出呢?
4.1 Windows控制台的输出方式
Widows在内部维护了一块控制台输出缓冲区,如要要向控制台输出字符串,只要将字符串所对应的内存区域复制到控制台缓冲区,Windows就会以默认的字符编码将控制台缓冲区的内容输出到控制台窗口。对于Windows XP简体中文版,默认的字符编码是GBK,所以Windows会以GBK码的方式输出控制台缓冲区的内容。要想Windows XP简体中文版的控制台窗口能正确输出控制缓冲区的内容,那么必须保证复制到控制台缓冲区的字符编码是GBK码。
4.2 C/C++中将字符串输出到控制台
对于C语言的printf()函数和C++语言中的std::cout对象,其实都是调用系统“kernel32.dll”中的WriteConsole()函数,将字符串所对应的内存区域复制到控制台的缓冲区。
对于char*类型的字符串,C语言提供的输出函数是printf(),对于wchar_t*类型的字符串,C语言提供的输出函数是wprintf()。
在VC中,char*类型的字符被编译为ANSI(GBK)码,正好和输出缓冲区的编码类型一致,所以可以直接输出。对于wchar_t*类型字符串,VC在编译程序时,会将字符串编译为Unicode码,如果程序运行时,直接将字符串对应的内存区域复制到输出缓冲区,由于字符串的编码和控制台的默认编码不至,控制台将Unicode码当作GBK码输出到控制台时就会出现乱情况。
一个可行的办法是先将Unicode码转换成GBK码,然后再复制到控制台的输出缓冲区,这样就不会出现乱码的问题。
在C语言和C++语言中输出char*类型和wchar_t*类型的字符串
//C语言输出char*类型的字符串(ANSI/GBK)void cprintchar(const char* str){ printf("%s\n",str);}//C语言输出wchar_t*类型的字符串(Unicode)void cprintwchar(const wchar_t* wcstr){ //告诉程序控制台缓冲区使用哪种编码 //<locale.h> setlocale(LC_ALL,"ZHI"); wprintf(L"%ls\n",wcstr);}//C++语言输出char*类型字符串(ANSI/GBK)void ccprintchar(const char* str){ std::cout << str << std::endl;}//C++语言输出wchar_t*类型字符串(Unicode)void ccprintwchar(const wchar_t* wcstr){ //告诉程序控制台缓冲区使用哪种编码 //需要<locale> std::wcout.imbue(std::locale("ZHI")); std::wcout << wcstr << std::endl;}
Windows平台字符的存储和输出分析