首页 > 代码库 > Windows平台字符的存储和输出分析

Windows平台字符的存储和输出分析

1. 引言

(写于2011-07-30)
在Windows NT系列的操作系统中最常用的两种字符集是ANSI和Unicode。ANSI是一种泛称,每一个国家或地区的ANSI编码都不一样,比如在Windows XP简体中文版中,ANSI的编码为GBK,而在Windows XP日文版中ANSI的编码是JIS。Unicode的全称是Universal Multiple-Octet Coded Character Set,中文含义是“通用多八位编码字符集”。Unicode的目标是为世界是所有的字符提供一套唯一的、统一的字符编码,所以不管理在作保地方任何操作系统,一个确定字符的编码都是唯一的。由于Unicode采用大于等于2个字节来储存字符编码,所以有可能在不同的操作系统中储存的字节顺序不一样,可分为大端方式和小端方式。

存储方式

以“中文”两个汉字举例说明,在Windows XP简体中文版中,“中文”两个字的ANSI/GBK和Unicode分别为:

字符

ANSI/GBK

0XD6D0

0XCEC4

Unicode

0X4E2D

0X6587

2. 内存中的储存方式

在VC中,定义字符有两种方式:char类型和wchar_t类型。char类型采用ANSI/GBK编码,而wchar_t采用Unicode编码,wchar_t也是常说的宽字符型。

定义如下两个字符串

char* str = "中文";wchar_t* wcstr = L"中文";

通过调试我们可以看到这两个字符串在内存中的储存方式。编译后,指针str所指向的地址为0x004188CC,“中文”两个字在内存中的表示方式为:d6 d0 ce c4,刚好是“中文”两个字的GBK码,从而可知,如一个字符串在VC中被定义为char*类型,那么字符将被编为ANSI/GBK码,如图 1所示。

技术分享

图 1 “中文”在内存中的ANSI编码

wchar_t类型指针wcstr所指向的地址为0x004188C4,如图 2所示。从图可知,在VC中,wchar_t类型的字符串将被编译为Unicode码,并按UTF-16小端方式储存。

技术分享

图 2 “中文”在内存中的Unicode编码

Unicode只规定了字符的编码,没有规定如何储存这些编码。储存Unicode码常用三种方式:

1、UTF-16小端方式:用两个字节储存Unicode码,低字节在前,高字节在后;

2、UTF-16大端方式:用两个字节储存Unicode码,高字节在前,低字节在后;

3、UTF-8:用1~4个字节按一定规则存放Unicode码,汉字需要用3个字节。

图 2中的“2d4e8765”正是“中文”两个汉字的Unicode码“4e2d6587”按UTF-16小端方式储存。

3. 磁盘中的储存方式

打开Windows记事本,输入“中文”两个字,在另存为对话框中的编码下拉框中分别选择ANSI、Unicode、Unicode big endian和UTF-8储存为四个文本文件,然后用十六进制文本编辑器打开,内容如下表

表 1

编码

十六进制内容

ANSI

D6 D0 CE C4

Unicode

FF FE 2D 4E 87 65

Unicode big endian

FE FF 4E 2D 65 87

UTF-8

EF BB BF E4 B8 AD E6 96 87

从表中可以看出,对于选择ANSI编码,会采用系统默认编码按大端方式直接储存,对于Windows XP简体中文版,系统默认编码是GBK,所以文件中储存的内容就是“中文”两个字的的GBK编码D6 D0 CE C4。

如果是Unicode编码,按照规定,要在文件的开头加上一个“ZERO WIDTH NO-BREAK SPACE”标识,可直译为“零宽度非换行空格”,目标是标识文件是以哪一种方式来储存Unicode码。“中文”的Unicode码为“4E2D 6587”常用三种方式储存

表 2

储存方式

字符串编码内容

UTF-16 Little Endian (小端)

2D4E 8765

UTF-16 Big Endian (大端)

4E2D 6587

UTF-8

E4B8AD E69687

注:UTF-8是变长的,储存一个字母要一个字节,一个汉字要三个字节;UTF-16是定长的,不管是储存一个字母还是一个汉字都需要两个字节,所以用UTF-16储存字母时会造成空间浪费。

这三种储存方式所对应的标识为

表 3

储存方式

对应的标识

UTF-16 Little Endian (小端)

FF FE

UTF-16 Big Endian (大端)

FE FF

UTF-8

EF BB BF

所以从表 1 可知,

1、 如果选择“Unicode”,会将字符串编译为Unicode码,按UTF-16小端方式储存;

2、 如果选择“Unicode big endian”,会将字符串编译为Unicode码,按UTF-16大端方式储存;

3、 如果选择“UTF-8”,会将字符串编译为Unicode码,按UTF-8方式储存。

从上面我们也可知道,如果一个文本文件的前两个字节是“FFFE”,那么这个文件一定是按小端方式储存字符的Unicode码,第三个字节是Unicode码的低字节,第四个字节是Unicode码的高字节,根据这两个高低字节就可以得出一个Unicode字符。第五个字节是第二个字符的Unicode码的低字节,第六个字节是第二个字符的Unicode码的高字节。

UTF-8码是将字符的Unicode码按一定规则存放到1~4个字节中,根据UFT-8码也可以得出字符的Unicode码,请别参考其他文档。

4. 字符的输出方式

知道字符在计算机如何编码,如何储存后,那么如何将这些输出呢?

4.1 Windows控制台的输出方式

Widows在内部维护了一块控制台输出缓冲区,如要要向控制台输出字符串,只要将字符串所对应的内存区域复制到控制台缓冲区,Windows就会以默认的字符编码将控制台缓冲区的内容输出到控制台窗口。对于Windows XP简体中文版,默认的字符编码是GBK,所以Windows会以GBK码的方式输出控制台缓冲区的内容。要想Windows XP简体中文版的控制台窗口能正确输出控制缓冲区的内容,那么必须保证复制到控制台缓冲区的字符编码是GBK码。

4.2 C/C++中将字符串输出到控制台

对于C语言的printf()函数和C++语言中的std::cout对象,其实都是调用系统“kernel32.dll”中的WriteConsole()函数,将字符串所对应的内存区域复制到控制台的缓冲区。

对于char*类型的字符串,C语言提供的输出函数是printf(),对于wchar_t*类型的字符串,C语言提供的输出函数是wprintf()。

在VC中,char*类型的字符被编译为ANSI(GBK)码,正好和输出缓冲区的编码类型一致,所以可以直接输出。对于wchar_t*类型字符串,VC在编译程序时,会将字符串编译为Unicode码,如果程序运行时,直接将字符串对应的内存区域复制到输出缓冲区,由于字符串的编码和控制台的默认编码不至,控制台将Unicode码当作GBK码输出到控制台时就会出现乱情况。

一个可行的办法是先将Unicode码转换成GBK码,然后再复制到控制台的输出缓冲区,这样就不会出现乱码的问题。

在C语言和C++语言中输出char*类型和wchar_t*类型的字符串

//C语言输出char*类型的字符串(ANSI/GBK)void cprintchar(const char* str){    printf("%s\n",str);}//C语言输出wchar_t*类型的字符串(Unicode)void cprintwchar(const wchar_t* wcstr){    //告诉程序控制台缓冲区使用哪种编码    //<locale.h>    setlocale(LC_ALL,"ZHI");    wprintf(L"%ls\n",wcstr);}//C++语言输出char*类型字符串(ANSI/GBK)void ccprintchar(const char* str){    std::cout << str << std::endl;}//C++语言输出wchar_t*类型字符串(Unicode)void ccprintwchar(const wchar_t* wcstr){    //告诉程序控制台缓冲区使用哪种编码    //需要<locale>    std::wcout.imbue(std::locale("ZHI"));    std::wcout << wcstr << std::endl;}

Windows平台字符的存储和输出分析