首页 > 代码库 > 编码问题学习【2】
编码问题学习【2】
多字节和宽字符
C++中string / char* ,wstring / wchar_t*
C++测试
window下面
char* cName = "北京市"; // 多字节转化成宽字符字符串! unsigned short wsName[50] = {0}; int wideCharCount = MultiByteToWideChar(CP_ACP, 0, (LPSTR)cName, -1, NULL, 0) - 1; MultiByteToWideChar(CP_ACP, 0, (LPSTR)cName, -1, (LPWSTR)wsName, wideCharCount + 1); for (int i=0; i<wideCharCount; i++) { printf("%d ", wsName[i]); }printf("\n");输出
21271 20140 24066
Linux下面
测试代码如下:
#include <stdlib.h> #include <stdio.h> #include <string.h> #include <locale.h> #include <iostream> #include <string> using namespace std; void multibyte_to_widechar_test(); void read_file(const char* fname); void dump_uchar(unsigned char ch); int main() { multibyte_to_widechar_test(); read_file("chs"); printf("any key pressed to exit...\n"); getchar(); return 0; } void multibyte_to_widechar_test() { typedef string str_t; str_t cur_loc = setlocale(LC_ALL, NULL); printf("cur_locale = %s\n", cur_loc.c_str()); setlocale(LC_ALL, "zh_CN.GBK"); char mb_buf[100]; strcpy(mb_buf, "北京市"); int mbstr_len = strlen(mb_buf); wchar_t* wcstr = NULL; int wcstr_len = mbstowcs(wcstr, mb_buf, 0) + 1; printf("mb_len = %d, wc_len = %d\n", mbstr_len, wcstr_len); wcstr = new wchar_t[wcstr_len]; int ret = mbstowcs(wcstr, mb_buf, mbstr_len); if (ret <= 0) { printf("转化失败\n"); } else { printf("转化成功\n"); // wsprintf(L"%ls\n", wcstr); printf("view1 =====\n"); for (int i=0; i<wcstr_len - 1; i++) { int code = (int)wcstr[i]; printf("%d\t", code); } printf("\n"); printf("view2 =====\n"); for (int i=0; i<wcstr_len - 1; i++) { int code = (int)wcstr[i]; dump_uchar( (unsigned char)(code/256) ); dump_uchar( (unsigned char)(code%256) ); } printf("\n"); } setlocale(LC_ALL, cur_loc.c_str()); } void dump_uchar(unsigned char ch) { const char* str = "0123456789abcdef"; printf("0x%c%c\t", str[ch/16], str[ch%16]); } void read_file(const char* fname) { FILE* fp = fopen(fname, "r"); if (!fp) { return; } printf("===============\n"); char buffer[100] = {0}; fgets(buffer, 100, fp); printf("%s", buffer); printf("view1 =========== \n"); int len = strlen(buffer) - 1; for (int i=0; i<len; i++) { dump_uchar((unsigned char)buffer[i]); }printf("\n"); printf("view2 =========== \n"); for (int i=0; i<len; i+=2) { unsigned char down = (unsigned char)buffer[i]; unsigned char high = (unsigned char)buffer[i+1]; printf("%d ", (high<<8)|down); } printf("\n"); fclose(fp); }multibyte_to_widechar_test函数将多字节编码转化成unicode编码。然后输出unicode串内容。
read_file尝试读取文件中字符串编码内容。
chs通过vi直接生成,内容为”北京市“,,/base_profile中设置如下:
export LC_ALL="zh_CN.GBK"所以chs文件的编码默认是gbk。
g++ test.cpp -o app_test,然后运行输出:
root@h10-xx-xx-xx:~/peteryfren/cpp/encode_app> ./app_test cur_locale = C mb_len = 6, wc_len = 4 转化成功 view1 ===== 21271 20140 24066 view2 ===== 0x53 0x17 0x4e 0xac 0x5e 0x02 =============== 北京市 view1 =========== 0xb1 0xb1 0xbe 0xa9 0xca 0xd0 view2 =========== 45489 43454 53450 any key pressed to exit...“北京市”的unicode编码值与window上输出一致。“北京市”的gbk2312编码为45489,43454,53450。
同时linux vi创建的文件编码为gbk,与base_profile中设置一致。
BTW linux下通过iconv将utf-8编码文件转化成unicode:
iconv -f UTF-8 -t GBK test.txt -o pp.txt
python2.7测试
>>> s = u'北京市' >>> s u'\u5317\u4eac\u5e02' >>> gbks = '北京市' >>> gbks '\xb1\xb1\xbe\xa9\xca\xd0' >>> s.encode('utf-8') '\xe5\x8c\x97\xe4\xba\xac\xe5\xb8\x82'
2.7下面加u表示unicode编码,不加u使用了gbk编码。
python3.3下面不能输出字符串的字节码,
>>s
等价于,
>>print(s)
windows文本编码验证
1. ANSI
使用windows自带的记事本创建一个默认的txt,叫npd.txt
用UE打开,16进制视图下:
此时文件中中文编码为gbk2312编码。与Linux上文件编码输出一致。
2. unicode
记事本打开npd.txt,然后另存为,此时可以看到编码是ANSI,选择unicode,另存为npd_u.txt
unicode编码,内容与上文中windows、linux上输出一致。
3,utf-8
同样打开npd.txt,另存为,编码选择utf-8,另存为npd_utf8.txt
utf-8输出与python中实验一致,这个是肯定的。
字符串编码问题学习 http://blog.csdn.net/ryfdizuo/article/details/17324051
参考
1. http://blog.csdn.net/xiaobai1593/article/details/7063535
2. GBK2312编码表参见:http://ff.163.com/newflyff/gbk-list/
3. unicode编码表参见:http://jlqzs.blog.163.com/blog/static/2125298320070101826277/
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。