首页 > 代码库 > bitmap与2-bitmap使用总结
bitmap与2-bitmap使用总结
bitmap是一种简单的数据结构,但在存储空间压缩方面却使用广泛。
bitmap就是用一个bit位来标记某个元素是否存在:1表示存在,0表示不存在;而2-bitmap就是用两个bit为来标记某个元素出现的次数:00出现0次,01出现1次,10出现2次及其以上,11无意义。
2-bitmap在内存中的表示如下:
[0] [1] [2] ……
|00 00 00 00|00 00 00 00|00 00 00 00| ……
3 2 1 0 7 6 5 4 11 10 9 8 ……
任何一个可采用数组作为辅助标记来解决的问题都可以用bitmap来解决,因为用数组的每一个元素作为标记的话,用bit同样可以作为标记。当数据量比较小时,有时候为了操作方便,可直接采用数组。但当数据量很大的时候,因为内存大小的原因或题目限定了可用内存大小,数组就再没法解决我们的问题, 而此时bitmap就显示出其空间压缩的威力了:如果用char型的数组,标记同样范围内的数bitmap最多可以节省8倍空间,2-bitmap可节省4倍空间。若采用int型的数组,bitmap和2-bitmap可以分别最多节省32倍、16倍的空间。
bitmap能用来处理以下问题:
(1)、字符串方面
1、C语言str系列库函数之strtok()、strspn()、strcspn()和strpbrk()函数都用到了bitmap。详见C语言str系列库函数之strtok()、C语言str系列库函数之strspn()、strcspn()和strpbrk();
2、判断一个字符串B中的字符是否都在另一个字符串A中出现(网上能搜到)。跟上面第1条博文链接里的十分类似。
3、在一个字符串中找到第一个只出现一次的字符(google面试题、网上能搜到)。
可以用26维的数组统计26个字母出现的次数,然后顺序查找统计表直到查到到结果为1的就是要查到的字符。
也可以采用2-bitmap,更节省空间。
(2)、大数据
1、在2.5亿个整数找出不重复的整数,内存不足以容纳着2.5亿个整数
2、腾讯面试题:给40亿个不重复的unsigned int的整数,没排过序的,然后再给一个数,如何快速判断这个数是否在那40亿个数当中?
对于问题1,整数可能是正数也可能是负数,首先只考虑正整数情况,采用2Bitmap方法,用00表示不存在,01表示出现1次,10表示出现2次及以上,此方法总共需要的内存2^31*2bit = 1Gb = 128MB(32位的正整数有2^31个,每个存储需要2bit,所以就是1Gb,换成字节就是128MB),这样内存就应该能够容纳了,最后在处理完所有的数后,只要输出对应位为01的数即可。如果这2.5亿个数里面既有正数又有负数那么就用两个2Bitmap分别存储正数和负数(取绝对值存储),零就随便放,这是所需要的内存是256MB。
对于问题2,直接用Bitmap即可,0表示存在,1表示不存在。
更多关于用bitmap来解决问题的博文:十七道海量数据处理面试题与Bit-map详解、http://blog.csdn.net/v_july_v/article/details/7382693
2-bitmap的使用关键在于如何操纵位,下面是一个示例代码:
#include <stdio.h> #include <memory.h> #include <stdlib.h> #define N 1024*1024*1024 unsigned char bitmap[1 + N / 4]; //2-bitmap void set(int x,int num) { int m = x >> 2; //x / 4; int n = x & 0x3; //x % 4; //bitmap[m] &= ~((0x3<<(2*n)) & 0xff); //bitmap[m] |= ((num&0x3)<<(2*n) & 0xff); bitmap[m] &= ~(0x3 << (2*n)); bitmap[m] |= ((num & 0x3) << (2*n)); } void clear(int x) { int m = x >> 2; //x / 4; int n = x & 0x3; //x % 4; //bitmap[m] &= ~((0x3<<(2*n)) & 0xff); //0xff可以去掉 bitmap[m] &= ~(0x3 << (2*n)); } unsigned get(int x) { int m = x >> 2; int n = x & 0x3; return (bitmap[m] & (0x3 << (2*n))) >> (2*n); } void add(int x) { set(x, get(x) + 1); } int main() { int a[8] = {1, 3, 1, 4, 5, 5, 5, 5}; //找出数组a中不重复的元素 memset(bitmap, 0, sizeof(bitmap)); //清空位图 for (int i = 0;i < 8; i++) { unsigned val = get(a[i]); //00、01、10 if (val <= 1) //a[i]在bitmap的位序列为10时表示出现最少2次 set(a[i], val+1); } //现在可以查看每个元素出现的次数 for (int i = 0;i < 8; i++) printf("%d %d\n", a[i], get(a[i])); putchar('\n'); //如果要判断某个数x是否存在于数组a中,直接判断get(x)的值 //get(x) > 0 ? 存在 : 不存在 //下面的代码输出在a数组中仅出现1次的数 for (int i = 0; i < 2;i++) //这里实际上只需要用到16bit for(int j = 0; j < 4; j++) { int x = (i << 2 | (j & 0x3)); //得到存在这个位置的数是多大 int val = get(x); if (val == 1) printf("%d ", x); } getchar(); return 0; }
参考:http://blog.csdn.net/acceptedxukai/article/details/9025493