首页 > 代码库 > 字符串哈希 (转载)

字符串哈希 (转载)

基本概念
所谓完美哈希函数,就是指没有冲突的哈希函数,即对任意的 key1 != key2 有h(key1) != h(key2)。
设定义域为X,值域为Y, n=|X|,m=|Y|,那么肯定有m>=n,如果对于不同的key1,key2属于X,有h(key1)!=h(key2),那么称h为完美哈希函数,当m=n时,h称为最小完美哈希函数(这个时候就是一一映射了)。

在处理大规模字符串数据时,经常要为每个字符串分配一个整数ID。这就需要一个字符串的哈希函数。怎么样找到一个完美的字符串hash函数呢?
有一些常用的字符串hash函数。像BKDRHash,APHash,DJBHash,JSHash,RSHash,SDBMHash,PJWHash,ELFHash等等。都是比较经典的。

下面是转载的对几个常用字符串hash函数的分析:
http://www.cnblogs.com/atlantis13579/archive/2010/02/06/1664792.html

常用的字符串Hash函数还有ELFHash,APHash等等,都是十分简单有效的方法。这些函数使用位运算使得每一个字符都对最后的函数值产生影响。另外还有以MD5和SHA1为代表的杂凑函数,这些函数几乎不可能找到碰撞。

常用字符串哈希函数有 BKDRHash,APHash,DJBHash,JSHash,RSHash,SDBMHash,PJWHash,ELFHash等等。对于以上几种哈希函数,我对其进行了一个小小的评测。

Hash函数数据1数据2数据3数据4数据1得分数据2得分数据3得分数据4得分平均分
BKDRHash20477448196.5510090.9582.0592.64
APHash23475449396.5588.4610051.2886.28
DJBHash22497547496.5592.31010083.43
JSHash14476150610084.6296.8317.9581.94
RSHash10486150510010051.5820.5175.96
SDBMHash32484950493.192.3157.0123.0872.41
PJWHash302648785130043.89021.95
ELFHash302648785130043.89021.95

其中数据1为100000个字母和数字组成的随机串哈希冲突个数。数据2为100000个有意义的英文句子哈希冲突个数。数据3为数据1的哈希值与 1000003(大素数)求模后存储到线性表中冲突的个数。数据4为数据1的哈希值与10000019(更大素数)求模后存储到线性表中冲突的个数。

经过比较,得出以上平均得分。平均数为平方平均数。可以发现,BKDRHash无论是在实际效果还是编码实现中,效果都是最突出的。APHash也是较为优秀的算法。DJBHash,JSHash,RSHash与SDBMHash各有千秋。PJWHash与ELFHash效果最差,但得分相似,其算法本质是相似的。

 

  1 unsigned int SDBMHash(char *str)  2 {  3     unsigned int hash = 0;  4    5     while (*str)  6     {  7         // equivalent to: hash = 65599*hash + (*str++);  8         hash = (*str++) + (hash << 6) + (hash << 16) - hash;  9     } 10   11     return (hash & 0x7FFFFFFF); 12 } 13   14 // RS Hash Function 15 unsigned int RSHash(char *str) 16 { 17     unsigned int b = 378551; 18     unsigned int a = 63689; 19     unsigned int hash = 0; 20   21     while (*str) 22     { 23         hash = hash * a + (*str++); 24         a *= b; 25     } 26   27     return (hash & 0x7FFFFFFF); 28 } 29   30 // JS Hash Function 31 unsigned int JSHash(char *str) 32 { 33     unsigned int hash = 1315423911; 34   35     while (*str) 36     { 37         hash ^= ((hash << 5) + (*str++) + (hash >> 2)); 38     } 39   40     return (hash & 0x7FFFFFFF); 41 } 42   43 // P. J. Weinberger Hash Function 44 unsigned int PJWHash(char *str) 45 { 46     unsigned int BitsInUnignedInt = (unsigned int)(sizeof(unsigned int) * 8); 47     unsigned int ThreeQuarters    = (unsigned int)((BitsInUnignedInt  * 3) / 4); 48     unsigned int OneEighth        = (unsigned int)(BitsInUnignedInt / 8); 49     unsigned int HighBits         = (unsigned int)(0xFFFFFFFF) << (BitsInUnignedInt - OneEighth); 50     unsigned int hash             = 0; 51     unsigned int test             = 0; 52   53     while (*str) 54     { 55         hash = (hash << OneEighth) + (*str++); 56         if ((test = hash & HighBits) != 0) 57         { 58             hash = ((hash ^ (test >> ThreeQuarters)) & (~HighBits)); 59         } 60     } 61   62     return (hash & 0x7FFFFFFF); 63 } 64   65 // ELF Hash Function 66 unsigned int ELFHash(char *str) 67 { 68     unsigned int hash = 0; 69     unsigned int x    = 0; 70   71     while (*str) 72     { 73         hash = (hash << 4) + (*str++); 74         if ((x = hash & 0xF0000000L) != 0) 75         { 76             hash ^= (x >> 24); 77             hash &= ~x; 78         } 79     } 80   81     return (hash & 0x7FFFFFFF); 82 } 83   84 // BKDR Hash Function 85 unsigned int BKDRHash(char *str) 86 { 87     unsigned int seed = 131; // 31 131 1313 13131 131313 etc.. 88     unsigned int hash = 0; 89   90     while (*str) 91     { 92         hash = hash * seed + (*str++); 93     } 94   95     return (hash & 0x7FFFFFFF); 96 } 97   98 // DJB Hash Function 99 unsigned int DJBHash(char *str)100 {101     unsigned int hash = 5381;102  103     while (*str)104     {105         hash += (hash << 5) + (*str++);106     }107  108     return (hash & 0x7FFFFFFF);109 }110  111 // AP Hash Function112 unsigned int APHash(char *str)113 {114     unsigned int hash = 0;115     int i;116  117     for (i=0; *str; i++)118     {119         if ((i & 1) == 0)120         {121             hash ^= ((hash << 7) ^ (*str++) ^ (hash >> 3));122         }123         else124         {125             hash ^= (~((hash << 11) ^ (*str++) ^ (hash >> 5)));126         }127     }128  129     return (hash & 0x7FFFFFFF);130 }
View Code

 

 1 //用跟元素个数最接近的质数作为散列表的大小 2 #define NHASH 29989 3 #define MULT 31 4  5 unsigned in hash(char *p) 6 { 7     unsigned int h = 0; 8     for (; *p; p++) 9         h = MULT *h + *p;10     return h % NHASH;11 }
View Code