首页 > 代码库 > 【转】hash_map介绍与使用

【转】hash_map介绍与使用

转自:http://blog.csdn.net/holybin/article/details/26050897

0 概述

虽然hash_map和map都是STL的一部分,但是目前的C++标准(C++11)中只有map而没有hash_map,可以说STL只是部分包含于目前的C++标准中。主流的GNU C++和MSVC++出于编译器扩展的目的实现了hash_map,SGI有hash_map的实现,Boost也有类似于hash_map的unordered_map实现,google有dense hash_map和sparse hash_map两种实现(前者重时间效率,后者重空间效率)。罗列如下:

(1)SGI的hash_map:http://www.sgi.com/tech/stl/hash_map.html。本文中以SGI的hash_map为例子进行说明。

(2)GNU C++的hash_map:

https://gcc.gnu.org/onlinedocs/libstdc++/libstdc++-html-USERS-4.1/class____gnu__cxx_1_1hash__map.html

(3)MSVC++的hash_map:msdn.microsoft.com/en-us/library/bb398039.aspx(VS中自带的就是这个)

(4)Boost的unordered_map(头文件:<boost/unordered_map.hpp>):

http://www.boost.org/doc/libs/1_55_0/doc/html/boost/unordered_map.html

(5)google的sparsehash和densehash:http://code.google.com/p/sparsehash/source/browse/trunk/src/google/?r=98

1 与map定义对比

相同点:二者都是STL中的关联容器,且都具有以下两个性质:

a.键值形式,即元素类型都是键值形式:pair<const Key, Data>;

b.键唯一性,即没有两个元素有相同的键:key。

不同点:

hash_map是一种将对象的值data和键key关联起来的哈希关联容器(Hashed Associative Container),而map是一种将对象的值data和键key关联起来的排序关联容器(Sorted Associative Container)。所谓哈希关联容器是使用hash table实现的关联容器,它不同于一般的排序关联容器:哈希关联容器的元素没有特定的顺序,大部分操作的最差时间复杂度为O(n),平均时间复杂度为常数,所以在不要求排序而只要求存取的应用中,哈希关联容器的效率要远远高于排序关联容器。


2 与map实现对比

map的底层是用红黑树实现的,操作的时间复杂度是O(log(n))级别;hash_map的底层是用hash table实现的,操作的时间复杂度是常数级别

3 与map应用对比

在元素数量达到一定数量级时如果要求效率优先,则采用hash_map。但是注意:虽然hash_map 操作速度比map的速度快,但是hash函数以及解决冲突都需要额外的执行时间,且hash_map构造速度慢于map。其次,hash_map由于基于hash table,显然是空间换时间,因此hash_map对内存的消耗高于map。所以选择时需要权衡三个因素:速度,数据量,内存。

4 重点介绍hash_map

(1)hash_map原理

hash_map使用hash table来实现,首先分配内存,形成许多bucket用来存放元素,然后利用hash函数,对元素的key进行映射,存放到对应的bucket内。这其中hash函数用于定址,额外的比较函数用于解决冲突。该过程可以描述为:

a.计算元素的key

b.通过hash函数对key进行映射(常见的为取模),得到hash值,即为对应的bucket索引

c.存放元素的key和data在bucket内。

对应的查询过程是:

a.计算元素的key

b.通过hash函数对key进行映射(常见的为取模),得到hash值,即为对应的bucket索引

c.比较bucket内元素的key’与该key相等,若不相等则没有找到。

d.若相等则取出该元素的data。

所以实现hash_map最重要的两个东西就是hash函数和比较函数。以下以SGI的hash_map为例子进行说明。

(2)hash_map类定义

map构造时只需要比较函数(小于函数),hash_map构造时需要定义hash函数和比较函数(等于函数)。SGI中hash_map定义于stl_hash_map.h,定义为:

// Forward declaration of equality operator; needed for friend declaration.template <class _Key, class _Tp,  class _HashFcn  __STL_DEPENDENT_DEFAULT_TMPL(hash<_Key>),  class _EqualKey __STL_DEPENDENT_DEFAULT_TMPL(equal_to<_Key>),  class _Alloc =  __STL_DEFAULT_ALLOCATOR(_Tp) >  class hash_map;  ......  template <class _Key, class _Tp, class _HashFcn, class _EqualKey,  class _Alloc>  class hash_map  {  ......  }

其中,参数1和参数2分别为键和值,参数3和参数4分别为hash函数和比较函数,实际上STL中使用结构体来封装这两个函数,用户可以自定义这两个结构体,也可以采用提供的默认值。参数5是hash_map的allocator,用于内部内存管理。

下面分三种情况说明这2个函数的使用:默认hash和比较函数,自定义hash函数,自定义比较函数。

(3)默认hash和比较函数
// SGI hash_map definition#include "hash_map.h"int main()  {  //use class as Compare    hash_map<const char*, int> months;      months["january"] = 31;      months["february"] = 28;      months["march"] = 31;      months["april"] = 30;      months["may"] = 31;      months["june"] = 30;      months["july"] = 31;      months["august"] = 31;      months["september"] = 30;      months["october"] = 31;      months["november"] = 30;      months["december"] = 31;  return 0;  }

从上面hash_map的定义可以看出,这里采用了默认的hash函数(hash<_Key>)和比较函数(equal_to<_Key>),对于这个例子:

hash_map<const char*, int> months;

就等同于

hash_map<const char*, int, hash<const char*>, equal_to< const char* >> months;
(4)自定义hash函数

首先SGI的STL提供了这些默认的hash函数,均定义在stl_hash_fun.h中:

//默认hash函数struct hash<char*>  struct hash<const char*>  struct hash<char>   struct hash<unsigned char>   struct hash<signed char>  struct hash<short>  struct hash<unsigned short>   struct hash<int>   struct hash<unsigned int>  struct hash<long>   struct hash<unsigned long>

其次,自定义hash函数时,定义一个结构体,名字任意,结构体中重载operator(),参数为自定义键的类型的对象引用。在定义hash_map的时候,将该结构体传给第三个参数即可。假设自定义键的类型为KeyClass,则如下所示:

#include "hash_map.h"struct my_hash  {  size_t operator()(const KeyClass& x) const    {          ......      }  };  //hash_map定义hash_map<KeyClass, ..., my_hash, ...> my_hash_map;

基于上面默认的例子,自定义一个string类型的hash函数:

#include "hash_map.h"//直接调用系统定义的字符串hash函数"__stl_hash_string":struct str_hash  {  size_t operator()(const string& str) const    {  return return __stl_hash_string(str.c_str());      }  };  //或者自己写:struct str_hash  {  size_t operator()(const string& str) const    {          unsigned long __h = 0;  for (size_t i = 0 ; i < str.size() ; i ++)              __h = 5*__h + str[i];  return size_t(__h);      }  };  //上面默认例子中的months可以改成:hash_map<string, int, str_hash> my_months;
(5)自定义比较函数

首先SGI的STL提供了默认的比较函数,定义在stl_function.h中:

//默认比较函数template <class _Tp>  struct equal_to : public binary_function<_Tp,_Tp,bool>   {  bool operator()(const _Tp& __x, const _Tp& __y) const { return __x == __y; }  };  // binary_function函数声明template <class _Arg1, class _Arg2, class _Result>  struct binary_function {  typedef _Arg1 first_argument_type;  typedef _Arg2 second_argument_type;  typedef _Result result_type;  };

其次,自定义比较函数时,有两种方法:重载operator==操作符实现元素(键值对)相等的比较;自定义比较函数结构体来重载operator()(与自定义hash函数类似)。

第一种方法,假设要比较的元素有两个字段iID和len:

struct my_element   {   int iID;   int len;   bool operator==(const my_element& e) const     {   return (iID==e.iID) && (len==e.len) ;       }   };

第二种方法:参数为两个自定义键类型的对象引用,在函数中实现对两个对象是否相等的比较。在定义hash_map的时候,将比较函数的结构体传给第四个参数即可。假设自定义键的类型为KeyClass,自定义hash函数结构体为my_hash ,自定义比较函数结构体为my_compare,则如下所示:

#include "hash_map.h" struct my_ compare   {   bool operator()(const KeyClass& x, const KeyClass& y) const     {   //比较x和y     }   };   //hash_map定义 hash_map<KeyClass, ..., my_hash, my_compare > my_hash_map;

同样的,基于上面默认的例子,采用第二种方法自定义比较函数:

#include "hash_map.h" //1.采用const char*作为键类型 //注意:这里可以直接采用默认的hash<const char*>函数 //定义const char*的比较函数 struct str_compare   {   bool operator()(const char* s1, const char* s2) const   {   return strcmp(s1, s2) == 0;     }   };   //上面默认例子中的months可以改成: hash_map<const char*, int, hash<const char*>, str_compare> my_months;   ///////////////////////////////////////////////////////////////// //2.采用string作为键类型 //注意:这里需要同时定义string的hash函数 struct str_hash   {   size_t operator()(const string& str) const     {   return return __stl_hash_string(str.c_str());       }   };   //定义string的比较函数 struct str_compare   {   bool operator()(const string& s1, const string& s2) const   {   return strcmp(s1.c_str(), s2.c_str()) == 0;     }   };   //上面默认例子中的months可以改成: hash_map<string, int, str_hash, str_compare> my_months;
(6)其他hash_map成员函数

hash_map的函数和map的函数差不多。具体函数的参数和解释,请参看SGI的hash_map介绍,这里主要介绍几个常用函数:

hash_map(size_type n):如果讲究效率,这个参数是必须要设置的。n 主要用来设置hash_map 容器中hash桶的个数。桶个数越多,hash函数发生冲突的概率就越小,重新申请内存的概率就越小。n越大,效率越高,但是内存消耗也越大。

const_iterator find(const key_type& k)const:用查找,输入为键值,返回为迭代器。

data_type& operator[](constkey_type& k) :像数组一样随机访问元素。注意:当使用[key]操作符时,如果容器中没有key元素,这就相当于自动增加了一个key元素(等同于插入操作)。所以如果只是想知道容器中是否有key元素时,可以使用find函数。

insert函数:在容器中不包含key值时,insert函数和[]操作符的功能差不多。但是当容器中元素越来越多,每个桶中的元素会增加,为了保证效率, hash_map会自动申请更大的内存,以生成更多的桶。因此在insert以后,以前的iterator有可能是不可用的。

erase 函数:在insert的过程中,当每个桶的元素太多时,hash_map可能会自动扩充容器的内存,但在SGI的STL中erase并不自动回收内存。因此你调用erase后,其他元素的iterator还是可用的。

最后如何具体使用hash_map就忽略了,可以参考详细解说STL hash_map系列[blog.163.com/liuruigong_lrg/blog/static/27370306200711334341781]。

5 其他hash容器类

比如hash_set,hash_multimap,hash_multiset,这些容器与set,multimap,multiset的区别同hash_map与map的区别一样。

6 hash_map性能测试

【引用自:各类 C++ hashmap 性能测试总结_雨之絮语_百度空间】

本文一开头提到了不同的hash_map的实现,这里测试各hash_map插入数据和查找数据两类操作的性能:设定hash_map的key 和 value 均使用 int,也就是 map<int, int>的形式。经过对比,插入 1000万次和查找1万次,各种实现的性能如下图:

(红圈部分为插入 1000万条记录需要的时间,绿圈部分是查找1万次需要的时间)

如上图所示,插入需要的时间大致在 1~4秒之间,查询所需要的时间比较少。对比各类实现的性能,boost::unordered_map 在综合性能上比较好。google::dense_hash_map在内存占用上非常出色,查找速度极快,插入速度比boost::unordered_map慢。至于 Visual Studio 2010 自带的std::map和std::hash_map的实现,只能用惨不忍睹来形容。

【备注】

测试环境:

CPU: Duo T6600

Memory: 4GB

软件版本:

Visual Studio 2010

boost 1.48.0

google sparsehash 1.11