首页 > 代码库 > (转)HubbleDotNet+Mongodb 构建高性能搜索引擎--概述

(转)HubbleDotNet+Mongodb 构建高性能搜索引擎--概述

 HubbleDotNet 从 1.2.3 版本以后开始在官方代码中支持和 Mongodb 对接,Mongodb 是10gen 公司开发的 no-sql 数据库,其读写性能比传统关系数据库要快很多,而且可以非常方便的分布式部署。HubbleDotNet 通过支持 Mongodb 也使其本身同时具备了 no-sql 的解决方案。本文将重点概述Hubble+Mongodb 的功能以及和hubble+sql , lucene.net 的一些性能测试对比。

Mongodb 的安装

        在开始本文之前,我们简单介绍一下 Mongodb 在 windows 下的安装,其他操作系统下的安装也是类似的。

        首先在这个链接 http://www.mongodb.org/downloads 找到对应操作系统的版本,下载下来后解压。我们假设解压到 C:\mongodb

        我们在 c:\mongodb 下建立一个 data 目录和 一个 log 目录。下面是目录结构:

        image

        然后我们在run 中运行 cmd ,然后执行 cd c:\mongodb\bin 进入mongodb可执行程序目录

        接下来执行 mongod --dbpath ../data --logpath ../log/mongodb.log

        完成上述步骤后,mongodb 的服务程序就启动了。

       

默认端口

       如果要远程访问 mongodb ,我们需要在防火墙中将 mongodb 的默认端口打开,下面是 mongodb 相关服务的默认端口:

  • Standalone mongod : 27017
  • mongos : 27017
  • shard server (mongod --shardsvr) : 27018
  • config server (mongod --configsvr) : 27019
  • web stats page for mongod : add 1000 to port number (28017, by default)

 

安装为服务

      上面说的命令行只是用于调试用的,如果要正式在服务器上部署,我们需要将 mongodb 安装为服务来运行。

      在windows 下安装mongodb服务的命令行如下:

      C:\mongodb\bin>mongod --dbpath c:\mongodb\data --logpath c:\mongodb\log\mongodb.log --logappend –install

      这里我们需要注意下面两点:

  1. 命令行中的路径必须是绝对路径,如果输入相对路径,需要修改服务的启动路径,否则服务无法运行。
  2. 如果是在 windows 7 或者 windows 2008 server 操作系统下安装,必须以 administrator 方式运行 cmd 才行。

卸载服务

      如果我们不想要mongodb 了,我们可以通过如下命令行卸载服务:

      C:\mongodb\bin>mongod --remove

 

Hubble中mongodb 数据库适配器的连接字符串

       在HubbleDotNet 中,没有采用 mongodb 默认的连接字符串来连接mongodb,而是用了标准的连接字符串来连接

无用户名和密码连接 mongodb

      这个是mongodb没有设置用户名和密码时通过 hubbledotnet 连接mongodb 数据库适配器的连接字符串

      Data Source=127.0.0.1;Initial Catalog=News;Integrated Security=True

      我们只要指定服务器IP地址 Data Soruce 和 数据库名 Initial Catalog 就可以了

通过用户名和密码连接 mongodb

       这个是mongodb设置用户名和密码时通过 hubbledotnet 连接mongodb 数据库适配器的连接字符串

       Data Source=127.0.0.1;Initial Catalog=News;User Id=myUsername;Password=myPassword;

 

HubbleDotNet+Mongodb 功能一览

  • 支持标准的数据类型如 int, string, double,datetime 等
  • 支持对mongodb的指定字符串字段进行全文索引和查询。mongodb 本身不支持全文查询,hubbledotnet 通过配置后可以支持对mongodb进行全文查询,查询语法和与其他数据库类型的语法相同。这个是hubble+mongodb 的核心功能。
  • 支持主库为关系数据库,比如 sql server ,镜像表用 mongodb。这个是推荐方式,可以做到数据的读写分离和分布式部署。
  • 支持 mongodb 作为主库的主动模式索引,这种模式对于实时索引将会比较有用
  • 支持 mongodb 作为主库的被动模式索引。这种模式目前还不支持通过hubble来同步索引,需要自己写代码手工同步。原因是mongodb 不支持触发器。
  • 支持通过 mongodb 实现数据的分布式部署
  • 支持用SQL语句对mongodb进行非全文查询。如 select top 10 * from table where price > 100 and price < 200 order by price。这个是 hubbleDotNet 特有的功能。hubbledotnet 实现了一个sql 到 bson 的语法转换,调用者可以像访问sql server 那样来通过标准sql语句访问 mongodb ,这为不喜欢 bson 查询的开发者提供了很大的便利。
  • 支持通过bson 语句访问或配置 mongodb。 hubbledotnet 提供了两个存储过程 sp_excutesql 和 sp_querysql 来方便用户通过hubble直接用 bson 操作mongodb
  • 对不完整文档的支持。Mongodb 是文档型数据库,它并不强制每条记录的字段像关系数据库那样是固定不变的,可能每条记录的字段都不一样。HubbleDotNet 支持这种设计,对于在记录中没有出现的字段,作为NULL来处理,如果指定了默认值,则按默认值处理。
  • 对 sub-field 的支持。mongodb 是文档型数据,支持子字段。hubble 将在后续版本中对子字段进行支持。

性能测试

测试环境:

        软件版本

        HubbleDotNet 版本 1.2.5.0

        Mongodb 版本 2.0.5

        SQL SERVER 2008

        Lucene.net 2.9.4

        系统环境

        Intel i5 2430M 2.40GHz 8GB windows 7 64bit

        7800 转机械硬盘

测试数据

        测试数据为2000万行互联网网页数据。数据文件大小为4GB。

测试目标:

        测试hubble+sqlserver, Hubble+Mongodb 以及 lucene.net 在单机系统高并发时的性能比较。

测试方法:

        通过测试代码每秒钟查询10次,查询840个常用英文单词的搜索,返回前10条 title 和 content ,按匹配度排序

测试用例1:

        在这个测试用例中,我们取消 hubbledotnet 所有的缓存,让 hubbledotnet 每次都从硬盘读索引,lucene.net 也设置为从文件读取。对840个英文单词的查询全部是首次查询。而且每次测试前重启计算机以清除操作系统的文件缓存。

        测试结果如下:

 

每秒钟查询次数

最大查询时间(ms)

平均查询时间(ms)

最小查询时间(ms)

Hubble+Mongodb

10

1573

431

3

Hubble+SQL SERVER

10

8997

931

4

Lucene.net

10

209196

108665

9430

 

image

 

从这个测试看冷启动情况下, hubbledotnet+mongodb 的性能是最佳的,而lucene.net 几乎比 hubbledotnet+mongodb 慢200多倍。lucene.net 比 hubbledotnet 慢这么多的原因主要是lucene.net 访问IO 的速度较慢,以及lucene.net 的索引大小比hubbledotnet 大4倍多。lucene.net 的索引大小是 3.6GB 而 hubbledotnet 只有 800MB 。HubbleDotNet 1.2.5.0 对于首次查询的磁盘IO做了一定的优化,也是 hubbledotnet 比 lucene.net 性能高这么的主要原因。

测试用例2:

在这个测试用例中,我们在 hubbledotnet 中指定RamIndex 为Full,即将索引全部加载到内存,lucene.net 也设置为内存索引。这个测试主要是测试内存索引的性能。

测试结果如下:

 

每秒钟查询次数

最大查询时间(ms)

平均查询时间(ms)

最小查询时间(ms)

内存(MB)

Hubble+Mongodb

10

148

5.53

1

1,164

Hubble+SQL SERVER

10

157

6.17

0

1,170

Lucene.net

10

230

3.58

0

3,611

image

 

从这个测试结果看,平均查询时间上 lucene.net 要比 hubbledotnet 略快,最大查询时间上 hubbledotnet 比 lucene.net 快。平均查询时间 lucene.net 快的原因,我分析是这样的,lucene.net 是单进程运行,而 hubbledotnet 是3个进程互动,即测试进程,hubble 服务进程 和 mongodb 进程(或 sql server 进程) 。三个进程互动时,每次查询都会触发进程的切换,这个过程会消耗一定的系统资源,特别是在查询时间为微妙级时,这个性能的损耗就会比较突出一些。不过这个查询速度无论对于那种环境来说都已经足够,从这个测试来看,如果要达到系统的满负荷,hubbledotnet 大概可以支持到每秒钟200次查询左右,相当于每天查询1600万次,这个对于单机系统性能已经非常高了,如果一个网站的访问量达到这么大,一半是需要考虑分布式解决方案了。

而最大查询时间hubble比lucene快将近1倍,这个基本反映出查询算法性能的优劣。这个和我的另外的测试结果(另文阐述)基本是吻合的,即按照score 排序,hubble 的查询速度大概是 lucene.net 的2倍,按其它字段排序,大概为5倍左右。

内存占用方法,Lucene.net 占用3.6GB内存,hubbledotnet占用 1.1 GB 内存,这个主要是因为 hubbledotnet 的索引比 lucene.net 要小的缘故。HubbleDotNet 的内存占用还可以优化,优化后对于本例来说应该可以减少到800MB 左右。

持久化方面,hubbledotnet的内存索引是可以自动持久化的,就是说运行过程中的增删改的变化会自动存储到文件介质中,并更新到内存中,这样即使机器重启也不会丢失数据。lucene.net 的内存索引方案是无法自动持久化的,需要另外写程序持久化。

转自:http://www.cnblogs.com/eaglet/archive/2012/05/10/2494073.htm