首页 > 代码库 > coreseek (sphinx)+ Mysql + Thinkphp搭建中文搜索引擎详解
coreseek (sphinx)+ Mysql + Thinkphp搭建中文搜索引擎详解
一， 前言
1,研究coreseek的动机
我有一个自己的笔记博客，经常在上面做一些技术文章分析。在查询一些文章的时候，以前只能将要查询的内容去mysql中用like模糊匹配。在文章多了的情况下，这样做法效率肯定不行。于是我把目标投向了中文搜索插件coreseek，并成功的把它使用到了我的项目当中。我的博客网址：http://www.note.xin3e.com/
效果图：
希望通过这篇分析，让有兴趣的同学少走些弯路。
2,概念介绍
sphinx是开源的搜索引擎，它支持英文的全文检索。但英文的天然分词符是空格，而中文则有比较复杂的分词要求。中国人提供了一个可供企业使用的，基于Sphinx的中文全文检索引擎。也就是说Coreseek实际上的内核还是Sphinx。但其最大的不同是coreseek有一个中文分词利器mmseg。
3,环境介绍
系统：Ubuntu
http服务：Apache/2.2.22
Mysql: Ver 14.14 Distrib 5.5.41
PHP： PHP 5.3.10
二， 下载并安装Coreseek
安装步骤
下载coreseek-3.2.14.tar.gz，并放置在/usr/local/src
首先，为了避免安装中出现依赖包缺失，你需要补一下血
apt-get install make gcc g++ automake libtool mysql-client libmysqlclient15-dev libxml2-dev libexpat1-dev
上面那个命令你执行就行，不然可能会因为软件包不够新出现各种奇葩问题。比如我就更新了159M的软件包。（我在遇到各种坑后才回头补的血）
1,安装mmseg分词模块
cd /usr/local/srctar zxvf coreseek-3.2.14.tar.gz #解压cd coreseek-3.2.14cd mmseg-3.2.14./bootstrap #输出的warning信息可以忽略，如果出现error则需要解决./configure --prefix=/usr/local/mmseg3 #配置make #编译make install #安装
1.1）可能遇到的问题和解决办法：
在执行./bootstrap时出现./bootstrap: 27: ./bootstrap: autoconf: not found 的错误，
原因：因为没有安装automake 工具, (ubuntu 10.04)用下面的命令安装好就可以了。
sudo apt-get install autoconf automake libtool
1.2）可能遇到的问题：在安装分词模块 mmseg ,编译安装到最后，出现annot find input file: src/Makefile.in 的错误
然后查了一下，只找到解决办法，如下：
aclocal //是一个perl 脚本程序，它的定义是：“aclocal - create aclocal.m4 by scanning configure.ac”
libtoolize --force //运行后有一个错误，不用管它。
automake --add-missing
autoconf
autoheader
make clean
然后在重新编译
./configure --prefix=/usr/local/mmseg3
make && make install
编译安装成功
总结：其实这个报错原因我也没查出来。反正按照解决办法就成功了，谁若知道拜托请留言，谢谢。
2、安装CoreSeek
cd /usr/local/srccd coreseek-3.2.14cd csft-3.2.14sh buildconf.sh #输出的warning信息可以忽略，如果出现error则需要解决./configure --prefix=/usr/local/coreseek --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql #配置make #编译make install #安装
3，测试mmseg分词、coreseek搜索、MySQL数据源
cd /usr/local/src
cd coreseek-3.2.14
cd testpack
cat /usr/local/src/coreseek-3.2.14/testpack/var/test/test.xml #此时应该正确显示中文，如下图所示
/usr/local/mmseg3/bin/mmseg -d /usr/local/mmseg3/etc /usr/local/src/coreseek-3.2.14/testpack/var/test/test.xml
/usr/local/coreseek/bin/indexer -c /usr/local/src/coreseek-3.2.14/testpack/etc/csft.conf --all
/usr/local/coreseek/bin/search -c /usr/local/src/coreseek-3.2.14/testpack/etc/csft.conf 网络搜索
/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx-min.conf.dist
/usr/local/coreseek/bin/indexer -c /usr/local/src/coreseek-3.2.14/testpack/etc/csft.conf --all --rotate #启动服务，更新索引
如图，且无报错。则说明你的coreseek已经能够正常运行了。
3.1）可能遇到的问题与解决办法：
在输入/usr/local/coreseek/bin/indexer -c etc/csft.conf --all，报xmlpipe2 support NOT compiled in. To use xmlpipe2, install missing错误
原因：
缺少xmlpipe2库，解决：
apt-get install expat-*
然后重新编译coreseek，记得make clean
4，coreseek配置和使用
cp /usr/local/src/coreseek-3.2.14/testpack/etc/csft_mysql.conf /usr/local/coreseek/etc/csft_mysql.conf #拷贝MySQL数据源配置文件ln -s /usr/local/coreseek/etc/csft_mysql.conf /etc/csft_mysql.conf #添加软连接vim /etc/csft_mysql.conf #编辑，修改
三， 修改Coreseek配置文件
以我自己的配置文件为例：
/usr/local/coreseek/etc/csft_mysql.conf
#索引源定义source mysql{ type = mysql sql_host = localhost sql_user =xxxx sql_pass =xxxx sql_db =xxxx sql_port = 3306 sql_query_pre = SET NAMES utf8 sql_query = SELECT id,id,uid,title,data FROM notebook_notepad #sql_query第一列id需为整数 #title、data作为字符串/文本字段，被全文索引 sql_attr_uint = id #从SQL读取到的值必须为整数 #sql_attr_timestamp = time #从SQL读取到的值必须为整数，作为时间属性 sql_attr_uint = uid sql_query_info_pre = SET NAMES utf8 #命令行查询时，设置正确的字符集 sql_query_info = SELECT * FROM notebook_notepad WHERE id=$id #命令行查询时，从数据库读取原始数据信息}#index定义index mysql{ source = mysql #对应的source名称 path =/usr/local/coreseek/var/data/mysql #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/... docinfo = extern mlock = 0 morphology = none min_word_len = 1 html_strip = 0 #中文分词配置，详情请查看：http://www.coreseek.cn/products-install/coreseek_mmseg/ charset_dictpath = /usr/local/mmseg3/etc/ #BSD、Linux环境下设置，/符号结尾 #charset_dictpath = etc/ #Windows环境下设置，/符号结尾，最好给出绝对路径，例如：C:/usr/local/coreseek/etc/... charset_type = zh_cn.utf-8}#全局index定义indexer{ mem_limit = 128M}#searchd服务定义searchd{ listen = 9312 read_timeout = 5 max_children = 30 max_matches = 1000 seamless_rotate = 0 preopen_indexes = 0 unlink_old = 1 pid_file =/usr/local/coreseek/var/log/searchd_mysql.pid #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/... log =/usr/local/coreseek/var/log/searchd_mysql.log #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/... query_log =/usr/local/coreseek/var/log/query_mysql.log #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...}
这样搜索的话就会从索引文件中查出id,uid,title,data字段。
OK，配置完成以后，重启Coreseek 服务就能从生产你想要的查询索引，以后你就可以摆脱mysql的桎梏，什么中文，英文都可以，还自带分词。怎么样，是不是打开了新世界的大门。
下面讲一下重建索引可能出错的地方，以及解决办法。有兴趣的同学看一下，否则可以跳到下一节：PHP测试Coreseek 。
重建索引时报错误：WARNING: failed to open pid_file ‘/usr/local/coreseek/var/log/searchd_mysql.pid‘.
解决方法：
试着停止一下coreseek服务
/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf --stop 停止服务
然后重启
/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf 启动服务
再次建立索引
/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all 建立索引
如果提示:FATAL: failed to lock /usr/local/coreseek/var/data/xxxx.spl: Resource temporarily unavailable, will not index. Try --rotate option.
则尝试重建索引
/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate 重建索引
四， PHP测试Coreseek
1，将sphinxapi.php放到测试目录下
cp /usr/local/src/coreseek-3.2.14/testpack/api/sphinxapi.php ./
vim test.php
header("Content-type: text/html; charset=utf-8"); //require("./ "); $s = new SphinxClient; $s->setServer("127.0.0.1", 9312); //SPH_MATCH_ALL, 匹配所有查询词(默认模式); SPH_MATCH_ANY, 匹配查询词中的任意一个; SPH_MATCH_EXTENDED2, 支持特殊运算符查询 $s->setMatchMode(SPH_MATCH_ALL); $s->setMaxQueryTime(30); //设置最大搜索时间 $s->SetArrayResult(false); //是否将Matches的key用ID代替 $s->SetSelect ( "*" ); //设置返回信息的内容,等同于SQL $s->SetRankingMode(SPH_RANK_BM25); $s->SetLimits ( 0, 30, 1000, 0 ); //设置结果集偏移量 SetLimits $res = $s->query(‘coreseek‘,‘mysql‘,‘--single-0-query--‘); #[coreseek]关键字，[mysql]数据源source $err = $s->GetLastError(); echo ‘<pre>‘; var_dump($res); var_dump($res[‘matches‘]); var_export($err); echo ‘</pre>‘;
php5 test.php
运行结果：matches为匹配后的结果集
五， Coreseek在Thinkphp中的使用
1，Sphinx扩展安装安装
Coreseek官方教程中建议php使用直接include一个php文件进行操作，事实上php有独立的sphinx模块可以直接操作coreseek(coreseek就是sphinx！)已经进入了php的官方函数库，而且效率更高！但php模块依赖于libsphinxclient包。我是按照以下这篇文章的步骤安装了Sphinx扩展。
感谢：http://blog.csdn.net/e421083458/article/details/21529969
[第一步] 安装依赖libsphinxclient
# cd /var/install/coreseek-4.1-beta/csft-4.1/api/libsphinxclient/# ./configure --prefix=/usr/local/sphinxclientconfigure: creating ./config.statusconfig.status: creating Makefileconfig.status: error: cannot find input file: Makefile.in #报错configure失败 //处理configure报错编译过程中报了一个config.status: error: cannot find input file: src/Makefile.in这个的错误，然后运行下列指令再次编译就能通过了：# aclocal# libtoolize --force# automake --add-missing# autoconf# autoheader# make clean//从新configure编译# ./configure# make && make install
[第二步] 安装sphinx的PHP扩展
http://pecl.php.net/package/sphinx# wget http://pecl.php.net/get/sphinx-1.3.0.tgz# tar zxvf sphinx-1.3.0.tgz# cd sphinx-1.3.0# phpize# ./configure --with-php-config=/usr/bin/php-config --with-sphinx=/usr/local/sphinxclient# make && make install# cd /etc/php.d/# cp gd.ini sphinx.ini# vi sphinx.iniextension=sphinx.so# service php-fpm restart
安装完PHP的Sphinx扩展后，就可以直接使用$coreseek = new SphinxClient();而无需引入源文件了。
简单说一下我在TP里使用coreseek查询，并高亮关键词的思路：
1,通过sphinx查出id，uid的集合
2，然后$sql = "select * from post where id in($ids)";$res = mysql_query($sql);获取到数据库的真实数据
3，用BuildExcerpts将title和data的关键字高亮，然后分页展示
关键代码：
$where = array(); $where[‘uid‘]=$uid; if(!empty($search)){ //有需要查找的内容，则去 coreseek 忠查出对应的id $coreseek = new \SphinxClient(); $coreseek->setServer("127.0.0.1", 9312); //SPH_MATCH_ALL, 匹配所有查询词(默认模式); SPH_MATCH_ANY, 匹配查询词中的任意一个; SPH_MATCH_EXTENDED2, 支持特殊运算符查询 $coreseek->setMatchMode(SPH_MATCH_ALL); $coreseek->setMaxQueryTime(30); //设置最大搜索时间 $coreseek->SetArrayResult(false); //是否将Matches的key用ID代替 $coreseek->SetSelect ( "*" ); //设置返回信息的内容,等同于SQL $coreseek->SetLimits ( 0, 30, 1000, 0 ); //设置结果集偏移量 SetLimits $res = $coreseek->query($search,‘mysql‘,‘--single-0-query--‘); $key = array_keys($res[‘matches‘]); $where[‘id‘]=array(‘in‘,$key); $coreseek->close(); }else{ } //获取总数据条数 $total=$mod->where($where)->count();
高亮的关键代码：
if(!empty($search)){ $page->parameter[‘search‘]=$search; //代码高亮 $opt = array("before_match"=>"<font style=‘font-weight:bold;color:#f00‘>","after_match"=>"</font>"); $coreseek1 = new \SphinxClient(); $coreseek1->setServer("127.0.0.1", 9312); $coreseek1->SetMatchMode(SPH_MATCH_ALL); $i=0; $tags_title=array(); foreach($info as $key=>$row){ $tags_title[]=$row[‘title‘]; } $replace_title=$coreseek1->BuildExcerpts($tags_title,‘mysql‘,$search,$opt); foreach($info as $key=>&$row){ $info[$key][‘title‘]=$replace_title[$key]; } $coreseek1->close(); }
OK，至此，coreseek已经能够在TP里完美运行了。这篇分享的文章也可以画上句号了。以上是我一步步安装时的细节，记录下怕以后自己忘记，也希望能给感兴趣的同学一些帮助。文章信息量偏大，如果有哪些疏漏，万望指正！
coreseek (sphinx)+ Mysql + Thinkphp搭建中文搜索引擎详解