首页 > 代码库 > elasticsearch学习入门

elasticsearch学习入门

2024-08-26 15:46:10   220人阅读

这几年，搜索的开发门槛越来越低，每个语言都有开源的检索工具包，而且功能越来越全，完整的解决方案也越来越多、越来越好用，比如lucene上就有solr, elasticsearch, sensei等。它们对于绝大部分的需求应该说都覆盖了，解放了直接在检索工具包上的开发工作量，让人可以更多关注业务上的开发。个人比较看好elasticsearch(简称ES)，ES的使用非常简单，让人感觉更多地在使用一个Nosql，而且允许很多插件功能可以自己开发。我们可以很容易通过rest客户端去测试ES，因此学习起来很容易。

　　ES的官网有比较全面的API，但我看过以后感觉API的层次还是有点乱，至少没有mongodb的文档那么简单易读。从简单的应用开始慢慢认识ES的。比如要搭建个中文新闻信息的搜索引擎，新闻有"标题"、"内容"、"作者"、"类型"、"发布时间"这五个字段;我们要提供"标题和内容的检索"、"排序"、"高亮"、"统计"、"过滤"等一些基本功能。ES提供了smartcn的中文分词插件，测试的话建议使用IK分词插件，也可以看看插件作者给的例子。

　　下载安装好插件、启动ES，之后就可以开始ES的体验了。

　　1. 创建一个名叫test的索引

　　PUT http://localhost:9200/test

　　2. 创建mapping

　　POST http://localhost:9200/test/news/_mapping

　　内容为：

  1. {
  2.     "news": {
  3.       
  4.         "properties": {
  5.             "content": {
  6.                 "type": "string",
  7.                 "store": "no",
  8.                 "term_vector": "with_positions_offsets",
  9.                 "index_analyzer": "ik",
  10.                 "search_analyzer": "ik"
  11.             }
  12. ,
  13.             "title": {
  14.                 "type": "string",
  15.                 "store": "no",
  16.                 "term_vector": "with_positions_offsets",
  17.                 "index_analyzer": "ik",
  18.                 "search_analyzer": "ik",
  19.                 "boost": 5
  20.             }
  21. ,
  22.             "author": {
  23.                 "type": "string","index":"not_analyzed"
  24.             }
  25. ,
  26.             "publish_date": {
  27.                 "type": "date", "format":"yyyy/MM/dd","index":"not_analyzed"
  28.             }
  29. ,
  30.    "category": {
  31.                 "type": "string","index":"not_analyzed"
  32.             }
  33.         }
  34.     }
  35. }
复制代码


　　URL的test、news在ES中是索引/类型，感觉是对应数据库像库名/表名的关系，POST内容中properties对应mapping里的内容，里面5个字段。type指出字段类型、内容、标题字段要进行分词和高亮因此要设置分词器和开启term_vector。具体类型的API可以看这里。

　　3. 制造并提交一些数据：

　　POST http://localhost:9200/test/news/

　　内容随便造若干条：

  1. {
  3. "content":"中国国务院总理访问欧洲",
  5. "title":"美国今年经济形势良好",
  7. "publish_date":"2010/07/01",
  9. "author":"张三",
  11. "category":"财经"
  13. }
复制代码


　　4. 检索

　　POST http://localhost:9200/test/news/_search

　　内容包括几个部分：

　　分页:from/size、字段:fields、排序sort、查询:query、过滤:filter、高亮:highlight、统计:facet

  1. {
  2. "from":0,
  3. "size":10,
  4. "fields":["title","content","publish_date","category", "author"],
  5. "sort":[
  6.         { "publish_date" : {"order" : "asc"} },
  7.         "_score"
  8. ],
  9.         "query":{
  10. "bool":{
  11. "should" : [
  12.             {
  13.                 "term" : { "title" : "中国" }
  14.             },
  15.             {
  16.                 "term" : { "content" : "中国" }
  17.             }
  18.         ]}
  19. },
  20. "filter":{
  21.   "range" : {
  22.                 "publish_date" : {
  23.                     "from" : "2010/07/01",
  24.                   "to" : "2010/07/21",
  25.                   "include_lower" : true,
  26.                   "include_upper" : false
  27.                 }
  28.             }
  29. },
  30. "highlight" : {
  31.         "pre_tags" : ["<tag1>", "<tag2>"],
  32.         "post_tags" : ["</tag1>", "</tag2>"],
  33.         "fields" : {
  34.             "title" : {},
  35. "content" : {}
  36. }
  37. },
  38. "facets" : {
  39.      "cate" : { "terms" : {"field" : "category"} }
  40.     }
  41. }
  43. 这里query我选择构造了个标题或内容中含”中国“，
  45. 结果如下：
  47. {
  48.   "took" : 18,
  49.   "timed_out" : false,
  50.   "_shards" : {
  51.     "total" : 5,
  52.     "successful" : 5,
  53.     "failed" : 0
  54.   },
  55.   "hits" : {
  56.     "total" : 6,
  57.     "max_score" : null,
  58.     "hits" : [ {
  59.       "_index" : "test",
  60.       "_type" : "news",
  61.       "_id" : "_FM13zCCSnWaTPOuzIok_A",
  62.       "_score" : 0.024621923,
  63.       "fields" : {
  64.         "content" : "路透社报道，美国昨天在伊拉克如何如何，中国将如何面对形势。",
  65.         "author" : "张三",
  66.         "title" : "美国留给伊拉克的是个烂摊子",
  67.         "category" : "政治",
  68.         "publish_date" : "2010/07/10"
  69.       },
  70.       "highlight" : {
  71.         "content" : [ "路透社报道，美国昨天在伊拉克如何如何，<tag2>中国</tag2>将如何面对形势。" ]
  72.       },
  73.       "sort" : [ 1278720000000, 0.024621923 ]
  74.     }, {
  75.       "_index" : "test",
  76.       "_type" : "news",
  77.       "_id" : "4FEY1T6-RMOmOJYts4FoAQ",
  78.       "_score" : 0.024621923,
  79.       "fields" : {
  80.         "content" : "美联社报道，中国将于今天访问俄罗斯的北部地区。",
  81.         "author" : "张三",
  82.         "title" : "美国访问俄罗斯",
  83.         "category" : "政治",
  84.         "publish_date" : "2010/07/11"
  85.       },
  86.       "highlight" : {
  87.         "content" : [ "美联社报道，<tag2>中国</tag2>将于今天访问俄罗斯的北部地区。" ]
  88.       },
  89.       "sort" : [ 1278806400000, 0.024621923 ]
  90.     }, {
  91.       "_index" : "test",
  92.       "_type" : "news",
  93.       "_id" : "lL-8BzCNTT2yEkqs1Owc_A",
  94.       "_score" : 0.61871845,
  95.       "fields" : {
  96.         "content" : "美国国务卿希拉里对记者说，韩国首尔江南区的大部分富豪都有移居朝鲜的意愿。",
  97.         "author" : "李四",
  98.         "title" : "中国经济将面临下滑危险",
  99.         "category" : "经济",
  100.         "publish_date" : "2010/07/12"
  101.       },
  102.       "highlight" : {
  103.         "title" : [ "<tag2>中国</tag2>经济将面临下滑危险" ]
  104.       },
  105.       "sort" : [ 1278892800000, 0.61871845 ]
  106.     }, {
  107.       "_index" : "test",
  108.       "_type" : "news",
  109.       "_id" : "DNB6gTpSRaOexC1axCpZ0Q",
  110.       "_score" : 0.048311904,
  111.       "fields" : {
  112.         "content" : "中国国务院总理谈到国内体育，金牌无疑是最重要的，美国",
  113.         "author" : "张三",
  114.         "title" : "美国体育的举国体制",
  115.         "category" : "体育",
  116.         "publish_date" : "2010/07/14"
  117.       },
  118.       "highlight" : {
  119.         "content" : [ "<tag2>中国</tag2>国务院总理谈到国内体育，金牌无疑是最重要的，美国" ]
  120.       },
  121.       "sort" : [ 1279065600000, 0.048311904 ]
  122.     }, {
  123.       "_index" : "test",
  124.       "_type" : "news",
  125.       "_id" : "4lH55yoAQVe7cARIYVfYnQ",
  126.       "_score" : 0.048311904,
  127.       "fields" : {
  128.         "content" : "中国对东南亚海域的军事威胁将持续，俄罗斯严密关注事态发展",
  129.         "author" : "张三",
  130.         "title" : "各国大力发展教育事业",
  131.         "category" : "政治",
  132.         "publish_date" : "2010/07/15"
  133.       },
  134.       "highlight" : {
  135.         "content" : [ "<tag2>中国</tag2>对东南亚海域的军事威胁将持续，俄罗斯严密关注事态发展" ]
  136.       },
  137.       "sort" : [ 1279152000000, 0.048311904 ]
  138.     }, {
  139.       "_index" : "test",
  140.       "_type" : "news",
  141.       "_id" : "hFovoBdCTI-2ErYAQV-AKg",
  142.       "_score" : 0.12422675,
  143.       "fields" : {
  144.         "content" : "中国经济反弹乏力，美国经济持续低迷，其他经济体也靠不住",
  145.         "author" : "李四",
  146.         "title" : "欧洲债务危机席卷全球",
  147.         "category" : "经济",
  148.         "publish_date" : "2010/07/19"
  149.       },
  150.       "highlight" : {
  151.         "content" : [ "<tag2>中国</tag2>经济反弹乏力，美国经济持续低迷，其他经济体也靠不住" ]
  152.       },
  153.       "sort" : [ 1279497600000, 0.12422675 ]
  154.     } ]
  155.   },
  156.   "facets" : {
  157.     "cate" : {
  158.       "_type" : "terms",
  159.       "missing" : 0,
  160.       "total" : 10,
  161.       "other" : 0,
  162.       "terms" : [ {
  163.         "term" : "政治",
  164.         "count" : 4
  165.       }, {
  166.         "term" : "经济",
  167.         "count" : 3
  168.       }, {
  169.         "term" : "体育",
  170.         "count" : 3
  171.       } ]
  172.     }
  173.   }
  174. }
复制代码


　　结果包含了需要的几个部分。值得注意的是，facet的统计是命中的结果进行统计，filter是对结果进行过滤，filter不会影响facet，如果要统计filter掉的的就要使用filter facet。

　　ES提供了非常多的功能，JSON的组合比一般的SQL这样的语法要凌乱，但是通过组合能够满足各种复杂的应用，很多影响性能的设置也值得好好去看。对开发者而已，利用好内置API接口进行二次开发也非常必要，比如开发自己的分词，和其他库的同步等。ES现在还在0.19.9 但是已经出现了很多官方的培训，所以前途应该不可限量，未来可能会是检索系统解决方案的首选。

elasticsearch学习入门


联系
我们