Elasticsearch是基于Apache 2.0开源的实时、分布式、分析搜索引擎，相比Lucene，Elasticsearch的上手比较容易，这篇文章主要纪录Elasticsearch的基本概念和基本API。

官方对Elasticsearch的定义:

Elasticsearch is a distributed, RESTful search and analytics engine capable of solving a growing number of use cases. As the heart of the Elastic Stack, it centrally stores your data so you can discover the expected and uncover the unexpected.

你可能已经在Elasticsearch的文档中看过如下词汇:

• NRT: 近实时(Near Realtime)，当一个文档保存至index，短暂的延迟后就可以被搜索。
• Node: 指单个实例，存储文档并参与所在集群的索引和搜索，一台机器可以运行多个实例，每个实例启动时都有自己的唯一标识。
• Cluster: 指多个实例组成的集群，集群中的节点有相同的cluster.name（默认为"elasticsearch"），用户可以通过集群对多个节点的所有数据进行索引和搜索。
• Index: 索引在Elasticsearch中有两种含义。作为名词，索引可以指文档的集合，作为动词，可以说"对某个文档进行索引"，也就是把文档存储到索引。一个index的名称即为其标识，名称必须为小写。如果和RDBMS相比的话，index的概念可能和database比较相似。
• Type: 用于对同一个index中的数据进行逻辑分类。例如，有个存储了sns数据的index，这个index中可能存在多个类型，例如用户资料数据、评论数据、聊天数据...
• Document: 文档以JSON格式存储，文档中包含多个字段，每个文档都有自己的类型并存储于index中。
• Shards: index可以切分成多个shard，每个shard分布到不同的节点上。通过shard可以在存储还是搜索上缓解单个节点的压力。
• Replicas: 对shard进行复制，通过副本不仅保证了可用性，也提高了搜索效率。

一个index可以分为多个shard，默认配置下，每个index有5个primary shards和1个副本（也就是5个replica shards），也就是说这个index有10个shards。

为了进一步说明，这里简单说明一下安装过程。
首先需要确认机器上是否已经安装了Java，这里建议使用java 8:

java -versionecho $JAVA_HOME

根据自己需要，可以选择使用apt-get、yum进行安装，或者直接运行docker容器(docker.elastic.co/elasticsearch/elasticsearch:5.3.1)，参考https://www.elastic.co/guide/en/elasticsearch/reference/current/install-elasticsearch.html。
这里我们用TAR包进行安装

cdwget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.2.1.tar.gzcp elasticsearch-5.2.1.tar.gz /usr/local ; cd $_tar xzvf elasticsearch-5.2.1.tar.gz

启动时可以指定集群名称和节点名称:

elasticsearch-5.2.1/bin/elasticsearch -Ecluster.name=cluster0 -Enode.name=node0

Elasticsearch的web接口的默认端口为9200，或者可以根据自己的情况，在bin/elasticsearch.yml中对http.port进行修改。
最后查看响应结果，参考:

$ curl http://localhost:9200/{  "name" : "F16Po5W",  "cluster_name" : "elasticsearch",  "cluster_uuid" : "gDEP8ViaSVuQkCADjMkWHg",  "version" : {    "number" : "5.2.1",    "build_hash" : "db0d481",    "build_date" : "2017-02-09T22:05:32.386Z",    "build_snapshot" : false,    "lucene_version" : "6.4.1"  },  "tagline" : "You Know, for Search"}

下面检查一下集群的状态，参考:

$ curl http://localhost:9200/_cat/health?vepoch      timestamp cluster  status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent1488018007 12:00:00  cluster0 green           1         1      0   0    0    0        0             0                  -                100.0%

输出显示，名为"elasticsearch"的状态为"green"，状态分三种，green(健康)、yellow(服务可用，尚未分配副本)、red(不可用)。
red也并不是完全不可用，部分功能还是可以用的，例如搜索请求还是可以在部分shards中进行。

上面用到的_cat API，可以参考https://www.elastic.co/guide/en/elasticsearch/reference/current/cat.html，参数v代表verbose。

如果需要JSON格式，则去掉_cat即可，参考:

curl http://localhost:9200/_cluster/health?pretty

health只反映集群的大体情况，更详细的信息，比如版本、节点、metadata等可以通过state获得:

curl http://localhost:9200/_cluster/state?pretty

另外，还有一个stats，和state不同的是，stats返回的是和性能相关的信息，比如各项字节数、OS、fs、jvm等。
类似地，检查节点状态:

$ curl http://localhost:9200/_cat/nodes?vip        heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name127.0.0.1            7          90   5    0.00    0.01     0.05 mdi       *      node0

由于启动时指定了节点名称，这里节点的名称为node0。
检查index状态:

$ curl http://localhost:9200/_cat/indices?vhealth status index uuid pri rep docs.count docs.deleted store.size pri.store.size

注意不是index的复数为indices，由于尚未创建任何index，这里没有输出。
但这并不妨碍试试analyze:

curl -X POST http://localhost:9200/_analyze?pretty -d ‘{"analyzer" : "standard", "text" : "Kavlez.Kim@gmail.com"}‘

下面开始是Elasticsearch各个单位的基本API使用介绍。

Index

接下来创建一个index，注意不是POST，是PUT，参考:

$ curl -X PUT http://localhost:9200/province?pretty{  "acknowledged" : true,  "shards_acknowledged" : true}

重新确认下index状态:

$ curl http://localhost:9200/_cat/indices?vhealth status index    uuid                   pri rep docs.count docs.deleted store.size pri.store.sizeyellow open   province Ks7940k5QYKp9t7AEntbBA   5   1          0            0       650b           650b

如之前所说，默认有5个primary shards和1个replicas，尽管还没有任何文档。
第一个字段，健康状态显示为yellow，这是因为尚未分配副本，而我们只有一个节点。

创建index时也可以指定其他属性，比如:

curl -X PUT -d ‘{   "settings" : {      "number_of_shards" : 3   },   "mappings" : {      "type1" : {         "_source" : { "enabled" : false }, "properties" : {            "name" : { "type" : "string" }, "code" : {"type":"string"}         }      }   },   "aliases" : {      "alias_1" : {         "filter" : {            "term" : {"subdivision" : "Municipality" }         }      }   }}‘ http://localhost:9200/province 

至于GET，不只是用于察看index:

curl http://localhost:9200/provincecurl http://localhost:9200/province/_settingscurl http://localhost:9200/province/_statscurl http://localhost:9200/province/_flushcurl http://localhost:9200/province/_refresh

删除一个index可以通过DELETE，如果并不打算删除index，但又希望无法访问该index，此时可以close。
可以通过POST /{index}/_close和/{index}/_open对index进行开关，当用户访问已关闭的index时会提示错误。

也可以通过_all或通配符对所有的index批量操作，但考虑到风险，可以通过在配置文件修改action.destructive_requires_name项禁用批量指定。

已关闭的index也会消耗一定的磁盘空间，开关操作可以通过cluster.indices.close.enable项禁用，该项默认为true。

Document

文档相关操作，先在province index中添加两个文档:

$ curl -X PUT -d ‘{"name": "Hong Kong", "code": "CN-91", "native": "香港"}‘ http://localhost:9200/province/special/1?pretty{  "_index" : "province",  "_type" : "special",  "_id" : "1",  "_version" : 1,  "result" : "created",  "_shards" : {    "total" : 2,    "successful" : 1,    "failed" : 0  },  "created" : true}$ curl -X PUT -d  ‘{"name": "Beijing", "code": "CN-11", "native": "北京"}‘ http://localhost:9200/province/municipality/1?pretty{  "_index" : "province",  "_type" : "municipality",  "_id" : "1",  "_version" : 1,  "result" : "created",  "_shards" : {    "total" : 2,    "successful" : 1,    "failed" : 0  },  "created" : true}

请求中的special、municipality指的就是文档的类型，尽管两个文档在同一个index，但类型不同。
后面的1就是文档的id，可以对特定的index/type/id重新PUT，如果用同一个id提交多次，每次提交时_version会自动+1。
如果希望指定操作类型，则加上op_type参数，例如下面的例子会触发versionconflictengine_exception，而不是version+1:

curl -X PUT -d ‘{"name": "Hong Kong", "code": "CN-91", "native": "香港"}‘ http://localhost:9200/province/special/1?op_type=create

如果希望添加文档时自动生成id，则使用POST，此时就不能指定op_type了。

添加操作时不小心写错了index的名称，但还是成功了，列出indices(GET _cat/indices)发现有几个写错名称的index。
Elasticsearch默认允许向不存在的index添加文档，不存在则自动创建，该设置可以通过action.autocreateindex项进行修改，比如:

action.auto_create_index: +kav*,-da*

允许名称以"kav"开头的index自动创建，禁止以"da"开头的。
如果想全部禁止，则设置-*。

如果我想在已有的文档中添加字段，相比重新将整个文档重新PUT，不如用脚本进行更新，参考:

$ curl -X POST http://localhost:9200/province/special/1/_update -d ‘{   "script":{      "inline": "ctx._source.dc = params.dial_code", "params":{         "dial_code": 852      }   }}‘{"_index":"province","_type":"special","_id":"1","_version":5,"result":"updated","_shards":{"total":2,"successful":1,"failed":0}}

至于GET，基本用法如下:

$ curl  http://10.69.201.47:9200/province/special/1?pretty{  "_index" : "province",  "_type" : "special",  "_id" : "1",  "_version" : 1,  "found" : true,  "_source" : {    "name" : "Hong Kong",    "code" : "CN-91",    "native" : "香港"  }}

另外，可以用_source进行过滤

$ curl  http://localhost:9200/province/special/1/_source=name,code?pretty{  "_index" : "province",  "_type" : "special",  "_id" : "1",  "_version" : 1,  "found" : true,  "_source" : {    "name" : "Hong Kong",    "code" : "CN-91"  }}

如果想一次请求多个文档，可以使用_mget，参考:

curl -X POST http://localhost:9200/_mget -d ‘{   "docs":[      {         "_index":"province", "_type": "special", "_id": "1"      },      {         "_index":"province", "_type":"municipality", "_id": "1"      }   ]}‘

docs数组的第二项并不存在，于是返回{"_index" : "province", "_type" : "municipality", "_id" : "1", "found" : false }。

删除文档用DELETE方法，删除时可以加上其他参数，例如:

$ curl -X delete  http://localhost:9200/province/special/1?version=1{    "_index": "province",    "_type": "special",    "_id": "1",    "_version": 1,    "found": true,    "_source": {        "name": "Hong Kong",        "code": "CN-91",        "native": "香港"    }}

Search

search API提供两种方式:

• URI Search: GET的URL后面带上query string
• Request Body Search: 也就是将Query DSL作为body请求

至于搜索的对象，可以是多个index，也可以是某个index下的多个type。
search API默认为跨多个index和type，搜索的范围需要在请求时指定。

对多个index，比如

curl http://localhost:9200/province,country/_search?q=name:Hong*

对多个type，比如

curl http://localhost:9200/province/special,municipality/_search?q=name:Shang*

下面是GET搜索时用到的一些常见的参数

URL参数难以表述复杂的搜索，Elasticsearch提供了基于JSON格式的Query DSL来进行搜索。
虽然Query DSL提供了丰富的查询类型，但就整体而言，提供不外乎两种:

• leaf query: 例如match,term,range，也就是匹配特定字段的特定值
• compound query: 将其它leaf聚合到一起或者多个查询聚合到一起。

由于DSL相关的内容过多，这里只简单列举几种常用用法以作参考。

• match all: match_all用于返回所有score为1.0内容

  $ curl -X post http://10.69.201.47:9200/province/_search -d ‘{   "query":{      "match_all":{}   }}‘

• match: 根据字段和值的匹配进行搜索

  $ curl -X post http://10.69.201.47:9200/province/_search -d ‘{   "query":{      "match":{            "name":"Hong Kong"      }   }}‘

• multi match: 用多个字段进行匹配，比如下面的例子中"CN-91"是香港的code，而这里却用name和native字段进行搜索，因此没有结果

  curl -X post http://10.69.201.47:9200/province/_search -d ‘{   "query":{     "multi_match":{           "query":"CN-91",           "fields":["name","native"]     }   }}‘

• query string: 如果我想multi match所有字段呢？ 可以用query string

  curl -X post http://10.69.201.47:9200/province/_search -d ‘{   "query":{      "query_string":{         "query":"Hong"      }   }}‘

• term: term搜索属于低级(low-level)搜索，也就是直接查询倒排索引(inverted index)，而不经过分析过程。 在倒排索引中不存在则无结果。 下面的例子中，用"Hong"来搜索是没有结果的，需要用"hong"

  curl -X post http://10.69.201.47:9200/province/_search -d ‘{   "query":{      "term":{"name":"hong"}   }}‘

• range: 也属于term搜索的一种，根据比较来限制值的范围，支持的操作有gte,gt,lte,lt，例如

  curl -X POST http://10.69.201.47:9200/province/_search -d ‘{   "query":{      "range":{         "code":{            "gt":100         }      }   }}‘

• type: 搜索对应type的文档，属于term level，因此type要严格匹配，例如

  curl -X POST http://10.69.201.47:9200/province/_search -d ‘{   "query":{      "type":{         "value":"special"      }   }}‘

Elasticsearch - 快速入门