首页 > 代码库 > ElasticSearch学习笔记-01 简介、安装、配置与核心概念

ElasticSearch学习笔记-01 简介、安装、配置与核心概念

一、简介

ElasticSearch是一个基于Lucene构建的开源,分布式,RESTful搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。支持通过HTTP使用JSON进行数据索引。

Lucene只是一个框架,要利用它的功能,需要使用JAVA,并且在程序中集成Lucene。更糟的是,Lucene非常复杂,需要做很多的学习了解,才能明白它是如何运行的。

Elasticsearch使用Lucene作为内部引擎,但是在使用它做全文搜索时,只需要使用统一开发好的API即可,请不需要了解其背后复杂的Lucene的运行原理。所以ElasticSearch可以看作是Lucene的封装。

二、安装

1、安装JDK

ElasticSearch,简称ES,是使用Lucene作为内部引擎,而Lucene是纯Java语言编写的,因此也是运行在JVM上的。

假设JDK安装包位于/home/test/java目录下,Linux中安装JDK:

  • 安装JDK

以root身份在/usr/下建立java目录:sudo mkdir /usr/java

rpm –ivh /home/test/java/jdk-7u67-linux-i586.rpm (使用该命令进行安装,会安装到/usr/java/目录下)

  • 配置JDK环境变量(需要管理员权限):

sudo vi /etc/profile

#JAVA_HOME

export JAVA_HOME=/usr/java/jdk1.7.0_67

export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH: $JAVA_HOME/bin

  • 验证安装

java -version

输出Java版本的相关信息,及表示安装成功。

2、下载ElasticSearch

ES下载地址:http://www.elasticsearch.org/download 目前最新版本是:1.4.1

3、安装ElasticSearch

将安装包放于/homg/test/目录下,解压elasticsearch-1.4.1.tar:tar –zxvf /home/test/elasticsearch-1.4.1.tar

4、运行ElasticSearch

解压安装后,在/home/test/elasticsearch-1.4.1/目录下会有三个文件夹:bin、config、lib

运行bin文件夹下的elasticsearch即可将ES系统跑起来:./elasticsearch

5、注意点

最新版的ES需要JDK 1.7及以上

若使用Java API进行操作ES,两者的JDK版本还需一致

三、配置

1、配置文件说明

配置文件位于config目录下,主要有:elasticsearch.yml(ES框架的核心配置)、logging.yml(日志记录相关配置,使用的是log4j进行日志记录)

2、配置项详解

主要解释elasticsearch.yml下各配置项的含义。

################################### 集群###################################
# 集群名称,默认为elasticsearch,在同一网段,具有相同集群名字的节点会自动成为一个集群
#cluster.name: elasticsearch
####################################节点#####################################
# 节点名称,es启动时会自动创建节点名称
#node.name: "Franz Kafka"


# 是否作为主节点,每个节点都可以被配置成为主节点,默认值为true,只有设置为true时,才有可能成为master,最先启动,且该参数设为true的节点会被推选了master
#node.master: true

# 每个节点都可以定义一些与之关联的通用属性,用于后期集群进行碎片分配时的过滤
#node.rack: rack314


# 默认情况下,多个节点可以在同一个安装路径启动,如果你想让你的es只启动一个节点,可以进行如下设置
#node.max_local_storage_nodes: 1


#################################### 索引####################################
# 设置一个索引的分片数量,默认值为5
#index.number_of_shards: 5


# 设置一个索引可被复制的数量,默认值为1
#index.number_of_replicas: 1


# 当你想要禁用公布式时,你可以进行如下设置
#index.number_of_shards: 1
#index.number_of_replicas: 0


# 这两个属性的设置直接影响集群中索引和搜索操作的执行。假设你有足够的机器来持有碎片和复制品,那么可以按如下规则设置这两个值:
# 1) 拥有更多的碎片可以提升索引执行能力,并允许通过机器分发一个大型的索引;
# 2) 拥有更多的复制器能够提升搜索执行能力以及集群能力。
# 对于一个索引来说,number_of_shards只能设置一次,而number_of_replicas可以使用索引更新设置API在任何时候被增加或者减少
#################################### Paths ####################################
#  配置文件所在的位置,即elasticsearch.yml和logging.yml所在的位置
#path.conf: /path/to/conf

 

# 分配给当前节点的索引数据所在的位置,可以设置多个路径,路径之间用逗号分隔
#path.data: /path/to/data

# 临时文件位置
#path.work: /path/to/work


# 日志文件所在位置
#path.logs: /path/to/logs

# 插件安装位置
#path.plugins: /path/to/plugins


#################################### 插件###################################
# 插件托管位置,若列表中的某一个插件未安装,则节点无法启动
#plugin.mandatory: mapper-attachments,lang-groovy


################################### 内存####################################
#  JVM开始交换时,ElasticSearch表现并不好:你需要保障JVM不进行交换,
# 可以将bootstrap.mlockall设置为true禁止交换
#bootstrap.mlockall: true


##############################网络和HTTP###############################
# 默认情况下,ElasticSearch使用0.0.0.0地址,并为http传输开启9200-9300端口,
# 为节点到节点的通信开启9300-9400端口,也可以自行设置IP地址
#network.bind_host: 192.168.0.1


# 设置其他节点连接此节点的地址,如果不设置的话,则自动获取
#network.publish_host: 192.168.0.1


# 定制该节点与其他节点交互的端口
#transport.tcp.port: 9300


# 节点间交互时,可以设置是否压缩,默认为不压缩
#transport.tcp.compress: true


# Http传输监听定制端口
#http.port: 9200


# 设置内容的最大长度
#http.max_content_length: 100mb


# 禁止HTTP
#http.enabled: false


################################### 网关###################################
# 网关允许在所有集群重启后持有集群状态,集群状态的变更都会被保存下来,
# 当第一次启用集群时,可以从网关中读取到状态,默认网关类型(也是推荐的)是local
#gateway.type: local


# 允许在N个节点启动后恢复过程
#gateway.recover_after_nodes: 1


# 设置初始化恢复过程的超时时间
#gateway.recover_after_time: 5m


# 设置该集群中可存在的节点上限
#gateway.expected_nodes: 2


############################# 恢复设置#############################
# 设置一个节点的并发数量,有两种情况,一种是在初始复苏过程中
#cluster.routing.allocation.node_initial_primaries_recoveries: 4

# 另一种是在添加、删除节点及调整时
#cluster.routing.allocation.node_concurrent_recoveries: 2


# 设置复苏时的吞吐量,默认情况下是 20mb
#indices.recovery.max_bytes_per_sec: 20mb


# 设置从对等节点恢复片段时打开的流的数量上限
#indices.recovery.concurrent_streams: 5
################################## Discovery ##################################
# 设置一个集群中主节点的数量,当多于三个节点时,该值可在2-4之间
#discovery.zen.minimum_master_nodes: 1


# 设置ping其他节点时的超时时间,网络比较慢时可将该值设大
#discovery.zen.ping.timeout: 3s


# 禁止当前节点发现多个集群节点,默认值为false
#discovery.zen.ping.multicast.enabled: false

# 设置新节点被启动时能够发现的主节点列表
#discovery.zen.ping.unicast.hosts: ["host1", "host2:port"]

##################################日志显示##################################

# Shard level query and fetch threshold logging.

#index.search.slowlog.threshold.query.warn: 10s
#index.search.slowlog.threshold.query.info: 5s
#index.search.slowlog.threshold.query.debug: 2s
#index.search.slowlog.threshold.query.trace: 500ms

#index.search.slowlog.threshold.fetch.warn: 1s
#index.search.slowlog.threshold.fetch.info: 800ms
#index.search.slowlog.threshold.fetch.debug: 500ms
#index.search.slowlog.threshold.fetch.trace: 200ms

#index.indexing.slowlog.threshold.index.warn: 10s
#index.indexing.slowlog.threshold.index.info: 5s
#index.indexing.slowlog.threshold.index.debug: 2s
#index.indexing.slowlog.threshold.index.trace: 500ms

##################################垃圾回收日志记录################################

#monitor.jvm.gc.young.warn: 1000ms
#monitor.jvm.gc.young.info: 700ms
#monitor.jvm.gc.young.debug: 400ms

#monitor.jvm.gc.old.warn: 10s
#monitor.jvm.gc.old.info: 5s
#monitor.jvm.gc.old.debug: 2s

################################## 安全################################

# Uncomment if you want to enable JSONP as a valid return transport on the
# http server. With this enabled, it may pose a security risk, so disabling
# it unless you need it is recommended (it is disabled by default).
#http.jsonp.enable: true

四、核心概念

  • 集群

一个集群就是由一个或多个节点组织在一起, 它们共同持有整个的数据,并一起提供索引和搜索功能。一个集群由一个唯一的名字标识,这个名字默认就是“elasticsearch” 。一个节点只能通过指定某个集群的名字,来加入这个集群。

  • 节点

一个节点是集群中的一个服务器,作为集群的一部分,它存储你的数据,参与集群的索引和搜索功能。和集群类似,一个节点也是由一个名字来标识的,默认情况下,这个名字是随机的。这个名字会在启动的时候赋予节点。 这个名字对于管理工作来说挺重要的,因为在这个管理过程中,你会去确定网络中的哪些服务器对应于Elasticsearch 集群中的哪些节点。

在一个集群里,可以拥有任意多个节点。而且,如果当前网络中没有运 行 任 何 Elasticsearch 节 点 , 这 时 启 动 一 个 节 点 , 会 默 认 创 建并 加 入 一 个 叫 做“elasticsearch”的集群.

  • 索引

一个索引就是一个拥有几分相似特征的文档的集合。一个索引由一个名字来标识(必须全部是小写字母的),并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候,都要使用到这个名字。类似于数据库db。

  • 类型

在一个索引中,可以定义一种或多种类型。 一个类型是索引的一个逻辑上的分类/分区,其语义完全由你来定。通常,会为具有一组共同字段的文档定义一个类型。类似于数据表table

  • 文档

一个文档是一个可被索引的基础信息单元。比如,你可以拥有某一个客户的文档,某一个产品的一个文档,当然,也可以拥有某个订单的一个文档。文档以 JSON(Javascript Object Notation)格式来表示,在一个 index/type 里面,可以存储任意多的文档。注意,尽管一个文档,物理上存在于一个索引之中,文档必须被索引/赋予一个索引的 type。类似于一行记录。

  • 切片和复制

一个索引可以存储超出单个结点硬件限制的大量数据。比如,一个具有 10 亿文档的索引占据 1TB 的磁盘空间,而任一节点都没有这样大的磁盘空间;或者单个节点处理搜索请求,响应太慢。为了解决这个问题,Elasticsearch 提供了将索引划分成多份的能力,这些份就叫做分片。当你创建一个索引的时候,你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引” ,这个“索引”可以被放置到集群中的任何节点上。

  • 总结--与关系型数据库的对比
关系数据库     ? 数据库 ? 表    ? 行    ? 列(Columns)Elasticsearch  ? 索引   ? 类型  ? 文档  ? 字段(Fields)

五、相关资料链接

http://www.elasticsearch.org/guide/en/elasticsearch/

http://www.elasticsearch.cn/

http://learnes.net/getting_started/installing_es.html

 

 

 

 

 

 

ElasticSearch学习笔记-01 简介、安装、配置与核心概念