首页 > 代码库 > ELK basic
ELK basic
http://blog.csdn.net/lgnlgn/article/details/8053626 elasticsearch学习入门
检查ES集群状态:
curl 54.223.139.77:9200/_cat/health?v
检查ES节点状态:
curl 54.223.139.77:9200/_cat/nodes?v
查询所有的索引:
curl 54.223.139.77:9200/_cat/indices?v
curl -XPUT ‘http://localhost:9200/twitter/‘
$ curl -XPUT ‘http://localhost:9200/twitter/‘
-d ‘
index :
number_of_shards : 3
number_of_replicas : 2
‘
上面第二个curl例子展示了如何创建一个名字叫 twitter 的索引,并且使用 YAML
格式为其指定设置项。在这个例子中,我们为该索引配置了三个切片和两个副本。索引设置项也可以通过 JSON 格式指定:
$ curl -XPUT ‘http://localhost:9200/twitter/‘
-d ‘{
"settings" : {
"index" : {
"number_of_shards" : 3,
"number_of_replicas" : 2
}
}
}‘
或者简化为
$ curl -XPUT ‘http://localhost:9200/twitter/‘
-d ‘{
"settings" : {
"number_of_shards" : 3,
"number_of_replicas" : 2
}
}‘
curl -XPOST localhost:9200/test -d ‘{
"settings" : {
"number_of_shards" : 1
},
"mappings" : {
"type1" : {
"_source" : { "enabled" : false },
"properties" : {
"field1" : { "type" : "string", "index" :
"not_analyzed" }
}
}
}
}‘
删除索引:
curl -XDELETE localhost:9200/索引名字
查询索引:
curl -XGET localhost:9200/索引名字/类型名字/id
ES 使用bulk 添加数据
动态映射无法添加数据,不要担心!可以使用bulk命令,添加json文件内的数据。
1 定义json数据文件:
{"index":{"_index":"aaa123","_id":1}} {"name":"xingoo","age":25} {"index":{"_index":"aaa123","_id":2}} {"name":"test111","age":31} {"index":{"_index":"aaa123","_id":3}} {"name":"test222","age":42} {"index":{"_index":"aaa123","_id":4}} {"name":"test333","age":13}
注意的是,json文件名称随意指定,第一行定义了索引和一些常用字段:
_index定义了索引的名称,如果没有指定需要在curl命令中添加索引名称字段
_type定义了索引的类型,如果没有指定需要在curl命令中添加索引类型字段
_id定义了该行数据的id,如果没有指定,会随机生成一串数字。
2 执行命令
进入到json文件所在的目录,执行命令
curl localhost:9200/索引名称/索引类型/_bulk?pretty --data-binary @data.json
注意的是:
如果json文件中定义了_index和_type,那么这里可以不写变成(即便写了也会按照json文件中的生成)
curl localhost:9200/_bulk?pretty --data-binary @data.json
field 换 type 首先创建一个新的索引
curl -XPUT localhost:8305/store_v2 -d ‘
{
"settings"
: {
"number_of_shards"
: 20
},
"mappings"
: {
"client"
: {
"properties"
: {
"ip"
: {
"type"
:
"string"
},
"cost"
: {
"type"
:
"long"
},
}
====create index mapping curl -XPUT 54.223.139.77:9200/store_v2 --data-binary @data1.json python用起来比较熟,所以我就直接选 pyes了,装了一大堆破依赖库之后,终于可以run起来了 import pyes conn = pyes.es.ES("http://10.xx.xx.xx:8305/") search = pyes.query.MatchAllQuery().search(bulk_read=1000) hits = conn.search(search, ‘store_v1‘, ‘client‘, scan=True, scroll="30m", model=lambda _,hit: hit) for hit in hits: #print hit conn.index(hit[‘_source‘], ‘store_v2‘, ‘client‘, hit[‘_id‘], bulk=True) conn.flush() 花了大概一个多小时,新的索引基本和老索引数据一致了,对于线上完成瞬间的增量,这里没心思关注了,数据准确性要求没那么高,得过且过。 接下来修改alias别名的指向(如果你之前没有用alias来改mapping,纳尼就等着哭吧) curl -XPOST localhost:8305/_aliases -d ‘ { "actions": [ { "remove": { "alias": "store", "index": "store_v1" }}, { "add": { "alias": "store", "index": "store_v2" }} ] }
等新索引的数据已经追上时
将老的索引删掉
1
|
curl -XDELETE localhost:8303/store_v1 |
ELK basic