consul 配置—K/V存储及ACL

标签（空格分隔）： consul

• Consul简介
• 安装及运行
• K/V存储
• Java案例（基于Spring boot）
• ACL配置
• 小结

1.Consul简介

1.1 consul的作用

• 服务发现
  
  • Consul clients提供服务（例如API）
  • 其他的client发现服务的提供者（通过DNS或http，应用可以轻松的发现他们所依赖的服务）
• 健康检查
• Key-Value存储操作
  
  • 动态配置
  • leader选举
  • feature flagging
  • coordination
• 多数据中心（DC）
  
  • 用于容灾

1.2 consul的基本架构

• 一个consul节点对应一个consul agent
  
  • agent会负责节点的健康检查和节点上的服务的健康检查
• agent分为server和client
  
  • server
    
    • 存储数据
    • 复制数据
    • servers们自己选择一个leader
    • 每个数据中心推荐有3或5个server（官方推荐，但是只用单节点做server也是可以的，只是可能会数据丢失，两个节点的话，一个挂了，还是无法选举出leader，所以推荐3-5个）
  • client
    
    • 个人感觉client只是作为一个与server交互的agent而已

2.安装及运行

安装

• OSX系统 ： 1. 如果安装了homebrew，直接 brew install consul进行安装， 如果没有，从https://www.consul.io/downloads.html选择合适的down下来之后解压安装
• Linux系统：从https://www.consul.io/downloads.html上down下来， unzip解压， scp consul /usr/local/bin 再输入consul，如出现提示信息，则说明安装成功

启动

• 以server模式启动

  • consul agent -server -bootstrap-expect 3 -data-dir /tmp/consul -node=service-center -bind=127.0.0.1 -client 0.0.0.0 -ui -config-dir ~/.consul_config/

• 以client模式启动节点（非server都是client）

  • consul agent -data-dir /tmp/consul -node=qianweifeng-mac -bind=192.168.15.16 -join 192.168.15.19

• 集群模式

  • consul的集群搭建相对容易，一般需要用3-5个server节点来搭建一个集群，启动方式就想上面说的server启动方式一致，就是在加上 -join ip地址 即可。至于3-5个节点，之前也说过，官方推荐，确实根据consul的leader推举机制来说，最少需要3个节点。
  • 举个小例子：
    现有节点A,B ，我们需要组建集群，那么自然是start A， start B， A join B （反过来也一样），如此，A,B就相互认识了。
    此时有一个节点C要加入集群，我们不需要 C join A， C join B， 只需要选择A,B中的一个进行join就可以了。
    其中的原理是给予gossip协议完成的

关键指令介绍

agent 相当于是一个客户端，我觉得consul是没有意义明确的客户端与服务端的，只是节点启动的模式不同，而不是由运行于该节点之上的程序所决定的，所以agent相当于是一个客户端代理，通过它我们可以与consul集群进行交流。

-server 以server模式启动节点，相对的还要-client， 不过如果不指定-server，默认就是-client

-bootstrap-expect 3 这个东西是告诉consul集群，我们预计有3个server节点，该参数是为了延迟日志复制的启动直到我们指定数量的server节点成功的加入后启动。

-data-dir 指定agent储存状态的数据目录，比较重要

-config-dir 指定一个要装载的配置文件，可以是一个文件，也可以是一个目录下的所有文件，文件以.json后缀

-node 该节点在集群中的名称，具有唯一性，推荐直接用机器ip，便于区分辨别

-bind 说明该agent绑定的地址，通常情况是绑定本机

-join 加入集群

-rejoin 效果同上不过是在退出集群后再加入进去用的

特别注意：
-client 0.0.0.0 -ui 这个东西是为了能远程访问WEB UI界面，高版本的consul在远程访问WEB UI界面上似乎有些问题，也可能是我哪里没有配置好，所以访问不了。
使用这个指令后就可以远程访问了（目测这个指令的意思是，允许任何IP的客户端来访问WEB UI）

3.K/V存储

关于K/V的作用在上一节已经说明了，这里来讲讲其具体应用。

这个东西的话用来做动态配置比较多，比如我们有一些数据库配置，如果配置在本地，那么每次启动服务时还需要注意这些配置启动的正不正确，上传到测试环境时，也需要修改这些配置。但是如果我们用了K/V，我们要做的只是从不同的K/V拉去配置，而不需要修改代码。更重要的是，有一些非启动阶段读取的配置（也就是用到在读取的配置），可以做到动态更改，而不需要重启程序。

4.Java案例（基于Spring boot）

这里就动态配置，给出一个基于Spring Boot的具体案例

1.maven依赖

<!--consul-->
        <dependency>
            <groupId>com.orbitz.consul</groupId>
            <artifactId>consul-client</artifactId>
            <version>0.10.0</version>
        </dependency>
        <!-- consul需要的包 -->
        <dependency>
            <groupId>org.glassfish.jersey.core</groupId>
            <artifactId>jersey-client</artifactId>
            <version>2.22.2</version>
        </dependency>
         <!-- 动态配置的实现 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>
        <!-- archaius -->
        <dependency>
            <groupId>com.netflix.archaius</groupId>
            <artifactId>archaius-core</artifactId>
            <version>0.6.6</version>
        </dependency>
        <!-- 动态配置，archaius底层 -->
        <dependency>
            <groupId>commons-configuration</groupId>
            <artifactId>commons-configuration</artifactId>
            <version>1.8</version>
        </dependency>
         <!-- 这个只是一个比较easy的consul client api，与第一个选一个用即可 -->
        <dependency>
            <groupId>com.github.dcshock</groupId>
            <artifactId>consul-rest-client</artifactId>
            <version>0.7</version>
        </dependency>

package com.config.center.config;

import com.config.center.common.CommonConstants;
import com.config.center.consul.ConsulInfo;
import com.config.center.consul.ConsulPropertySource;
import com.orbitz.consul.AgentClient;
import com.orbitz.consul.Consul;
import com.orbitz.consul.NotRegisteredException;
import consul.ConsulException;
import org.apache.commons.lang3.StringUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.support.PropertySourcesPlaceholderConfigurer;
import org.springframework.core.env.ConfigurableEnvironment;

import javax.annotation.PostConstruct;
import java.io.IOException;
import java.net.URI;

/**
 *
 * @author qwf
 * @version 2015-08-17
 */
@Configuration
public class ConsulConfig {
    @Autowired
    private ConfigurableEnvironment env;

    @PostConstruct
    public void init() throws ConsulException, IOException, NotRegisteredException {
        ConsulInfo info = getConsulInfo();
        if (info != null) {
            env.getPropertySources().addFirst(new ConsulPropertySource("consul", info));
        }
    }

    /***
     * 注册服务+健康检查
     * 这里用了两种不同的consul client
     * 因为一种对于KeyClient的处理相对方便,但是对于check的注册支持却不行,只能支持script检查
     * 另一种对于KeyClient的处理相对麻烦,但是对于注册以及check的定义相对方便
     * @return
     * @throws ConsulException
     * @throws IOException
     * @throws NotRegisteredException
     */
    public ConsulInfo getConsulInfo() throws ConsulException, IOException, NotRegisteredException {
        //tag 来自于启动参数 -Dservice.tag=dev
        String tag = env.getProperty(CommonConstants.CONSUL_TAG);
        if (StringUtils.isBlank(tag)) {
            throw new RuntimeException("not specified " + CommonConstants.CONSUL_TAG);
        }

        if ("local".equals(tag)) {
            return null;
        }
        String service = CommonConstants.CONSUL_SERVICE_NAME;
        Consul consul = Consul.builder().build();            //建立consul实例
        AgentClient agentClient = consul.agentClient();
        agentClient.register(8800, URI.create("http://localhost:8800/health").toURL(), 3, service, "config-center", tag);
//        consul.agent().register(new ServiceProvider("config-center",
//                service, 8800,
//                new String[]{tag}));
//        consul.agent().checkRegister(new AgentCheck("id", service, "", "http://localhost:8800/health", "10s", "15s"));
//        Consul consul = new Consul("http://localhost", 8500);
//        KeyValue keyValue = http://www.mamicode.com/new KeyValue(consul);
        String keyName = String.format("service/%s/%s/config", service, tag);

        return new ConsulInfo(keyName, null);
    }

    /**
     * IMPORTANT:
     * 保证consul配置获取第一个被加载，防止spring启动的时候从本地加载配置
     * 后期添加配置，如果依赖environment，也需要denpendsOn这个
     */
    @Bean
    public Object trick() {
        System.out.println("trick");
        return "trick";
    }


    @Bean
    public static PropertySourcesPlaceholderConfigurer placeHolderConfigurer() {
        return new PropertySourcesPlaceholderConfigurer();
    }
}

package com.config.center.consul;

import com.netflix.config.PollResult;
import com.netflix.config.PolledConfigurationSource;
import com.orbitz.consul.Consul;
import com.orbitz.consul.KeyValueClient;
import org.apache.http.util.TextUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.StringReader;
import java.util.HashMap;
import java.util.Map;
import java.util.Properties;

/**
 * ConsulConfigurationSource
 *
 * @author qwf
 * @version 2016-08-17
 */
public class ConsulConfigurationSource implements PolledConfigurationSource {

    public static final Logger LOGGER = LoggerFactory.getLogger(ConsulConfigurationSource.class);
    private ConsulInfo consulInfo;

    public ConsulConfigurationSource(ConsulInfo consulInfo) {
        this.consulInfo = consulInfo;
    }

/**
*动态拉去配置，默认60s拉一次
*/
    @Override
    public PollResult poll(boolean initial, Object checkPoint) throws Exception {
        String str = null;
        try {
            Consul consul = Consul.builder().build();
            KeyValueClient kvClient = consul.keyValueClient();
            str = kvClient.getValueAsString(consulInfo.getKeyName()).get();
        } catch (Throwable e) {
            LOGGER.error("get property from consul error", e);
        }
        Map<String, Object> map = new HashMap<>();
        if (TextUtils.isBlank(str)) {
            return PollResult.createFull(map);
        } else {
            Properties properties = new Properties();
            properties.load(new StringReader(str));
            for (Map.Entry<Object, Object> entry : properties.entrySet()) {
                map.put(entry.getKey().toString(), entry.getValue());
            }

            return PollResult.createFull(map);
        }
    }
}

package com.config.center.consul;

import com.netflix.config.ConfigurationManager;
import com.netflix.config.DynamicConfiguration;
import com.netflix.config.FixedDelayPollingScheduler;
import org.springframework.core.env.MapPropertySource;

import java.util.HashMap;

/**
 * ConsulPropertySource
 *
 * @author qwf
 * @version 2015-08-17
 */
public class ConsulPropertySource extends MapPropertySource {
    private DynamicConfiguration configuration;

    public ConsulPropertySource(String name, ConsulInfo consulInfo) {
        super(name, new HashMap<String, Object>());

        FixedDelayPollingScheduler scheduler = new FixedDelayPollingScheduler();
        scheduler.setIgnoreDeletesFromSource(true);
        DynamicConfiguration configuration = new DynamicConfiguration(
                new ConsulConfigurationSource(consulInfo), scheduler);
        ConfigurationManager.install(configuration);
        this.configuration = configuration;
    }

    @Override
    public Object getProperty(String name) {
        return configuration.getProperty(name);
    }
}

package com.config.center.consul;


import com.orbitz.consul.KeyValueClient;
import consul.Consul;
import consul.KeyValue;

/**
 * ConsulInfo
 *
 * @author qwf
 * @version 2015-08-17
 */
public class ConsulInfo {
    private String keyName;
    private KeyValue keyValue;

    public ConsulInfo(String keyName, KeyValue keyValue) {
        this.keyName = keyName;
        this.keyValue = http://www.mamicode.com/keyValue;"hljs-keyword">public String getKeyName() {
        return keyName;
    }

    public void setKeyName(String keyName) {
        this.keyName = keyName;
    }

    public KeyValue getKeyValue() {
        return keyValue;
    }

    public void setKeyValue(KeyValue keyValue) {
        this.keyValue = http://www.mamicode.com/keyValue;>