首页 > 代码库 > rocketmq3.5.8 原理和集群安装
rocketmq3.5.8 原理和集群安装
阿里的rocketmq
RocketMQ是一款分布式、队列模型的消息中间件,具有以下特点:
1、支持严格的消息顺序;
2、支持Topic与Queue两种模式;
3、亿级消息堆积能力;
4、比较友好的分布式特性;
5、同时支持Push与Pull方式消费消息;
https://github.com/alibaba/RocketMQ/releases 最新版本
在生产环境部署Broker,请参考以下软硬件要求
https://github.com/alibaba/RocketMQ/wiki/system_requirements
rabbit不知道,但是rocket的性能是(万条每秒),并且能够横向无限扩展,单机topic数量在256时,性能损失较小。
rocket可以说是kafka的变种,是阿里在充分reviewkafka代码后,开发的metaQ。在不断更新,修补以后,阿里把metaQ3.0更名为rocket,并且rocket是java写的易于维护。
另外就是rocket和kafka有类似无限堆积的能力。想想,断电不丢消息,积压两亿条消息毫无压力,niubility
kafka和rocket性能根本不是你需要考虑的问题
导入本地包
mvn install:install-file -DgroupId=net.java.dev.jna -DartifactId=jna -Dversion=4.2.2 -Dpackaging=jar -Dfile=/root/jna-4.2.2.jar
以下文章非常有用
http://blog.csdn.net/zknxx/article/details/52974189
http://blog.csdn.net/crazyxq/article/details/52870502
rocketmq3.5.8 编译好的包,自己编译太坑了
http://download.csdn.net/download/zknxx/9668351
生产一般都主主吧
RocketMQ-3.5.8双主双从配置及部署说明
http://download.csdn.net/download/coffeelifelau/9667849
mkdir -p /var/log/rocketmqlogs
mkdir -p /data/rocketmq/store/commitlog /data/logs
nohup sh mqnamesrv > /var/log/rocketmqlogs/namesrv.log 2>&1 &
a服务器
nohup sh mqbroker -c ../conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &
b服务器
nohup sh mqbroker -c ../conf/2m-noslave/broker-b.properties >/dev/null 2>&1 &
配置文件参考
http://sofar.blog.51cto.com/353572/1540874
配置权限
chown -Rnobody.nobody Application
a.启动NameServer[master-a,master-b]
cd /data/Application/rocketmq/bin
sudo -u nobody nohup sh/data/Application/rocketmq/bin/mqnamesrv &
b.启动BrokerA[master-a]
sudo -u nobody nohup sh/data/Application/rocketmq/bin/mqbroker -c/data/Application/rocketmq/conf/2m-noslave/broker-a.properties >/dev/null2>&1 &
c.启动BrokerB[master-b]
sudo -u nobody nohup sh/data/Application/rocketmq/bin/mqbroker -c/data/Application/rocketmq/conf/2m-noslave/broker-b.properties >/dev/null2>&1 &
关闭nameserver或broker
sh ./mqshutdown
Useage: mqshutdown broker | namesrv
注意:
运行sh os.sh,会发现swap会占用一半,而内存会占用很少。
如果需要恢复成开始的样子,修改os.sh
sudo sysctl -w vm.extra_free_kbytes=0
sudo sysctl -w vm.min_free_kbytes=67584
sudo sysctl -w vm.overcommit_memory=0
sudo sysctl -w vm.drop_caches=0
sudo sysctl -w vm.zone_reclaim_mode=0
sudo sysctl -w vm.max_map_count=65530
sudo sysctl -w vm.dirty_background_ratio=10
sudo sysctl -w vm.dirty_ratio=20
sudo sysctl -w vm.dirty_writeback_centisecs=500
sudo sysctl -w vm.page-cluster=3
sudo sysctl -w vm.swappiness=60
然后重启后者用网上的swap.sh脚本找到占用swap的进程,重启之。
具体os.sh参数的作用
1.控制内存回收 grep low /proc/zoneinfo
这个参数值用来强制linux虚拟内存保留最小值的空闲
vm.extra_free_kbytes
vm.min_free_kbytes
2.vm.max_map_count 虚拟内存使用
3.vm.swappiness
执行这个脚本出现内存占用的少的原因,估计就是调了控制内存回收
应该是控制broker同步的频率,这样做之后,只有很多的数据,才会同步。
测试
export NAMESRV_ADDR=ip1:9876\;ip2:9876
bash tools.sh com.alibaba.rocketmq.example.quickstart.Producer
bash tools.sh com.alibaba.rocketmq.example.quickstart.Consumer
要解决的问题
1.主主还是多主多从
http://blog.csdn.net/a19881029/article/details/34446629
2.如何顺序消费
RocketMQ消费并行度分两种情况
顺序消费方式并行度同Kafka完全一致
乱序方式并行度取决于Consumer的线程数,如Topic配置10个队列,10台机器消费,每台机器100个线程,那么并行度为1000
rocketmq 顺序消费理解
http://blog.csdn.net/u011686226/article/details/53465357
https://github.com/alibaba/RocketMQ/search?utf8=%E2%9C%93&q=sequence
3.
你是集群消费还是广播消费,集群消费的话每个消费者都会收到对应的消息,广播则不会,另外即使是集群环境下,也有可能重复消费消息,消费者自己要做到幂等
ps:说反了,不好意思,集群消费,只有一次,广播则多次,
目前rocketmq消费是有集群消费和广播消费,上面的楼主说错了,应该是集群消费只能有一个消费者消费一次,而广播消费则是所有的消费者都会消费一次,至于出现重复消费的问题,一种可能的原因是消费者消费完有没有做确认机制.
即使消费者做出了确认消费的标识,消费者还是可能出现重复消费的情况,那是一般在高并发下的出现的,rocketmq有说明,几乎主流的mq都有这种情况,一般的就是消费幂等
4.推荐Filter Server生产环境部署,为Consumer提供任意的服务器消息过滤能力
5.支持Topic与Queue两种模式 不是默认都同时支持的
6.rocketmq使用大内存是靠mmap堆外内存啊,而不是设置大的jvm堆内存的,java的堆最好不要超过10G,要不然性能不行
7.Producer/Consumer指定Name Server地址
通过代码中指定
producer.setNamesrvAddr("192.168.0.1:9876;192.168.0.2:9876");
或
consumer.setNamesrvAddr("192.168.0.1:9876;192.168.0.2:9876");
通过Java启动参数中指定
-Drocketmq.namesrv.addr=192.168.0.1:9876;192.168.0.2:9876
通过环境变量指定
exportNAMESRV_ADDR=192.168.0.1:9876;192.168.0.2:9876
8.监控
web平台监控
安装tomcat
这里就省略了。
将war放入webapps下,修改vimWEB-INF/classes/config.properties
rocketmq.namesrv.addr=RocketMQ01:9876 #这里只能写一个
throwDone=true
监控需要自己git后,编译,网上csdn有现成的。
9.benchmark
本文出自 “人,要有自己的想法” 博客,请务必保留此出处http://szgb2016.blog.51cto.com/340201/1882756
rocketmq3.5.8 原理和集群安装