首页 > 代码库 > Storm thrift获取性能数据报错及解决
Storm thrift获取性能数据报错及解决
我们想通过Storm提供的thrift接口来获取Toplogy的性能数据,比如emiited了多少,延迟是多少之类。但在使用Python开发过程中,发现getClusterInfo
这个方法,会报错,thrift版本0.7,Storm版本为0.9.0.1,错误如下:
Traceback (most recent call last): File "/home/frankyao/git/StormMetrics/main.py", line 31, in <module> topology_info = nimbus.getTopologyInfo(topology.id) File "./gen-py/storm/Nimbus.py", line 584, in getTopologyInfo return self.recv_getTopologyInfo() File "./gen-py/storm/Nimbus.py", line 602, in recv_getTopologyInfo result.read(self._iprot) File "./gen-py/storm/Nimbus.py", line 2830, in read self.success.read(iprot) File "./gen-py/storm/ttypes.py", line 2724, in read _elem265.read(iprot) File "./gen-py/storm/ttypes.py", line 2600, in read self.stats.read(iprot) File "./gen-py/storm/ttypes.py", line 2391, in read self.specific.read(iprot) File "./gen-py/storm/ttypes.py", line 2280, in read self.bolt.read(iprot) File "./gen-py/storm/ttypes.py", line 1979, in read _val128[_key134] = _val135TypeError: unhashable instance
使用thrift 0.7还是失败
这个问题看上去是thrift的问题,在Storm的源码中的storm-core/src/getthrift.sh
里,发现应该使用thrift 0.7:
thrift7 --gen java:beans,hashcode,nocamel --gen py:utf8strings storm.thrift
随后我安装thrift 0.7,发现还是不行,依然报上面的错。
在查了Google后,发现有一个大哥在今年二月也碰到这个问题,并且解决了。需要使用storm提供的thrift,并且要打上一个thrift的patch。
解决方案
使用storm提供的thrift:https://github.com/nathanmarz/thrift/archive/storm.zip
wget https://github.com/nathanmarz/thrift/archive/storm.zipunzip storm.zipcd thrift-storm
打上这个patch:https://issues.apache.org/jira/secure/attachment/12501771/thrift-1382.patch
wget https://issues.apache.org/jira/secure/attachment/12501771/thrift-1382.patchpatch -p0 < thrift-1382.patch
安装thrift-storm
sudo ./bootstrap.shsudo ./configuresudo makesudo make install
重新使用thrift生成python包
thrift --gen py storm.thrift
顺便想到的
我想起了Storm在以前还依赖zeromq的时候,是zeromq还是jzmq来着,不能使用官方版本,要使用storm提供的一个特定版本。这个问题坑了很多人,在使用netty后,这个问题已经解决。
Storm要获取这些运行时的性能数据,一定要使用thrift(或者抓取ui用dom分析,但这个非常麻烦),这个问题也是非常的坑爹。
Storm thrift获取性能数据报错及解决
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。