首页 > 代码库 > 读书笔记-HBase in Action-第三部分应用-(1)OpenTSDB

读书笔记-HBase in Action-第三部分应用-(1)OpenTSDB

OpenTSDB是基于HBase的开源监控系统,可以支持上万规模集群监控和上亿数据点采集。其中TSDB代表Time Series Database,OpenTSDB在时间序列数据的存储和查询上都做了相当多的优化工作。

架构Overview

概念上OpenTSDB由三部分组成:tcollector数据采集、tsd数据服务和HBase数据存储。


数据采集流程


如上图,tcollector后台进程运行在每台被监控的服务器上,管理数据收集脚本,定期执行,失败时重启,确保所有的监控数据发送给OpenTSDB。Tcollector将数据写入到tsd,和HBase解耦保持客户端的轻量级。Tsd通过类似telnet的协议收集数据,所以少量的tsd实例能够支持大量的tcollector写入进程。 

数据查询流程

图中tsd负责和HBase进行数据交互,给前端提供HTTP查询接口。所有的tsd进程都是无状态的,这样查询模块能做到负载均衡、线性可伸缩和高可用。

HBase Schema设计

OpenTSDB存储的是时间序列metrics,来自于不同的服务器,数据有不同的种类,每个点都包含时间戳和测量值。而且最终来讲,数据对用户可用,OpenTSDB还必须支持在线数据可视化。这些因素都影响着HBase Schema设计。


OpenTSDB包括两张表,tsdb表存储时间序列数据,tsdb-uid表存储ID对应关系,管理数据tags等。

Tsdb-uid表

Tsdb-uid包括id和name两个列族


前两行UID-to-name行的UID用于和tsdb表外键关联;后两行name-to-UID行用于支持tag名称的自动补齐(通过扫描rowkey高效实现)。

注意Column qualifier中的metrics代表数据种类,典型的值还包括tag name和tag value。比如来自ubuntu服务器的mysql.bytes_sent数据,其中mysql.bytes_sent为metrics,host为tag name,ubuntu为tag value。OpenTSDB通过metrics、tag name、tag value组合标记同一监控数据。

Tsdb表

Tsdb表的设计重点考虑支持日期范围查找、tag过滤。Tsdb表只有t一个列族。

首先看rowkey设计:一开始是Metric UID,接着是四个字节的部分时间戳,只到小时粒度,能保证同一指标按照时间顺序存储在一起,又能显著减少行数。最后是所有的tag name和tag value UID,满足查询过滤需求。

接着看column qualifier:首先是时间戳剩余秒部分,后面通过四位掩码做一些额外标记,比如首位标记单元值是整数还是浮点数。