Watermark作用

在解释storm的window之前先说明一下watermark原理。

Watermark中文翻译为水位线更为恰当。

顺序的数据从源头开始发送到到操作，中间过程肯定会出现数据乱序情况，比如网络原因，数据并发发送等。如何区分乱序的数据和正常的数据，就引申出了watermark。

Watermark是每一个时间窗口的下限，意思是说当watermark大于了窗口截止时间，那么该窗口就应该被关闭。而watermar也会随着时间窗口的变化不断更新自己。

参考下图，列举了几个关键的术语以及它们的定位。

概述

总体来看，抽象 tuple和watermark为Event，这样可以方便的把watermark注入到tuple。做统一化处理。

有5大组件组成

·WindowBoltExecutor

·WindowManager

·WaterMarkEventGenerator

·Trigger

·Eviction

WindowBoltExecutor负责整个window的初始化，参数配置和封装，

WindowManager负责存取数据，包括所有的数据操作

WaterMarkEventGenerator负责watermark的生成和维护

Trigger负责时间窗口的判断，决定是否触发窗口事件

Eviction负责数据状态的判断，得到数据是哪一种状态（KEEP，STOP，PROCESS，EXPIRED）

Watermark算法

所有流数据不一起处理，而是分开计算各个流最大时间，再根据最大时间集合计算出最小时间，这个时间就是watermark的时间。

这样做的目的是为了防止不同流传输的延迟不同，比方说，有2个上游A,B同时发数据，A由于网络较好，发送的数据比B快，导致了A的时间戳比B的大，如果watermark采用了全局最大值，那么时间窗口就会被提早关闭，而B发来的数据会被排除在该时间窗口

主逻辑流程

重要参数

数据4种状态

过期数据，需要被移除

当 窗口截止时间 – 数据时间 > 窗口大小

基于storm的Window