首页 > 代码库 > ETL调度开发(1)——编写说明
ETL调度开发(1)——编写说明
前言:
在数据库运行维护过程中经常会需要在系统之间进行文件传输,对数据进行抽取、转换、整合等操作。并且在数据整合之后进行统计调度,这里将会对本人开发的一个ETL调度进行详细的说明。
需求概述:
调度分为如下方式:
ü 一个是SHELL编写的ETL调度,支持小时、日、周、月文件的调度。
ü 一个是流程调度,主要是根据配置表调用指定过程,并发执行。
进程描述:
文件调度进程每分钟起一次,文件调度后的后续处理进程也是每分钟起一次,自动预警进程每5分钟检查一次。
预警描述:
每日文件在指定时间内未到达时将短信提醒相关人员(ETL调度程序文件未到达提醒),截止目前遇到的几种异常情况已经加入到自动处理程序
另外:文件流程,或者统计流程连续出错指定次数之后则停止统计,同时通过短信预警。
后续开始设计对应的配置表以及描述各个配置表之间的关系和配置方法。
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。