首页 > 代码库 > QlikView实现部分载入数据的功能(Partial Load)
QlikView实现部分载入数据的功能(Partial Load)
问题背景:
一直非常想不通,公司花了N多钱请了一帮QlikView的Consultant做出来的solution居然没有涉及Reload的部分,以至于每次刷新数据都须要刷新整个Data Model,之前和部门同事讨论的时候我还信誓旦旦的说QlikView就仅仅能这样了,找不到方法仅仅将新数据刷新到Data Model中而不用又一次load之前已经在Memory里面的数据。
幸而今天一位朋友提到了Add Load中的Partial Load,于是便查了一个小时的Google,经过回来试验之后,豁然开朗了,后续再过一年半载,小哥我能够又一次改写公司的solution。哈哈,美梦到此为止,以下開始进入主题:
什么是Partial Load:
顾名思义,Partial Load就是部分载入数据的意思,比方数据仓库中维度表的数据源有数据来要插入到数据库中的时候,会用Merge来控制仅仅添加?或者更新数据,而对已经存在于数据库中没有不论什么变化的数据不做处理。对QlikView,我们能够想象一下,因为QlikView将数据导入到内存中,那么在又一次载入数据到内存中的时候,有没有一种方法是对在内存中不变的数据不作处理,而仅仅用载入新的数据进去呢?今天我试验的结果是肯定的,用以下的方法就能够。
LET vTimeStart = Now();FOR vI = 1 to 1000 LOAD $(vI) as SellerId, $(vI) as Sales From TestAdd.csv;Next;TestAddTable:Add LOAD SellerId, SalesFrom TestAdd.csv (txt, codepage is 936, embedded labels, delimiter is ',', msq)Where not Exists(SellerId);LET vTimeEnd = Now();
注意:TestAdd.csv文件要和QVW文件放在一个文件夹下,否则须要写TestAdd.csv的全路径。将上面的QlikView代码复制到QlikView Script中去之后,点击Reload;
因为For ... Next语句里循环载入了1000条数据,TestAdd.csv文件里開始仅仅有以下一条数据:
SellerId, Sales10000123,987654321
因此数据载入完成之后,在Data Model里面预览TestAddTale里的数据如为:。
然后再往TestAdd.csv文件里新添加?一条数据,TestAdd.csv中的数据变为:
SellerId,Sales10000123,98765432112332112,312677876
在报表中新建一个文本对象,公式为:=Second(vTimeEnd - vTimeStart),结果为5秒左右表示整个Reload用了5秒。
以下激动人心的时刻到了,点击Partial Load(File - > Partial Reload),数据瞬间载入完成,页面上的文本对象已经变为了0,表示这次数据载入所用的时间差点儿为0. 再Preview一下Data Model里面的TestAddTable里的数据为: 新数据已经载入进去,老数据依旧在内存中没有变化。
因为加了Not Exists的过滤条件,因此第一条数据10000123,987654321,不会被再次载入到Data Model中。(我会在另外一篇文章中具体描写叙述Exists的作用) 某则将出现两条一模一样的数据。
Partial Load在实际工作中的使用展望:
在我发现这个功能之后,被小伙伴们质疑在现实项目中是否实用武之地,我想了想,肯定是实用的,仅仅是受制于如今的solution,假以时日等小哥技术成熟了,肯定能写出一套更好的solution。比方能够这样用:对于月更新的数据,就用一般的Load方式,对于每天要刷新的文件,就用Add Load的方式进行Partial Load,这样就不会每次刷新Daily文件的时候也把Monthly的数据一起刷新了。
结语,如今俺也是接触QlikView不久。有言论不对之处,各位小伙伴多多不吝赐教。