首页 > 代码库 > 基于mondrain 的原理纠正特殊指标值
基于mondrain 的原理纠正特殊指标值
下面有两张表
数学试卷成绩
表1
学号 |
省份 |
批次 |
学校 |
试卷成绩 |
|
|
|
|
|
数学试卷小题成绩
表2
学号 |
小题号 |
分值 |
成绩 |
|
|
|
|
下面是星型模型:
维度:省份,批次,学校 指标:标准差,信度(比较有代表性)
星型模型表
表3
省份(维度) |
批次(维度) |
学校(维度) |
试卷最高分(指标) |
试卷标准差(指标) |
试卷信度(指标) |
|
|
|
|
|
|
上面是我的OLAP 星型模型,在我同时选中维度:省份,批次,学校 指标:信度这个信度是正确的。
如果我要查询省份成绩的试卷信度,在这个情况下
在我选中 维度:省份 指标:信度
Mondrian支持sum,count,avg等,如下图
但是并不没有信度的计算,同时,信度不能用sum累加,更不能count,min,max进行聚合。
我在从表3中通过省份查询,会得出多条记录。
我如何解决查询选择省份,得出正确的信度值?
我解决的方式是:
通过Mondrian的聚合表优化的特性:
下面是三张聚合表:
agg_1(表4)
省份 |
批次 |
试卷最高分(指标) |
试卷标准差(指标) |
试卷信度(指标) |
|
|
|
|
|
agg_2(表5)
省份 |
学校 |
试卷最高分(指标) |
试卷标准差(指标) |
试卷信度(指标) |
|
|
|
|
|
agg_3(表6)
省份 |
试卷最高分(指标) |
试卷标准差(指标) |
试卷信度(指标) |
|
|
|
|
mondrian的聚合表使用规则是:
agg_1(表4)
agg_2(表5)
agg_3(表6)
上面是三张聚合表,如果我们查询的指标是:试卷最高分, 上面的三张聚合表都身份维度
那么,从上面的任何一张聚合表查询的结果都正确。
刨根究底的人会好奇,mondrian作为OLAP服务器引擎,会查询哪一张聚合表得到结果?
mondrian会首先查询上面所有的聚合表,获取每张表的数据量。
表的数据量关系依次是: agg_1 > agg_2>agg_3
为了提升性能,mondrian会选择数据量最少的表,就是agg_3,数据量最少的表,相应最快。
我就是应用这条规则:
如果我创建了agg_3这张聚合表,mondrian引擎就好选择聚合表agg_3上查询信度,
在星型模型设计器上,
我选择红色圈起来的,其得到的结果都是一样的。
如果,我要查询的维度变了
在我选中 维度:批次 指标:信度
这个维度时,mondrian引擎,会选择
agg_1(表4)
省份 |
批次 |
试卷最高分(指标) |
试卷标准差(指标) |
试卷信度(指标) |
|
|
|
|
|
在这种情况下,批次对应了多个省份,
根据批次查询的信度,就是多个省份的信度值
如果前面是sum,查询的结果sum就是多个省份的信度值累加,这是错误的。
如果要查询到正确的信度值
需要创建一张聚合表
agg_batch(表7)
批次 |
试卷最高分(指标) |
试卷标准差(指标) |
试卷信度(指标) |
|
|
|
|
这个聚合表只有一个批次维度,查询的信度值才是正确的。
如果 我操作选中
维度:省份,批次 指标:信度
mondrian引擎,会选择agg_1(表4),得到的结果才是正确的,这种维度组合,agg_1的结果才会正确。
OK,通过上面的例子,我们对信度指标,聚合表已经有了个大概的了解。
这个设计有个缺点
每一种维度组合,都需要有一种维度表对应,信度,平均分,区分度等指标查询的结果才能保证正确。
需要对OLAP星型模型的所有维度进行组合
组合的结果集为:
如果有5个维度
取一个维度: C(5,1) 5种组合
取二个维度: C(5,2) 10种组合
取三个维度: C(5,3) 10种组合
取四个维度: C(5,4) 5种组合
取五个维度: C(5,5) 1种组合
总的组合数为: C(5,1)+ C(5,2)+ C(5,3)+ C(5,4)+ C(5,5) = 31种
如果有6个维度
C(6,1)+ C(6,2)+ C(6,3)+ C(6,4)+ C(6,5)+C(6,6) = 63种
如果有8个维度
2的8次方减1等于255种
如果有3个维度
2的3次方减1等于7种
一个星型模型的维度是有限的,kylin最大支持15个维度,我觉得,Mondrian也是需要有极限,2的16次方是65 536。
16个维度就产生65 535个聚合表。
通过梳理我们业务,差不多有15到16个维度,但通过去除一些无意义的组合(例如,年份,科目试卷,两个维度只选择一个维度,其OLAP组合没有意义)
维度降低为11个,也就是2047张聚合表。
但是,实际应用中。一般模型的维度一般都在8个以内,其聚合表也就是255张表。在计算上是可控的。
基于mondrain 的原理纠正特殊指标值