首页 > 代码库 > 让EFCore更疯狂些的扩展类库(二):查询缓存、分部sql、表名替换的策略配置
让EFCore更疯狂些的扩展类库(二):查询缓存、分部sql、表名替换的策略配置
前言
上一篇介绍了扩展类库的功能简介,通过json文件配置sql语句 和 sql语句的直接执行,这篇开始说明sql配置的策略模块:策略管理器与各种策略的配置。
类库源码:github:https://github.com/skigs/EFCoreExtend
引用类库:nuget:https://www.nuget.org/packages/EFCoreExtend/
PM> Install-Package EFCoreExtend
策略管理器功能简介
用于管理策略 与 策略执行器和调用(目前分为三种策略执行器),目的为了让配置的sql语句更加简单、自动化等等。
1) 策略类型管理
a) 管理各种策略类型,用于初始化配置文件中的策略配置转换成对象
2) 策略对象配置
a) 通过 sql配置的执行器 的形参传递策略对象
b) 通过 配置文件(分为表和sql) 配置策略对象
c) 配置到 全局策略 中(策略管理器中)
d) 策略对象获取的优先级:通过执行器的形参传递的策略对象 > sql配置的策略对象 > 表配置的策略对象 > 全局策略中配置
3) 策略执行器(一般通过策略对象进行相应的处理)
a) 初始化型的策略执行器:这种类型的会在第一次调用GetExecutor的时候执行,只会执行一次,除非sql配置有改动
- 配置策略对象的初始化、替换表名、合并分部sql等的策略执行器
b) sql执行前的策略执行器:一般用于对SqlParameter进行解析到sql中
- foreach策略执行器:对SqlParameter或者某些数据类型(list/dictionary/model)进行遍历生成字串替换到sql中
c) sql执行时的策略执行器:一般用于缓存和日志记录
- sql与参数的日志记录策略执行器
- 查询缓存与清理策略执行器
表名替换策略
通过特定的标签代替表名在sql配置中呈现(该策略对象默认已经添加到全局策略中,因此并不一定要在配置文件中配置):
{ "policies": { //表配置的策略对象(会包含到表下的所有sql配置中) //表名策略 "tname": { //"tag": "##tname" //默认值为 ##tname } }, "sqls": { "GetList": { "sql": "select * from ##tableName where name=@name", // => select * from [Person] where name=@name "type": "query", "policies": { //sql配置的策略对象 //表名策略 "tname": { "tag": "##tableName", //默认值为 ##tname "prefix": "[", //前缀 "suffix": "]" //后缀 } } } } }
配置初始化:
1 public static void Init() 2 { 3 //加载配置 4 EFHelper.Services.SqlConfigMgr.Config.LoadDirectory(Directory.GetCurrentDirectory() + "/Datas"); 5 6 //设置到全局策略中(一般用于设置 初始化型的策略对象),将策略对象设置到全局之后,会包含到所有配置中的 7 EFHelper.Services.SqlConfigMgr.PolicyMgr.SetGlobalPolicy( 8 //TableNamePolicy对象默认已经添加到全局策略中 9 new TableNamePolicy //表名策略在配置文件中呈现的key:tname(可以通过SqlConfigConst.TableNamePolicyName获取) 10 { 11 Tag = "##tname", 12 }); 13 }
配置执行器调用:
1 public IReadOnlyList<Person> GetList() 2 { 3 tinfo = db.GetConfigTable<Person>(); 4 return tinfo.GetExecutor().QueryUseModel<Person>(new 5 { 6 name = "tom" 7 }, null, null, 8 //通过参数传递策略对象(一般用于设置 sql执行前 或 执行时的策略对象, 9 // 而初始化型的一般在配置文件或全局策略中设置) 10 new[] { new SqlL2QueryCachePolicy() }); 11 }
说明:
策略对象获取的优先级(如果策略对象设置到多个地方了): 执行器形参传递的策略对象 > sql配置的策略对象 > 表配置的策略对象 > 全局策略中配置
分部sql策略
分部sql目的为了将sql分部在不同的配置中,以便sql的可重用:
Person.json配置:
{ "sqls": { "GetListSection": { "sql": "select * from ##tname where #{WhereSec}", //最终生成的sql:select * from Person where name=@name or addrid in (select id from Address where id=@addrid) "type": "query", "policies": { //分部sql策略,以便将sql分部在不同的配置中(注意:分部策略是对sql的分部,可以在分部sql下再进行分部sql(子分部),但是不会继承分部sql中的policies(策略对象)等的配置) "section": { //"tagPrefix": "#{", //策略前缀标记符,默认为 #{ //"tagSuffix": "}", //策略后缀标记符,默认为 } "sqlNames": [ "WhereSec" ] //指定sql的名称(同表下的SqlName) //"tableSqlNames": { //指定其他表的sql名称(key为TableName,value为SqlName) //} } } }, "WhereSec": { "sql": " #{WhereSec1} or addrid in (#{Address.ListSec}) ", "type": "nonexecute", //不用于执行的sql类型 "policies": { "section": { "sqlNames": [ "WhereSec1" ], "tableSqlNames": { //指定其他表的sql名称(key为TableName,value为SqlName) "Address": "ListSec" } } } }, "WhereSec1": { "sql": "name=@name", "type": "nonexecute" } } }
Address.json:
{ "sqls": { "ListSec": { "sql": "select id from ##tname where #{WhereSec}", "type": "nonexecute", "policies": { "section": { "sqlNames": [ "WhereSec" ] //指定sql的名称(同表下的SqlName) } } }, "WhereSec": { "sql": "id=@addrid", "type": "nonexecute" } } }
配置执行器调用:
1 public IReadOnlyList<Person> GetListSection() 2 { 3 tinfo = db.GetConfigTable<Person>(); 4 return tinfo.GetExecutor().QueryUseModel<Person>(new 5 { 6 name = name, 7 addrid = 123, 8 }); 9 }
查询缓存与缓存清理策略
查询缓存分为 一级缓存 和 二级缓存。
一级查询缓存策略
一级缓存仅作用于SqlConfigExecutor对象中,而且不能设置缓存过期时间。
配置:
{ "sqls": { "GetListL1Cache": { "sql": "select * from ##tname where name=@name", "type": "query", "policies": { "l1cache": {} //一级查询缓存,仅作用于SqlConfigExecutor对象 } } } }
配置执行器调用:
public void GetListL1Cache() { var tinfo = db.GetConfigTable<Person>(); var exc = tinfo.GetExecutor(); var q1 = exc.QueryUseModel<Person>(new { name = _name }); var q2 = exc.QueryUseModel<Person>(new { name = _name }); //一级缓存作用于SqlConfigExecutor,那么同一个SqlConfigExecutor对象下, // 相同的sql和SqlParameter获取的数据是一样的 Assert.True(q1 == q2); var q3 = exc.QueryUseModel<Person>(new { name = _name + "1" }); //参数变了 Assert.True(q1 != q3); }
二级查询缓存策略
二级查询缓存,作用于整个程序运行期间,也可配置到Redis中,如果同时配置了二级缓存和一级缓存默认是使用二级缓存(策略执行器的优先级有关)。
配置:
{ "name": "Person", "policies": { //二级查询缓存,作用于整个程序运行期间 / 或者跨进程分布式(Redis),如果同时配置了二级缓存和一级缓存默认时使用二级缓存(策略执行器的优先级有关) "l2cache": { //"type":"", //缓存的类型(Query默认为:query, Scalar默认为:scalar) "expiry": { //注意如果没有设置expiry的date/span,那么缓存不会过期的 //"date": "2018-01-01", //指定缓存的过期日期 //"span": "00:00:03" //指定缓存的过期间隔(换算日期为:当前时间 + 时间间隔) //"isUpdateEach": true //是否每次获取缓存之后更新过期时间(这个属性 + span属性来进行模拟session访问更新过期时间) } } }, "sqls": { "CountL2Cache": { "sql": "select count(*) from ##tname", "type": "scalar", "policies": { "l2cache": { "expiry": { "span": "00:00:03", //指定缓存的过期间隔,这里设置为3秒 "isUpdateEach": true //每次获取缓存之后更新过期时间 } } } } } }
配置执行器调用:
public int CountL2Cache(TimeSpan? span = null) { var tinfo = db.GetConfigTable<Person>(); if (span.HasValue) { return (int)tinfo.GetExecutor().ScalarUseModel(null, null, //通过形参传递缓存策略对象:更改为不自动更新时间的 new SqlL2QueryCachePolicy { Expiry = new QueryCacheExpiryPolicy(span.Value, false) }); } else { return (int)tinfo.GetExecutor().Scalar(); } }
更多的配置说明:
{ "name": "Person", "sqls": { "GetListL2Cache": { "sql": "select * from ##tname", "type": "query", "policies": { "l2cache": { //二级查询缓存,不设置缓存过期时间(缓存不过期) } } }, "GetListL2Cache1": { "sql": "select * from ##tname", "type": "query", "policies": { "l2cache": { "type": "query1" //指定CacheType,默认为query } } }, "GetListL2Cache2": { "sql": "select * from ##tname where 2=2", "type": "query", "policies": { "l2cache": { "expiry": { "date": "2018-01-01" //指定缓存的过期日期 } } } }, "GetListL2Cache3": { "sql": "select * from ##tname where 3=3", "type": "query", "policies": { "l2cache": { "expiry": { "span": "00:00:03" //指定缓存的过期间隔(换算日期为:当前时间 + 时间间隔),为了方便测试因此这里指定了3秒 } } } }, "CountL2Cache": { "sql": "select count(*) from ##tname", "type": "scalar", "policies": { "l2cache": { "expiry": { "span": "00:00:03", //指定缓存的过期间隔(换算日期为:当前时间 + 时间间隔),为了方便测试因此这里指定了3秒 "isUpdateEach": true //是否每次获取缓存之后更新过期时间(这个属性 + span属性来进行模拟session访问更新过期时间) } } } } } }
二级缓存清理策略
配置:
{ "policies": { //二级查询缓存清理策略 "clear": { "isAsync": true,//是否异步进行清理 "isSelfAll": true, //是否清理 所在表下 的所有缓存 "tables": [ "Address" ], //需要进行缓存清理的表的名称(一般用于清理 其他表下 的所有查询缓存) "cacheTypes": [ "query", "scalar1" ], //需要进行缓存清理的类型(用于清理 所在表下 的CacheType查询缓存) "tableCacheTypes": { //需要进行缓存清理的类型(key为TableName,value为CacheType,一般用于清理 其他表下 的CacheType) "Address": "query" } } }, "sqls": { "CountL2Cache": { "sql": "select count(*) from ##tname", "type": "scalar", "policies": { "l2cache": { "type": "scalar1", //缓存的类型(Query默认为:query, Scalar默认为:scalar) "expiry": { "span": "00:00:03" } } } }, "AddPersonL2Cache": { "sql": "insert into ##tname(name, birthday, addrid) values(‘tom_t2cache‘, ‘2018-1-1‘, 123) ", "type": "nonquery", "policies": { "clear": { "isSelfAll": true //是否清理 所在表下 的所有缓存 } } } } }
配置执行器调用:
1 public class PersonBLL 2 { 3 DBConfigTable tinfo; 4 public PersonBLL(DbContext db) 5 { 6 tinfo = db.GetConfigTable<Person>(); 7 } 8 9 public int CountL2Cache() 10 { 11 return (int)tinfo.GetExecutor().Scalar(); 12 } 13 14 public int AddPersonL2Cache() 15 { 16 return tinfo.GetExecutor().NonQuery(); 17 } 18 }
让EFCore更疯狂些的扩展类库(二):查询缓存、分部sql、表名替换的策略配置