新增支持 id/userId 与其它字段同时作为增删改条件

[cloudAndMonkey]

Description

32db282
非public请求,@combine 只能数据库配置, 页面传递条件, 进行校验是否符合要求.避免页面传递,安全风险

[cloudAndMonkey]

记录一下
{"User_address":{ "INSERT": {"@ROLE": "OWNER,ADMIN","@combine": "user_id | count"}} }

https://github.com/Tencent/APIJSON/blob/master/APIJSONORM/src/main/java/apijson/orm/AbstractSQLConfig.java#L5646-L5665

[cloudAndMonkey]

@TommyLemon
我想了一下, 解决方案如下:
1、在线配置@combine规则(周边,可有可无)
举例:


2、数据库保存@combine
3、apijson init()
计算@combine 包含的字段,存储到全局变量中

/***
* apijson init方法解析执行
* 
* @param combineExpr
* @return
*/
private Set<String> getCombineExprKeys(String combineExpr) {
Set<String> keys = new HashSet<>();
String key = "";
for (int index = 0; index < combineExpr.length(); index++) {
	char c = combineExpr.charAt(index);
	boolean isEnd = index == combineExpr.length() -1;
	if (c == '(' || c == '&' || c == '|') {
		continue;
	} else if (c == ')' || c == ' ' || isEnd) {//结束符
		if(key.length() == 0) {
			continue;
		}
		if(isEnd && c != ')') {
			key += c;
		}
		//处理key= !key
		if(key.startsWith("!")) {
			keys.add(key.substring(1));
		}else {
			keys.add(key);	
		}
		key = "";
	} else {
		key += c;
	}
}

return keys;
}

@Test
public void testGetCombineExprKeys() {
//String combineExpr = "key0";
//String combineExpr = "key0 | key1";
//String combineExpr = "(key0 | key1)";
//String combineExpr = "(key0 & key1) & (key0 & key1)";
//String combineExpr = "user_id!~ & count~";
//String combineExpr = "key0 | (key1 & (key2 | key3! | (key4 & key5 & key)))";
String combineExpr = "key0 | (key1!~ & (key2~ | key3! | (!key4 & key5 & key)))";
Set<String> keys =  getCombineExprKeys(combineExpr);
log.info("keys:{}",keys);
}

4、非public请求, 页面传递参数
校验@combine是否包含传递的参数
5、计算@combine 不包含的参数 notContainsKeys
6、生成执行@combine

/***
* 删除不存在的key
* 
* @param combineExpr
* @param key
* @return
*/
private static Map<String,String> buildRealCombine(String combineExpr, String key) {
Map<String,String> retMap = new HashMap<>();
String s = StringUtil.getString(combineExpr);
String tmpStr = "";
while (combineExpr.isEmpty() == false) {
	int index = combineExpr.indexOf(key);
	if (index < 0) {
		break;
	}

	boolean isBegin = index <= 0 ? true : false;
	boolean isEnd = index >= combineExpr.length() - key.length() ? true : false;
	char left = isBegin ? ' ' : combineExpr.charAt(index - 1);
	char right = isEnd ? ' ' : combineExpr.charAt(index + key.length());
	if ((left == ' ' || left == '(' || left == '&' || left == '|' || left == '!') && (right == ' ' || right == ')')) {
		// 真实环境传递@combine,必须包含字段
		if (isBegin && isEnd) {
			retMap.put("combineExpr", "");
			retMap.put("index", "1");
			return retMap;
		}
		// 去除右边
		if (isBegin || left == '(') {
			if (isEnd) {
				tmpStr += combineExpr.substring(0, index);
			} else if (right == ')') {
				tmpStr += combineExpr.substring(0, index);
				tmpStr += combineExpr.substring(index + key.length());
			} else if (right == ' ') {
				tmpStr += combineExpr.substring(0, index);
				tmpStr += combineExpr.substring(index + + key.length() + 3);
			}
		} else { // 去除左边
			if (left == ' ' || left == '&' || left == '|') {
				tmpStr += combineExpr.substring(0, index - 3);
				tmpStr += combineExpr.substring(index + key.length());
			} else if (left == '!') {
				tmpStr += combineExpr.substring(0, index - 4);
				tmpStr += combineExpr.substring(index + key.length());
			} else {
				tmpStr += combineExpr.substring(0, index);
				tmpStr += combineExpr.substring(index + key.length());
			}
		}
		retMap.put("combineExpr", tmpStr);
		retMap.put("index", "1");
		return retMap;
	}
	int newIndex = index + key.length() + 1;
	if (combineExpr.length() <= newIndex) {
		break;
	}
	tmpStr += combineExpr.substring(0, newIndex);
	combineExpr = combineExpr.substring(newIndex);
}
retMap.put("combineExpr", s);
retMap.put("index", "0");
return retMap;
}

/***
* @param combineExpr
* @param key
* @return
*/
private static void paramTocombineExpr(String combineExpr, List<String> notContainsKeys) {
for (String key : notContainsKeys) {
	while(true) {
		Map<String,String> retMap = buildRealCombine(combineExpr, key);
		combineExpr = retMap.get("combineExpr");
		if(StringUtil.equals(retMap.get("index"), "0")) {
			break;
		}
	}
}
while (true) {
	Map<String,String> retMap = buildRealCombine(combineExpr, "()");
	combineExpr = retMap.get("combineExpr");
	if(StringUtil.equals(retMap.get("index"), "0")) {
		break;
	}
}
log.info("combineExpr:{}", combineExpr);
}

@Test
public void combine_one() {
String combineExpr = "key";
List<String> notContainsKeys = new ArrayList<>();
notContainsKeys.add("key");
paramTocombineExpr(combineExpr, notContainsKeys);
}

@Test
public void combine_two() {
//String combineExpr = "key0 | key1";
String combineExpr = "(key0 & key1)";
List<String> notContainsKeys = new ArrayList<>();
notContainsKeys.add("key0");
paramTocombineExpr(combineExpr, notContainsKeys);
}

@Test
public void combine_many() {
String combineExpr = "key0 | (key1!~ & (key2~ | !key3 & (key4 & key5 & key)))";
//String combineExpr = "key0 | (key1!~ & (key2~ | key3! & (key4 & key5 & key)))";
//String combineExpr = "key0 | (key0 & (key2 | key3! & (key4 & key5 & key)))";
List<String> notContainsKeys = new ArrayList<>();
notContainsKeys.add("key4");
notContainsKeys.add("key5");
notContainsKeys.add("key");
paramTocombineExpr(combineExpr, notContainsKeys);
}

[cloudAndMonkey]

@TommyLemon
你先看方案有没有问题, 年后等我忙完再跟进

[TommyLemon]

Description

32db282 非public请求,@combine 只能数据库配置, 页面传递条件, 进行校验是否符合要求.避免页面传递,安全风险

所有请求，包括 GET, HEAD 等开放请求(不用 Request 表校验规则) 都要考虑前端可以传参
"@combine": "userId{} | 其它key"
来绕过权限校验 这个安全隐患。
可以通过配置白名单来允许某些 method & tag 对 @combine 中传 id/userId

"ALLOW_COMBINE_KEY": "id,userId{}"

[TommyLemon]

@TommyLemon 我想了一下, 解决方案如下: 1、在线配置@combine规则(周边,可有可无) 举例: 2、数据库保存@combine 3、apijson init() 计算@combine 包含的字段,存储到全局变量中

/***
* apijson init方法解析执行
* 
* @param combineExpr
* @return
*/
private Set<String> getCombineExprKeys(String combineExpr) {
Set<String> keys = new HashSet<>();
String key = "";
for (int index = 0; index < combineExpr.length(); index++) {
	char c = combineExpr.charAt(index);
	boolean isEnd = index == combineExpr.length() -1;
	if (c == '(' || c == '&' || c == '|') {
		continue;
	} else if (c == ')' || c == ' ' || isEnd) {//结束符
		if(key.length() == 0) {
			continue;
		}
		if(isEnd && c != ')') {
			key += c;
		}
		//处理key= !key
		if(key.startsWith("!")) {
			keys.add(key.substring(1));
		}else {
			keys.add(key);	
		}
		key = "";
	} else {
		key += c;
	}
}

return keys;
}

@Test
public void testGetCombineExprKeys() {
//String combineExpr = "key0";
//String combineExpr = "key0 | key1";
//String combineExpr = "(key0 | key1)";
//String combineExpr = "(key0 & key1) & (key0 & key1)";
//String combineExpr = "user_id!~ & count~";
//String combineExpr = "key0 | (key1 & (key2 | key3! | (key4 & key5 & key)))";
String combineExpr = "key0 | (key1!~ & (key2~ | key3! | (!key4 & key5 & key)))";
Set<String> keys =  getCombineExprKeys(combineExpr);
log.info("keys:{}",keys);
}

4、非public请求, 页面传递参数 校验@combine是否包含传递的参数 5、计算@combine 不包含的参数 notContainsKeys 6、生成执行@combine

/***
* 删除不存在的key
* 
* @param combineExpr
* @param key
* @return
*/
private static Map<String,String> buildRealCombine(String combineExpr, String key) {
Map<String,String> retMap = new HashMap<>();
String s = StringUtil.getString(combineExpr);
String tmpStr = "";
while (combineExpr.isEmpty() == false) {
	int index = combineExpr.indexOf(key);
	if (index < 0) {
		break;
	}

	boolean isBegin = index <= 0 ? true : false;
	boolean isEnd = index >= combineExpr.length() - key.length() ? true : false;
	char left = isBegin ? ' ' : combineExpr.charAt(index - 1);
	char right = isEnd ? ' ' : combineExpr.charAt(index + key.length());
	if ((left == ' ' || left == '(' || left == '&' || left == '|' || left == '!') && (right == ' ' || right == ')')) {
		// 真实环境传递@combine,必须包含字段
		if (isBegin && isEnd) {
			retMap.put("combineExpr", "");
			retMap.put("index", "1");
			return retMap;
		}
		// 去除右边
		if (isBegin || left == '(') {
			if (isEnd) {
				tmpStr += combineExpr.substring(0, index);
			} else if (right == ')') {
				tmpStr += combineExpr.substring(0, index);
				tmpStr += combineExpr.substring(index + key.length());
			} else if (right == ' ') {
				tmpStr += combineExpr.substring(0, index);
				tmpStr += combineExpr.substring(index + + key.length() + 3);
			}
		} else { // 去除左边
			if (left == ' ' || left == '&' || left == '|') {
				tmpStr += combineExpr.substring(0, index - 3);
				tmpStr += combineExpr.substring(index + key.length());
			} else if (left == '!') {
				tmpStr += combineExpr.substring(0, index - 4);
				tmpStr += combineExpr.substring(index + key.length());
			} else {
				tmpStr += combineExpr.substring(0, index);
				tmpStr += combineExpr.substring(index + key.length());
			}
		}
		retMap.put("combineExpr", tmpStr);
		retMap.put("index", "1");
		return retMap;
	}
	int newIndex = index + key.length() + 1;
	if (combineExpr.length() <= newIndex) {
		break;
	}
	tmpStr += combineExpr.substring(0, newIndex);
	combineExpr = combineExpr.substring(newIndex);
}
retMap.put("combineExpr", s);
retMap.put("index", "0");
return retMap;
}

/***
* @param combineExpr
* @param key
* @return
*/
private static void paramTocombineExpr(String combineExpr, List<String> notContainsKeys) {
for (String key : notContainsKeys) {
	while(true) {
		Map<String,String> retMap = buildRealCombine(combineExpr, key);
		combineExpr = retMap.get("combineExpr");
		if(StringUtil.equals(retMap.get("index"), "0")) {
			break;
		}
	}
}
while (true) {
	Map<String,String> retMap = buildRealCombine(combineExpr, "()");
	combineExpr = retMap.get("combineExpr");
	if(StringUtil.equals(retMap.get("index"), "0")) {
		break;
	}
}
log.info("combineExpr:{}", combineExpr);
}

@Test
public void combine_one() {
String combineExpr = "key";
List<String> notContainsKeys = new ArrayList<>();
notContainsKeys.add("key");
paramTocombineExpr(combineExpr, notContainsKeys);
}

@Test
public void combine_two() {
//String combineExpr = "key0 | key1";
String combineExpr = "(key0 & key1)";
List<String> notContainsKeys = new ArrayList<>();
notContainsKeys.add("key0");
paramTocombineExpr(combineExpr, notContainsKeys);
}

@Test
public void combine_many() {
String combineExpr = "key0 | (key1!~ & (key2~ | !key3 & (key4 & key5 & key)))";
//String combineExpr = "key0 | (key1!~ & (key2~ | key3! & (key4 & key5 & key)))";
//String combineExpr = "key0 | (key0 & (key2 | key3! & (key4 & key5 & key)))";
List<String> notContainsKeys = new ArrayList<>();
notContainsKeys.add("key4");
notContainsKeys.add("key5");
notContainsKeys.add("key");
paramTocombineExpr(combineExpr, notContainsKeys);
}

👍

[cloudAndMonkey]

Description

32db282 非public请求,@combine 只能数据库配置, 页面传递条件, 进行校验是否符合要求.避免页面传递,安全风险

所有请求，包括 GET, HEAD 等开放请求(不用 Request 表校验规则) 都要考虑前端可以传参 "@combine": "userId{} | 其它key" 来绕过权限校验 这个安全隐患。 可以通过配置白名单来允许某些 method & tag 对 @combine 中传 id/userId

"ALLOW_COMBINE_KEY": "id,userId{}"
@TommyLemon
也可以:

1. json模版
   controller 添加一个 模版 method, 前端传递参数, 后端 组装参数、combine等匹配校验,生成最终执行json
   模版解决public请求combine安全问题
2. 白名单
   gets、get请求,就是白名单的效果了.
   用户可以控制是否走校验流程.
   走校验流程,就能应用Request表 @combine校验匹配规则

public请求细粒度白名单, 也无法避免安全性问题

我再想想

[TommyLemon]

@cloudAndMonkey 只有在 非开放请求中， @combine 中才允许 id/userId 与其它字段 与或非 组合。
如果 开放请求(GET, HEAD) 中这种需求不多的话，直接新增接口实现就行了。

[TommyLemon]

1. json模版 这个，目前 apijson-router 就能满足需求
   https://github.com/APIJSON/apijson-router

[cloudAndMonkey]

@TommyLemon
apijson-router我大致看了一下,
Document 配置request, 生成执行json.
改造支持通过参数 生成执行@combine
这样 public、非public请求 @combine安全性不就解决了吗? 😄
按照我上面的非public @combine解决方案,非public不冲突的
我最近有点忙,等我忙完,我再来测试开发吧

[TommyLemon]

是这样，如果不对外暴露 万能通用接口，只通过 apijson-router 暴露类 RESTful 接口，那就不需要对 @combine 做限制了，
可以加个配置参数 IS_ALLOW_ANY_KEY_IN_COMBINE，设置为 true 则不校验 id/userId 是否在里面

[cloudAndMonkey]

是这样，如果不对外暴露 万能通用接口，只通过 apijson-router 暴露类 RESTful 接口，那就不需要对 @combine 做限制了， 可以加个配置参数 IS_ALLOW_ANY_KEY_IN_COMBINE，设置为 true 则不校验 id/userId 是否在里面

@TommyLemon
嗯嗯,等我空了再来详细测试

[cloudAndMonkey]

apijson-router 已经基本测通

[cloudAndMonkey]

是这样，如果不对外暴露 万能通用接口，只通过 apijson-router 暴露类 RESTful 接口，那就不需要对 @combine 做限制了， 可以加个配置参数 IS_ALLOW_ANY_KEY_IN_COMBINE，设置为 true 则不校验 id/userId 是否在里面

@TommyLemon
看了apijson-router实现
为了保证public、非public method, @combine安全性
通过参数, 动态生成 执行@combine 表达式
需要调整的地方:
1、上面我的解决方案, 生成 执行 @combine表达式
2、加个配置参数 IS_ALLOW_ANY_KEY_IN_COMBINE，设置为 true 则不校验 id/userId 是否在里面
3、crud 万能通用接口 支持 (后续再细化)
有几种处理方式
1、apijson启动 判断 Document url 为 crud 万能通用接口, 生成最终执行 crud json
2、router 请求 判断 Document url 为 crud 万能通用接口

1. 不进行参数校验
   https://github.com/APIJSON/apijson-router/blob/main/src/main/java/apijson/router/APIJSONRouterController.java#L209
2. crud执行内容校验
   return parser.setNeedVerifyContent(true).parse(apijsonReq);

[TommyLemon]

@cloudAndMonkey 图形化操作生成 @combine 表达式这种方式是可以的。
用了 apijson-router 后，只需要对前端类 RESTful 传参（少数必要字段）进行校验，对内部 APIJSON 格式的 JSON 不用校验(return parser.setNeedVerifyContent(false).parse(apijsonReq); 这里已经设置为 false，不对内部 JSON 校验)。

另外不对外暴露万能通用接口，暴露的都是类 RESTful 接口， /{method}/{tag} 这种格式，其中 method 都是 get, head, post 等 APIJSON 的 CRUD 方法小写格式，很容易
1.通过路由来动态判断是 apijson-router 的 接口格式
2.也可以是你提到的 1，启动时通过 Document 表配置来根据字段 StringUtil.isNotEmpty(apijson, true) ，缓存到一个 Map<String, RequestMethod> routerUrlMap，后续只要 routerUrlMap.containsKey(url) 或 routerUrlMap.get(url) != null 就能静态判断了，这样更方便，性能也更高。

[cloudAndMonkey]

@cloudAndMonkey 图形化操作生成 @combine 表达式这种方式是可以的。 用了 apijson-router 后，只需要对前端类 RESTful 传参（少数必要字段）进行校验，对内部 APIJSON 格式的 JSON 不用校验(return parser.setNeedVerifyContent(false).parse(apijsonReq); 这里已经设置为 false，不对内部 JSON 校验)。

另外不对外暴露万能通用接口，暴露的都是类 RESTful 接口， /{method}/{tag} 这种格式，其中 method 都是 get, head, post 等 APIJSON 的 CRUD 方法小写格式，很容易 1.通过路由来动态判断是 apijson-router 的 接口格式 2.也可以是你提到的 1，启动时通过 Document 表配置来根据字段 StringUtil.isNotEmpty(apijson, true) ，缓存到一个 Map<String, RequestMethod> routerUrlMap，后续只要 routerUrlMap.containsKey(url) 或 routerUrlMap.get(url) != null 就能静态判断了，这样更方便，性能也更高。

今天我有点时间, 我先弄一点