Skip to content

Latest commit

 

History

History
93 lines (43 loc) · 2.32 KB

图片-文字-动图敏感过滤.md

File metadata and controls

93 lines (43 loc) · 2.32 KB

一.背景:

  1. 游戏聊天的时候可能有的玩家发送敏感词汇/图片/动图,为了保证社区的内容向上,因此风控服务需要提供敏感词筛查功能,但敏感校验功能不局限应用于聊天

  2. 第三方开发文档:

    https://www.webpurify.com/documentation/ https://docs.thehive.ai/docs/text-moderation-api

二.相关人员:

  1. RD:李**
  2. QA:
  3. PM:张*

三.前期调研

功能点:

1.敏感词:

1.1 发送前:检验发送文案是否有敏感词,如果有敏感词则用“*”替换敏感词汇

1.2 发送后:没有必要实现?因为发送前已经校验了。

2.图片/动图

2.1:检测图片/动图是否敏感

四.方案设计

1.1 总体设计

application-service服务新增check-violation()接口,主要用于校验图片/文字/动图是否存在违规

check-violation入参

name type demo
check_type int64 默认0:文案校验;1:图片校验;2:动图校验
check_text string 待校验文案
check_pic string 待校验图片/动图链接

check-violation出参

name type demo
text_resp string 文案校验结果
pic_resp int64 0:不包含敏感信息;1:包含敏感信息;默认0

1.2 缓存设计

1.1.1 文字信息缓存:

超时时间暂定2小时或者最长游戏在线时间

key:将文字信息取md5值作为key,key为string类型,需要都转成小写

value: 将文字信息的敏感校验结果作为value,value为string类型

1.1.2 图片/动图信息缓存:

超时时间暂定2小时或者最长游戏在线时间

key:将图片/动图名字信息取md5值作为key,key为string类型

value: 将图片/动图的敏感校验结果作为value,value为string类型. -----注:这里需要缓存的是图片/动图敏感校验的结果的枚举值,需要转成string存储,这样避免多个缓存

1.3 接口流程图

image.png

五.上线步骤

六.其他