Repository navigation
中文数据增强基础维护更新,新增保护词,修复数据正确性和依赖加载问题。
- 六种规则增强器支持
stopwords/set_stopwords(),保护重复、重叠短语及相交分词;字符交换不会跨越保护短语(#32)。 - 修复随机删除末尾内容丢失、零增强率除零、实例间随机状态和用户词典相互影响,以及低增强率下过量重试。
- 修复 BIO 空行句界、无替换候选和实体长度变化后的标签重建,明确报告非法标注位置。
- SimBERT 按需加载,基础导入无需模型依赖(#30);修复缺省 CUDA 配置和调用方配置被修改的问题(#28)。
- 百度翻译使用 HTTPS、请求超时和明确的服务错误,保留多行结果。
- 统一格式、导入顺序和静态检查,增加回归测试与跨平台 CI;修正打包版本、内置词表和许可元数据。
兼容要求:Python >=3.10。 Requests 下限为 2.33.0,移除基础功能不需要的 NumPy 固定依赖。相同种子的输出可能与旧版不同;create_num 仍包含原文,表示最多结果总数。
验证:29 项回归检查;在源码目录之外验证已安装的 wheel;GitHub CI 覆盖 Linux Python 3.10–3.14 及 Windows/macOS Python 3.12。SimBERT 检查配置和依赖加载边界,未下载模型验证推理;百度翻译检查模拟服务响应,未调用在线付费服务。
安装更新:
python -m pip install --upgrade nlpcda