ayugespidertools-3.9.8

AyugeSpiderTools 3.9.8 (2024-05-17)

Deprecations

• 删除新建项目中 pyproject.toml 模板。（bb0adf3）
• 删除新建项目中 run.py, run.sh, README.md, requirements.txt 模板的过度设计，不影响程序功能，按需自行添加。（2a02faa, cb1393f）
• 更新 spider 模板内容，保证示例的稳定，为了通用性去除 type hint（请按需自行添加，DemoSpider 项目中有示例），并规避一些问题等。（7dc45fd）
• EncryptOperation 改名为 Encrypt，不影响库的使用。（5e529ca）
• 删除库中未使用的 get_files_from_path 方法。（e0d04d2）

补充：
此弃用和变动并不影响项目中的功能，只涉及一些自动生成的多余配置文件，运行文件等，这些为过度设计（不应替用户强行决定，且未做到完美适配）。

比较喜欢完整项目模版的开发者，则可选择通过 LazyScraper 项目来更方便地生成项目模版。

New features

• 同步更新 scrapy 依赖版本为 2.11.2。（1618654）

Bug fixes

• 无。

Code optimizations

• requests 相关代码更换为 urllib 方式。（f014030，5cd28cc）
• .conf 模板格式整理，修改模板为英文，以解决中英文混编下的格式问题。（f6f0e43，01d02a1，8ded926）
• 添加 .editorconfig 配置。(d175c6e)
• poetry 依赖更新。（f783546）
• 文档更新。
• mongodb 存储场景中 pymongo 依赖版本及应用场景的判定逻辑修改，由通过 py 版本来判定改为由 pymongo 依赖版本来判定。目前本库在 py3.11 及以上还是会安装 ^4.5.0 版本的 pymongo，不影响旧项目功能。（625ad1c）

补充解释：若 py 3.11 及以上则使用 ^4.5.0 版本的 pymongo 来支持 3.6 及以上版本的 MongoDB 来解决 motor 的异步存储问题；若 py3.11 以下则使用 3.13.0 的 pymongo 版本来与目前一致。 （issue 11）