ayugespidertools-3.9.8

AyugeSpiderTools 3.9.8 (2024-05-17)

Deprecations

• 删除新建项目中 pyproject.toml 模板。（bb0adf3）
• 删除新建项目中 run.py, run.sh, README.md, requirements.txt 模板的过度设计，不影响程序功能，按需自行添加。（2a02faa, cb1393f）
• 更新 spider 模板内容，保证示例的稳定，为了通用性去除 type hint（请按需自行添加，DemoSpider 项目中有示例），并规避一些问题等。（7dc45fd）
• EncryptOperation 改名为 Encrypt，不影响库的使用。（5e529ca）
• 删除库中未使用的 get_files_from_path 方法。（e0d04d2）

补充：
此弃用和变动并不影响项目中的功能，只涉及一些自动生成的多余配置文件，运行文件等，这些为过度设计（不应替用户强行决定，且未做到完美适配）。

比较喜欢完整项目模版的开发者，则可选择通过 LazyScraper 项目来更方便地生成项目模版。

New features

• 同步更新 scrapy 依赖版本为 2.11.2。（1618654）

Bug fixes

• 无。

Code optimizations

• requests 相关代码更换为 urllib 方式。（f014030，5cd28cc）
• .conf 模板格式整理，修改模板为英文，以解决中英文混编下的格式问题。（f6f0e43，01d02a1，8ded926）
• 添加 .editorconfig 配置。(d175c6e)
• poetry 依赖更新。（f783546）
• 文档更新。
• mongodb 存储场景中 pymongo 依赖版本及应用场景的判定逻辑修改，由通过 py 版本来判定改为由 pymongo 依赖版本来判定。目前本库在 py3.11 及以上还是会安装 ^4.5.0 版本的 pymongo，不影响旧项目功能。（625ad1c）

补充解释：若 py 3.11 及以上则使用 ^4.5.0 版本的 pymongo 来支持 3.6 及以上版本的 MongoDB 来解决 motor 的异步存储问题；若 py3.11 以下则使用 3.13.0 的 pymongo 版本来与目前一致。 （issue 11）

ayugespidertools-3.9.7

AyugeSpiderTools 3.9.7 (2024-03-08)

Deprecations

• 无。

New features

• oss 场景添加是否保存完整链接的配置 full_link_enable，默认 false，不影响旧项目。(009ac20)
• oss 场景不再需要手动添加上传的字段是否为空的判断。(009ac20)

Bug fixes

• 修复 aiohttp 场景下由于目标网站未遵守编码时可能会出现的编码问题。(d2772b5)

Code optimizations

• 添加 aiohttp 可支持的请求方式。(c7c247e)
• 优化 oss, file download 场景的 pipeline 示例，减少复杂逻辑。(b0929d8, f0f1b2f)
• 测试场景增加剔除无关代码块的规则。(3e0ce94)
• 代码风格统一，补充缺失的 type hint，提升开发体验。

ayugespidertools-3.9.6

AyugeSpiderTools 3.9.6 (2024-02-18)

Deprecations

• 无。

New features

• 无。

Bug fixes

• 修复 mysql 存储引擎 engine 参数未生效的问题。(1240e37)

Code optimizations

• 更新 aiohttp 依赖库版本以解决破坏兼容性的问题，同步更新 scrapy 依赖版本。（3f0dc5a, 246c824）
• 文档更新。

ayugespidertools-3.9.5

AyugeSpiderTools 3.9.5 (2024-01-30)

Deprecations

• 无。

New features

• mysql 场景添加 odku_enable 配置来设置是否开启 ON DUPLICATE KEY UPDATE 功能。(25d71dd)
• 添加 oss pipeline 的示例，请在 DemoSpider 中 demo_oss 和 demo_oss_sec 查看具体使用方法。(issue 16)

Bug fixes

• 解决文件下载不支持多字段下载的问题，请在 DemoSpider 中 demo_file 和 demo_file_sec 查看具体使用方法。(f836f02, f504c45)
• 解决远程配置管理中缺失的 mongodb:uri 优先级设置。(51ea7da)

Code optimizations

• mq 场景添加关闭链接处理。(ac54fd0)
• 更新 readthedocs 中的教程指南，以方便快速上手。
• 更新部分依赖库版本。

ayugespidertools-3.9.4

AyugeSpiderTools 3.9.4 (2024-01-10)

Deprecations

• 无。

New features

• 添加 elasticsearch 支持，具体示例请在 DemoSpider 中 demo_es 和 demo_es_async 查看。(issue 15, c4d048e, 7651dd3)

Bug fixes

• 无。

Code optimizations

• mypy check。(785e36a)

ayugespidertools-3.9.3

AyugeSpiderTools 3.9.3 (2023-12-30)

Deprecations

• 无。

New features

• 无。

Bug fixes

• 解决 pip install ayugespidertools 并执行简单场景时提示 oracledb 的依赖缺失问题。(e363937)

注：出现此问题又是因为未重新新建环境来测试，且使用 Pycharm ssh 远程开发时不会自动索引环境依赖导致，所以未检视出项目依赖的问题。后续也会添加对 DemoSpider 场景的测试自动化来完善测试流程。

由于对用户体验影响较大，先修复此问题并发布。

Code optimizations

• 统一代码风格。(ecb97e8)

ayugespidertools-3.9.2

AyugeSpiderTools 3.9.2 (2023-12-28)

Deprecations

• 无。

New features

• mysql 配置项支持自定义自动创建库表场景的 engine 和 collate 参数。(e652666)

Bug fixes

• 解决 settings 模板生成的 LOG_FILE 不是当前项目名的问题。(93c19d6)

Code optimizations

• 更新 spider 模板，模板中解析方式改为 scrapy 的形式，防止对开发者造成理解成本。(91ad948)
• 更新 spider 模板中的 type hint，优化了开发者使用体验。(c2a0908)
• 优化一些数据库连接处理和配置解析方法等。

ayugespidertools-3.9.1

AyugeSpiderTools 3.9.1 (2023-12-22)

Deprecations

• 无。

New features

• 添加 postgresql 的 asyncio 的 AsyncConnectionPool 存储场景支持。(341e768)

Bug fixes

• 解决 asyncio 协程场景下的 spider 的 AyuItem 写法风格不兼容的问题。(66177e4)

Code optimizations

• 更新 spider 模板示例。(61e10b1)

ayugespidertools-3.9.0

AyugeSpiderTools 3.9.0 (2023-12-18)

Deprecations

• AsyncMysqlPipeline 改名为 AyuAsyncMysqlPipeline。
• AsyncMongoPipeline 改名为 AyuAsyncMongoPipeline。
• 删除 oss 的模块及依赖。

注：最新示例请在 DemoSpider 中查看，以往旧版请切换对应分支查看。

New features

• 添加 oracle 的存储场景支持，目前有 fty 及 twisted 两种方式。
• 添加 mongodb:uri 的配置方式。

Bug fixes

• 解决 asyncio mysql 协程场景下可能会出现的被垃圾回收而阻塞的问题。
• 解决 mysql 或 postgresql 的错误处理场景下由于权限等问题造成的循环递归问题。

Code optimizations

• 优化 .conf 模板示例，配置更明确且更易管理。
• mypy check.

ayugespidertools-3.8.0

AyugeSpiderTools 3.8.0 (2023-12-03)

Deprecations

• MYSQL_ENGINE_ENABLED 的配置项名改为 DATABASE_ENGINE_ENABLED，目前支持 msyql 和 postgresql。
• 安装再添加 database 选项，可通过 pip install ayugespidertools[database] 安装所需的所有数据依赖及扩展。

注意：此变更包含不兼容部分，需要着重注意的部分如下：

• 删除了 MYSQL_ENGINE_ENABLED 配置项；
• 由于 SQLAlchemy 依赖升级到了 2.0+ 新版本，与以往的去重使用有变化，具体请查看本库 readthedocs 文档。

New features

• 支持 python3.12。
• 添加 postgresql 的存储场景支持，目前有同步场景及结合 twisted 的异步场景。
• DATABASE_ENGINE_ENABLED 的配置目前会激活对应场景中数据库的 engine 和 engine_conn 以供去重使用。
• 将 psycopg 相关的数据库扩展依赖改为可选项，可通过 pip install ayugespidertools[database] 安装所需依赖。

Bug fixes

• 无。

Code optimizations

• 优化 type hints。
• 更新生成脚本模板以匹配新版本，也可使用以往 pandas 去重方式。
• 更明确的日志信息。