Skip to content

Releases: shengchenyang/AyugeSpiderTools

ayugespidertools-3.3.2

26 Jul 03:36
Compare
Choose a tag to compare
  • 增加贝塞尔曲线生成轨迹的示例方法。
  • 将项目中有关文件的操作统一改为 pathlib 的方式。
  • 根据 consul 获取配置的方式添加缓存处理,不用每次运行都多次调用同样参数来获取配置。减少请求次数,提高运行效率。
  • 更新 README.md 内容,增加对应英文版本。

查看完整的变更日志,并查看对应文档内容。

ayugespidertools-3.3.1

29 Jun 09:21
Compare
Choose a tag to compare

优化 item 使用体验,完善功能及对应文档内容,具体请查看 readthedocs item 部分。

查看完整的变更日志,具体说明请查看其 item 部分内容。

ayugespidertools-3.3.0

21 Jun 09:23
Compare
Choose a tag to compare

重要说明,请注意:

  • 此版本与旧版本不兼容,请一定在阅读发布说明后考虑是否升级使用!

简要说明:

  • 优化了 Item 体验,升级为 AyuItem,使用更方便,但注意与旧版本写法并不兼容。
  • 添加文件下载的示例,具体内容及示例请查看 readthedocsDemoSpider 中的 demo_file 项目。

查看完整的变更日志,具体使用示例及说明请查看其 pipelines 部分内容和 DemoSpider 中对应项目。

ayugespidertools-3.2.0

07 Jun 08:43
Compare
Choose a tag to compare

添加了 kafka 推送模板,也包含删除了一些鸡肋方法,优化某些场景等。

查看完整的变更日志,具体说明请查看其 pipelines 部分内容和 DemoSpider 中对应项目。

ayugespidertools-3.1.0

29 May 08:00
Compare
Choose a tag to compare

添加了 RabbitMQ 推送模板。

查看完整的变更日志,具体说明请查看其 pipelines 部分内容。

ayugespidertools-3.0.1

17 May 09:44
Compare
Choose a tag to compare

这是一个 major 版本更新,含有 bug 修复、代码优化等。

由于更改了 item 的实现方式,所以 spider 中定义对应 item 时写法改变,最新 readthedocsDemoSpider 中都有具体的示例及说明。

查看完整的变更日志,请一定要仔细查看后,再考虑是否升级使用。

ayugespidertools-2.1.0

09 May 05:37
Compare
Choose a tag to compare

这是一个主要更改了 scrapy 依赖库为 2.9.0 版本,含有 bug 修复。

查看完整的变更日志

ayugespidertools-2.0.3

06 May 09:03
Compare
Choose a tag to compare

这是一个对已 yanked2.0.2 版本的修改版本,与上一稳定版本区别主要是添加了 mongodb 的 asyncio 的示例。

查看完整的变更日志

ayugespidertools-2.0.2

05 May 09:42
Compare
Choose a tag to compare

这是一个微小变动的版本,主要是添加了 mongodbasyncio 的示例。

查看完整的变更日志

注意:此版本已 Yanked,由于相关依赖库版本会影响 cli 的运行,所以紧急取消此版本的 pypi 包,修复版本会在下一个 patch 发布

旧版本可能也会有影响,如果急于使用,请降低 urllib3 的版本即可。

ayugespidertools-2.0.1

27 Apr 09:05
Compare
Choose a tag to compare

这是一个 major 的大版本更新,主要是更改了项目结构,规范项目的风格统一,也具有新功能添加。

查看完整的变更日志

注:具有一些 api 更改,项目结构更改,请谨慎更新。请做好版本管理,旧项目不要跨主版本更新。