Skip to content

v0.4.3

Latest

Choose a tag to compare

@kingname kingname released this 08 Mar 01:59

What's Changed

增强元数据提取能力

借鉴 C++ article-parser 项目思路,在不修改现有架构的前提下增强了提取能力:

  • 标题提取:新增 JSON-LD headline/name、twitter:title、dc:title 支持
  • 作者提取:新增 JSON-LD author、itemprop="author"、class/rel="author" 支持
  • 时间提取:新增 JSON-LD datePublished、HTML5 <time> 标签属性支持
  • 正文提取:优先检测 Schema.org itemprop="articleBody" 标记
  • 噪声过滤:新增 sharing/newsletter/subscribe 等 9 个噪声关键词
  • 权重识别:新增 articlebody/post-content 等 6 个正文区域关键词
  • 元数据:新增 14 个发布时间 meta 标签 XPath

Bug 修复

  • 修复作者正则过度匹配数字的问题
  • 修复 body_xpath 和 //body 缺失时的 IndexError 崩溃
  • 修复预处理阶段误删 <body> 标签的问题