Repository navigation
What's Changed
增强元数据提取能力
借鉴 C++ article-parser 项目思路,在不修改现有架构的前提下增强了提取能力:
- 标题提取:新增 JSON-LD
headline/name、twitter:title、dc:title支持 - 作者提取:新增 JSON-LD
author、itemprop="author"、class/rel="author"支持 - 时间提取:新增 JSON-LD
datePublished、HTML5<time>标签属性支持 - 正文提取:优先检测 Schema.org
itemprop="articleBody"标记 - 噪声过滤:新增
sharing/newsletter/subscribe等 9 个噪声关键词 - 权重识别:新增
articlebody/post-content等 6 个正文区域关键词 - 元数据:新增 14 个发布时间 meta 标签 XPath
Bug 修复
- 修复作者正则过度匹配数字的问题
- 修复
body_xpath和//body缺失时的 IndexError 崩溃 - 修复预处理阶段误删
<body>标签的问题