Skip to content

article2media 2.3.0:改写稿和原文比对、换模型回归测试

Choose a tag to compare

@threerocks threerocks released this 11 Nov 17:00
· 1 commit to main since this release

主题是"换一个模型来驱动,效果还稳不稳"。用 Haiku 和 Opus 各做同样 3 篇文章,对比、找差距,把能写成规则的要求都变成了脚本提示。

改写稿和原文比对(check.mjs / 出图时自动做,article.md 和 content.json 放在一起即可)

  • 原文里找不到的数字逐个列出(会认四舍五入、换单位、英文月份、中文数字;note 写了"编者换算""示意"的放过)。
  • 别人的文章,标题和封面写成"我"会提示;原文就是你写的,写 "voice": "self"。
  • 原文写到的具体数字、反复出现的人名工具名,用上得太少会列出还没用的那些。
  • 原文有配图却一张没用会提示,并说明怎么看图、选不准就别放。
  • 中文里夹了没必要的英文普通词(transcript、playbook)会提示。

写作的厚度和节奏

  • 正文太薄(每节不足 100 字、卡片正文不足 55 字)、数据面板太少(每两节一个)、整页卡太少、大数字和标题对不上、同一句话在两张卡上重复,都会提示。
  • 清单"该避开什么"里写成了该做的事(✕ 后面意思就反了)会提示。
  • 页脚和收束句里写了制作过程(没抓到什么、删了推广)会提示。
  • 出卡片时没写备选标题会提示。

卡片引擎

  • 一节里有原文配图时,卡片上默认放它。
  • 整页卡可以和 split 合用:第一张是整页金句或大数字,第二张是这一节正常的卡,不再互相重复;整页卡会吞掉这一节的面板时给提示。
  • 图表的注释紧跟内容,图框收紧到实际画出来的部分,空出来的位置自动补要点;渲染后内容只占一小半的卡会提示。
  • 大字封面先缩小标题,再考虑省略导语和要点。
  • 卡片张数预估会把清单分页可能多出的一张算进去,超过 18 张时提前提示。
  • 只省略了图注不再算提示;出图阶段最多 2 轮,剩下的提示写进交付,不为了归零删内容。
  • 页脚只在用了 AI 插画时才写"插图仅作示意";两行标题拼成一行时,中英文之间保留空格。

口播视频

  • 没有改写稿时,post.md 的来源署名从原文 front matter 读取(以前是空的)。
  • 时长估算按实际渲染校准,超过 80 秒提示;指南写明了画面安全区的范围。

在别的宿主上跑

  • 每个 SKILL.md 说明了 ${CLAUDE_SKILL_DIR} 没被替换时指哪里(实测 Codex 能据此自己找到脚本)。
  • 在沙箱里启动不了 Chrome、网络图片加载超时,报错会说明原因和办法。

文档

  • 文档里的示例不再取自评测用的文章;补了中文文章的分页标准、不确定作者性别时怎么转述、清单不能挤掉原文的节、对比图只用于"对 vs 错"、每段 60–90 字。

评测工具与结果

  • 新增 tests/eval-score.mjs(给一次"改写 → 卡片"的产出打客观分)和 tests/model-eval.md(换模型回归的流程:同样的提示、3 篇文章、客观分加盲评)。
  • 结果(3 篇:英文技术、中文教程、中文经验):
    • 客观分:Haiku 从 Opus 的 70%–95% 提到 100% 以上,规则层面都能守住。
    • 盲评(另一个模型不知道哪组是谁做的,三轮、换位):Haiku 是 Opus 的 85%–91%,平均约 88%。剩下的差距在理解:漏掉原文核心方法、混淆相近的数字、配图放错节、卡片标题和正文各说一件事。这部分规则补不上,重要内容建议用更强的模型。